💬 NLP

DiffRetriever: Parallel Representative Tokens for Retrieval with Diffusion Language Models

DiffRetriever introduit une méthode de récupération de jetons représentatifs parallèle pour les modèles de langage de diffusion qui ajoute plusieurs positions masquées aux invites et les lit en un seul passage bidirectionnel, réalisant des performances et une efficacité supérieures aux approches séquentielles autoregressives multi-jetons et aux récupérateurs existants affinés par contraste.

Auteurs originaux : Shuai Wang, Yin Yu, Shengyao Zhuang, Bevan Koopman, Guido Zuccon

Publié 2026-05-11

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Shuai Wang, Yin Yu, Shengyao Zhuang, Bevan Koopman, Guido Zuccon

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de trouver le livre parfait dans une immense bibliothèque à partir d'une seule phrase que vous avez écrite sur une serviette en papier. C'est ce qu'un « récupérateur » informatique fait : il prend votre requête et trouve les documents les plus pertinents.

Pendant longtemps, la meilleure façon de faire cela était d'utiliser un « bibliothécaire intelligent » (un modèle d'IA) qui lit votre phrase et note un seul mot pour représenter toute l'idée. C'est rapide, mais parfois un seul mot ne suffit pas à capturer une pensée complexe.

Les chercheurs ont essayé de faire en sorte que le bibliothécaire écrive plusieurs mots pour être plus précis. Cependant, avec l'ancien type d'IA (appelé « autoregressif »), le bibliothécaire devait écrire ces mots un par un, en ligne. Si vous demandiez 20 mots, il devait écrire le premier, attendre, écrire le deuxième, attendre, et ainsi de suite. C'était si lent que les mots supplémentaires ne semblaient pas valoir l'attente, et les résultats ne s'amélioraient guère.

Voici DiffRetriever : le bibliothécaire de la « pensée de groupe »

Ce papier présente un nouveau type de bibliothécaire appelé DiffRetriever, qui utilise un type d'IA différent appelé Modèle de Langage par Diffusion.

Voici l'astuce magique :
Au lieu d'écrire les mots un par un en ligne, le bibliothécaire par diffusion regarde une page blanche avec 20 emplacements vides (positions masquées) et remplit les 20 emplacements exactement en même temps.

Pensez-y ainsi :

L'ancienne méthode (Autoregressive) : Vous demandez à un ami de décrire un film. Il dit : « C'était... » (pause) « un... » (pause) « super... » (pause) « film d'... » (pause) « action. » Il doit attendre que chaque mot soit terminé avant de commencer le suivant. Si vous voulez 20 mots, cela prend une éternité.
La nouvelle méthode (Diffusion) : Vous tendez à votre ami une feuille avec 20 cases vides. Vous dites : « Remplissez ces cases avec la description. » Il regarde toute la feuille, réfléchit au film, et simultanément remplit les 20 cases en un seul coup d'œil.

Ce que le papier a découvert

Vitesse contre Qualité : Les chercheurs ont testé cela sur deux types d'IA : les anciens rédacteurs « un par un » et les nouveaux rédacteurs « tous en une fois ».
- Lorsqu'ils ont demandé aux anciens rédacteurs de produire plusieurs mots, cela devenait de plus en plus lent, et la qualité ne s'améliorait pas vraiment.
- Lorsqu'ils ont demandé aux nouveaux rédacteurs de produire plusieurs mots, c'était aussi rapide que d'écrire un seul mot (car ils le faisaient tout en une fois), mais la qualité a considérablement augmenté. C'était comme obtenir une bien meilleure description pour le même laps de temps.
Le meilleur performer : Après avoir entraîné le nouveau bibliothécaire « tous en une fois » (spécifiquement celui appelé « Dream »), il est devenu le meilleur pour trouver des documents pertinents lors de leurs tests, surpassant toutes les autres méthodes, y compris les anciennes tentatives multi-mots et d'autres modèles d'IA modernes.
Le budget « parfait » : Les chercheurs ont également remarqué que différentes questions nécessitent différents nombres de mots. Une question simple comme « Quelle est la météo ?» pourrait n'avoir besoin que de 2 mots, tandis qu'une question complexe pourrait en nécessiter 16.
- Actuellement, ils choisissent un nombre (comme 4 ou 16) et l'utilisent pour chaque question.
- Ils ont constaté que s'ils pouvaient magiquement savoir exactement combien de mots chaque question spécifique nécessitait avant de les écrire, le système s'améliorerait encore davantage — mieux que même les modèles entraînés.
- Ils ont également découvert que de simples indices, comme la longueur de la question, peuvent prédire combien de mots sont nécessaires. Cela suggère que dans le futur, nous pourrions construire un système qui ajuste automatiquement le nombre de mots qu'il écrit pour chaque question, obtenant le meilleur des deux mondes.

En résumé

Le papier prouve que le problème de l'utilisation de plusieurs mots pour la recherche n'était pas l'idée d'utiliser plusieurs mots ; c'était la vieille façon de les écrire (un par un). En passant à une nouvelle IA qui écrit tous les mots en une fois, ils ont rendu la recherche multi-mots rapide, peu coûteuse et beaucoup plus précise. C'est comme réaliser que vous n'avez pas besoin d'attendre un train lent pour livrer votre colis ; vous avez juste besoin d'un drone qui dépose tout d'un coup.

Résumé Technique : DiffRetriever

Énoncé du Problème

Des travaux récents, notamment PromptReps (Zhuang et al., 2024), ont démontré que les modèles de langage autoregressifs (AR LM) pouvaient fonctionner comme des récupérateurs en zéro-shot en les incitant à générer des tokens représentatifs (vecteurs denses et logits clairsemés) pour les requêtes et les passages. Cependant, l'extension de cette approche à la récupération multi-token (génération de $K$ représentants au lieu d'un seul) s'est révélée inefficace et souvent peu performante avec les modèles AR. Étant donné que les modèles AR génèrent les tokens séquentiellement, produire $K$ représentants nécessite $K$ passages avant, ce qui fait que la latence d'encodage évolue linéairement avec $K$ . Les tentatives antérieures de PromptReps multi-token n'ont pas montré de gains de performance cohérents par rapport au décodage single-token malgré ce coût de latence significatif, laissant incertaine la question de savoir si la limitation résidait dans le concept multi-token lui-même ou dans le goulot d'étranglement de la génération séquentielle.

Méthodologie

Les auteurs proposent DiffRetriever, un cadre de récupération conçu spécifiquement pour les Modèles de Langage par Diffusion (DiffLM) afin de surmonter le goulot d'étranglement de la génération séquentielle.

Mécanisme Central

Contrairement aux modèles AR qui génèrent les tokens un par un, les DiffLM remplissent les positions masquées conjointement sous une attention bidirectionnelle. DiffRetriever exploite cela par :

Construction de l'Incitation : Ajout de $K$ positions masquées ([MASK]) à une incitation de token représentatif (par exemple, "Les mots sont [MASK]...").
Décodage Parallèle : Alimentation de la séquence entière (incitation + $K$ masques) dans le DiffLM en un seul passage avant bidirectionnel.
Extraction de Représentation : Extraction simultanée de $K$ états cachés denses et de $K$ vecteurs de logits clairsemés à partir des $K$ positions masquées.

Évaluation et Entraînement

Évaluation : Le cadre adopte la recette d'évaluation hybride de PromptReps :
- Score Dense : Calculé via une interaction tardive de style ColBERT (MaxSim) entre les états cachés de la requête et du passage.
- Score Clairsemé : Calculé via des logits activés par ReLU et regroupés par max-pooling.
- Score Hybride : Une interpolation linéaire des scores denses et clairsemés normalisés.
Affinage Fin : Les auteurs utilisent un affinage fin contrastif (perte InfoNCE) sur les scores denses et clairsemés, applicable aux architectures AR et DiffLM.

Configuration Expérimentale

L'étude compare quatre architectures (7B–8B paramètres) :

Autoregressif (AR) : LLaMA3-8B, Qwen2.5-7B.
Diffusion (Diff) : Dream-7B (initialisé à partir de Qwen2.5), LLaDA-8B (entraîné à partir de zéro).
Lignes de base : BM25, PromptReps (AR), DiffEmbed (DiffLM utilisé comme encodeur par moyenne-pooling), et RepLLaMA (AR affinée finement de manière contrastive).
Ensembles de données : MS MARCO, TREC DL 2019/2020, et BEIR-7 (sept ensembles de données hors domaine diversifiés).

Résultats Clés

1. Efficacité et Efficacité du Multi-Token

Diffusion vs Autoregression : Le DiffRetriever multi-token améliore considérablement le DiffRetriever single-token sur chaque architecture de diffusion testée. En revanche, les modèles AR multi-token montrent des gains plats ou négatifs par rapport aux modèles AR single-token.
Latence : Le coût d'encodage pour le DiffRetriever multi-token reste à peu près constant quelle que soit la valeur de $K$ (passage avant unique), tandis que le coût multi-token AR évolue linéairement. Dans le cadre en zéro-shot ( $K \le 20$ ), le multi-token AR entraîne une pénalité de latence d'environ $15\times$ par rapport à la diffusion, sans gain de performance cohérent.
Inversion de Performance : Dans les cadres en zéro-shot, les modèles AR surpassent initialement les DiffLM à $K=1$ . Cependant, pour $K>1$ , les DiffLM (spécifiquement Dream et LLaDA) surpassent leurs homologues AR. Par exemple, le multi-token Dream double presque la performance sur MS MARCO par rapport à sa version single-token, dépassant Qwen2.5.

2. Performance de l'État de l'Art

Zéro-Shot : DiffRetriever sur LLaDA obtient le score moyen BEIR-7 le plus élevé parmi les systèmes en zéro-shot de la comparaison, surpassant PromptReps sur les architectures AR et la ligne de base DiffEmbed.
Affiné Finement : Après un affinage fin supervisé, DiffRetriever sur Dream devient le récupérateur BEIR-7 le plus performant dans l'ensemble, surpassant PromptReps affinés, DiffEmbed et RepLLaMA affinée de manière contrastive.
Synergie des Architectures : L'architecture Dream (initialisée à partir de Qwen2.5) montre une plus grande variation de performance entre le zéro-shot et l'affinage fin par rapport à LLaDA, suggérant que les priors de pré-entraînement AR combinés au décodage par diffusion bidirectionnel sont hautement efficaces pour la récupération.

3. Analyse du Budget et Marge de l'Oracle

Fixe vs Adaptatif : L'étude identifie que l'utilisation d'un budget fixe $(K_q, K_p)$ pour toutes les requêtes laisse une performance significative inexploitée.
Analyse Oracle : Un "oracle par requête" (qui sélectionne le $K$ optimal pour chaque requête en utilisant la vérité terrain) sur le modèle de base figé surpasse l'affinage fin contrastif à budget fixe pour toutes les combinaisons.
Prévisibilité : Le budget optimal corrèle positivement avec des caractéristiques de requête peu coûteuses (longueur et entropie de Shannon), suggérant qu'un routeur appris pour la sélection adaptative du budget est une voie future viable.

Signification et Revendications

L'article prétend résoudre l'ambiguïté entourant la récupération multi-token :

Le Goulot d'Étranglement est la Génération Séquentielle : L'échec des récupérateurs AR multi-token précédents n'était pas dû au concept multi-token lui-même, mais au coût du décodage séquentiel. DiffRetriever prouve que la récupération multi-token est à la fois efficace et peu coûteuse lorsqu'elle est découplée de la génération séquentielle via les modèles de diffusion.
Objectifs Alignés avec l'Entraînement : Interroger le modèle de diffusion dans sa forme pré-entraînée (prédire les positions masquées en parallèle) se transfère mieux aux tâches de récupération que le détournement du modèle en un encodeur de style BERT standard (comme fait dans DiffEmbed).
Potentiel Adaptatif : L'existence d'un grand écart entre la performance à budget fixe et la performance de l'oracle par requête met en évidence la sélection adaptative du budget comme une voie critique et inexploitée pour améliorer l'efficacité et l'efficacité de la récupération.

Les auteurs concluent que DiffRetriever établit un nouvel état de l'art pour la récupération basée sur la diffusion, démontrant que les tokens représentatifs parallèles peuvent surpasser à la fois la diffusion single-token et les approches autoregressives séquentielles tout en maintenant une faible latence.