Résumé Technique : Récupération depuis l'Intérieur : Une Capacité Intrinsèque des Modèles Basés sur l'Attention

1. Énoncé du Problème

La Génération Augmentée par Récupération (RAG) est devenue l'approche standard pour répondre à des questions où les informations nécessaires sont dispersées au sein d'un vaste corpus. Cependant, les architectures RAG actuelles traitent généralement la récupération et la génération comme des systèmes séparés et modulaires. Un récupérateur sélectionne des preuves candidates (souvent en utilisant des plongements denses ou des méthodes lexicales), qui sont ensuite transmises à un générateur (LLM) qui réencode le texte pour produire une réponse.

Cette séparation introduit deux inefficacités principales :

1. Inadéquation des Représentations : Le récupérateur et le générateur opèrent dans des espaces de représentation différents, ce qui peut entraîner un décalage entre ce qui est récupéré et ce que le générateur juge le plus utile.
2. Redondance Computationsnelle : Dans le RAG standard, les blocs de preuves sélectionnés doivent être réencodés par l'encodeur du générateur au moment de la requête, même s'ils ont déjà été encodés lors de la phase de récupération.

Les auteurs se demandent si un modèle encodeur-décodeur basé sur l'attention peut intrinsèquement effectuer une récupération à partir de ses propres représentations internes, unifiant ainsi les processus de récupération et de génération au sein d'un seul modèle sans module de récupérateur externe.

2. Méthodologie : INTRA

L'article présente INTRA (INTrinsic Retrieval via Attention), un cadre où un seul modèle encodeur-décodeur préentraîné gère à la fois la sélection de preuves et la génération de réponses en utilisant un espace de représentation partagé.

Mécanisme Central

Au lieu d'un récupérateur externe, INTRA utilise le mécanisme d'attention croisée du décodeur pour évaluer des blocs de preuves préencodés. Le processus implique :

1. Pré-encodage : Le corpus est encodé une seule fois par l'encodeur figé, produisant un ensemble de représentations de blocs $K = \{k_i\}$.
2. Jeton de Récupération : La requête d'entrée $x$ est augmentée de $R$ jetons de récupération $\rho$ appris.
3. Évaluation via l'Attention : Le décodeur traite la requête augmentée par rapport aux blocs préencodés. Les requêtes d'attention croisée ($q_\ell$) provenant des couches du décodeur sont utilisées pour évaluer les blocs.
4. Évaluation MaxSim : Pour convertir les scores d'attention au niveau des jetons en scores de récupération au niveau des blocs, les auteurs emploient une approche MaxSim (interaction tardive de style ColBERT mis à l'échelle). Pour chaque jeton de requête, la similarité maximale avec n'importe quel jeton d'un bloc est prise, et celles-ci sont agrégées à travers les couches en utilisant des poids appris $\alpha_\ell$.
5. Sélection et Génération : Les $n$ meilleurs blocs basés sur ces scores sont sélectionnés pour former le contexte $K(S_{INTRA})$, qui est ensuite utilisé par le décodeur pour générer la réponse.

Innovations Techniques Clés

• Reverse-QWK (Poids Requête-Clef) : L'attention croisée standard des Transformers applique des projections linéaires et une normalisation spécifiques aux couches aux clés (états de l'encodeur). Cela nécessiterait de recalculer les clés pour chaque couche, empêchant la réutilisation d'un seul index préencodé. INTRA introduit Reverse-QWK, une technique qui déplace l'échelle de clé apprise et la matrice de projection du côté de la requête. Cela permet au modèle de stocker une unique représentation normalisée de l'encodeur ($\bar{K}$) qui sert à toutes les couches du décodeur, permettant une évaluation de récupération efficace contre un index statique.
• Plongements Regroupés : Pour réduire le coût computationnel de MaxSim sur de longs blocs, les auteurs remplacent les représentations complètes des blocs par des plongements regroupés par moyenne de longueur fixe ($L_p \ll L_c$). Cette approximation préserve la conception à représentation partagée sans nécessiter de modèle de compression séparé.
• Objectif d'Entraînement : Les jetons de récupération et les poids d'agrégation sont entraînés en utilisant un objectif de perte croisée douce pour maximiser la masse de probabilité sur les blocs de preuves « oracles » (vérité terrain), tandis que l'encodeur-décodeur de base reste figé.

3. Contributions Clés

1. Cadre Unifié : La formulation d'INTRA, qui couple la sélection de preuves et la génération de réponses au sein d'un seul modèle encodeur-décodeur préentraîné utilisant un espace de représentation partagé.
2. Recette Architecturale Minimale : Identification des composants nécessaires pour révéler la récupération intrinsèque : réutilisation des représentations natives des blocs, utilisation d'une interaction tardive côté encodeur pour la récupération grossière, et affinage des preuves via des requêtes de récupération côté décodeur sans modules externes.
3. Performance Empirique : Démonstration que cette conception unifiée surpasse les pipelines de récupération ingénierés puissants (y compris les récupérateurs denses et les réordonnanceurs) sur des benchmarks de questions-réponses multi-sauts, atteignant un meilleur rappel de preuves et une meilleure qualité de réponse de bout en bout.
4. Efficacité Computationsnelle : Caractérisation de l'efficacité de la conception, spécifiquement le régime de « contexte réutilisable » où les preuves statiques sont encodées une fois et réutilisées, éliminant le coût de réencodage lors de la phase de préremplissage de la génération.

4. Résultats Expérimentaux

Les auteurs ont évalué INTRA sur quatre benchmarks de questions-réponses basés sur Wikipédia : HotPotQA, 2WikiMultihopQA, MuSiQue et Natural Questions (NQ). Le modèle utilisé était un checkpoint T5Gemma2 4B-4B.

• Qualité de Récupération : INTRA a obtenu le meilleur Rappel de Preuves Complètes (la fraction d'exemples où tous les faits de soutien sont récupérés) sur les benchmarks multi-sauts (HotPotQA, 2Wiki, MuSiQue). Il a surpassé les méthodes éparses (TF-IDF, BM25), les modèles denses à vecteur unique (BGE, Qwen-Embedding) et les pipelines RAG hybrides.
• Questions-Réponses de Bout en Bout : Lors de l'utilisation du même décodeur T5Gemma2 pour la génération, INTRA a surpassé tous les points de référence en Exact Match (EM) et en scores F1 sur les tâches multi-sauts. Notamment, INTRA a atteint cela en utilisant un décodeur figé préentraîné uniquement pour la génération, alors que les récupérateurs de base étaient souvent préentraînés sur de vastes corpus de récupération.
• Efficacité : Les benchmarks mesurant le Temps jusqu'au Premier Jeton (TTFT) ont montré que, à mesure que le nombre de blocs récupérés ($k$) augmentait, INTRA restait significativement plus rapide que le RAG standard. Cela est dû au fait qu'INTRA réutilise les états préencodés, évitant ainsi le coût quadratique du réencodage du texte récupéré lors de la phase de préremplissage de la génération.
• Études d'Ablation : Le retrait du contexte initial ou la réduction du nombre de jetons de récupération a considérablement dégradé les performances, confirmant la nécessité à la fois de l'initialisation et du mécanisme d'évaluation de récupération appris.

5. Signification et Revendications

L'article postule un changement conceptuel dans la manière dont la récupération est envisagée dans les grands modèles de langage. Les auteurs affirment que les modèles basés sur l'attention possèdent déjà un mécanisme de récupération intrinsèque qui peut être sollicité plutôt que ajouté comme un module externe.

• Représentation Unifiée : En unifiant la récupération et la génération, INTRA élimine l'inadéquation des représentations entre les récupérateurs et les générateurs.
• Capacité Intrinsèque : Les résultats suggèrent que la « correspondance conditionnée par la requête » inhérente aux mécanismes d'attention suffit pour une récupération efficace lorsqu'elle est correctement exposée via des jetons appris et une évaluation par interaction tardive.
• Efficacité : Le cadre offre un avantage computationnel pratique pour les bases de connaissances statiques en amortissant le coût de l'encodage des preuves sur l'ensemble des requêtes.

Limitations

Les auteurs notent explicitement que leurs expériences se concentrent sur un pool de contexte fixe et ne revendiquent pas qu'INTRA soit un remplacement pour le RAG dans des contextes de récupération web ouverte ou dynamique. La méthode repose sur l'attention croisée encodeur-décodeur et n'est pas directement applicable aux modèles uniquement décodeurs. De plus, bien que l'approche soit efficace sur les questions-réponses à réponses courtes, sa généralisation à des domaines plus larges ou à des corpus dynamiques reste une question ouverte pour les travaux futurs.