Résumé Technique : LatentRAG

Énoncé du Problème

Les systèmes traditionnels de Génération Augmentée par Récupération (RAG) reposent souvent sur un processus de récupération en une seule étape, qui peine à traiter des questions complexes nécessitant un raisonnement itératif. Bien que le RAG Agentique remédie à cela en employant des Modèles de Langage à Grande Échelle (LLM) comme agents de recherche générant itérativement des pensées intermédiaires et des sous-requêtes pour récupérer des informations, cette approche introduit une latence significative.

Le goulot d'étranglement principal des méthodes existantes de RAG Agentique (par exemple, Search-R1, AutoRefine) réside dans la génération autoregressive, token par token, de pensées et de sous-requêtes en langage naturel. Comme démontré dans l'analyse de l'article, ces étapes de génération représentent environ 90 % de la latence totale d'inférence, rendant le RAG Agentique 15 à 20 fois plus lent qu'un RAG naïf en une seule étape. De plus, la génération explicite de longues séquences de texte empêche une parallélisation efficace et entrave l'optimisation conjointe de bout en bout du LLM et du modèle de récupération en raison de la nature discrète des tokens de sortie.

Méthodologie : LatentRAG

Les auteurs proposent LatentRAG, un cadre qui déplace à la fois le raisonnement et la récupération de l'espace discret du langage vers l'espace latent continu. Au lieu de générer des tokens de langage naturel explicites pour les pensées et les sous-requêtes, le modèle opère sur des « tokens latents » — les états cachés de la dernière couche de tokens spéciaux de type espace réservé.

Composants Principaux

1. Génération Latente :

   • Le LLM est sollicité avec des tokens spéciaux (par exemple, <think1>...<thinkm> pour les pensées et <query1>...<queryn> pour les sous-requêtes).
   • Durant la phase de préremplissage, ces tokens spéciaux sont traités en parallèle. Le modèle extrait les états cachés finaux de ces tokens pour servir de tokens de pensée latente ($H^\tau_t$) et de sous-requête latente ($H^s_t$).
   • Cela permet au modèle d'allouer un calcul interne sans la surcharge séquentielle inhérente à la génération de texte autoregressive.

2. Récupération Latente :

   • Étant donné que les tokens latents résident dans l'espace de sortie du LLM, un module projecteur léger ($Proj_{ret}$) comble le fossé vers l'espace d'entrée du modèle de récupération.
   • La sous-requête latente projetée est injectée dans un modèle de récupération dense entraînable pour générer des embeddings.
   • Objectif d'Entraînement : Pour aligner les embeddings de sous-requête latente sur le comportement de récupération des sous-requêtes en langage naturel sans nécessiter d'annotations de documents de vérité terrain pour chaque étape intermédiaire, les auteurs introduisent une perte de divergence KL. Cette perte minimise la divergence entre la distribution de similarité des documents induite par la sous-requête latente et celle induite par une sous-requête en langage naturel de référence (figée). Cela permet une optimisation conjointe de bout en bout, entièrement différentiable, du LLM et du modèle de récupération.

3. Décodage Latent Parallèle (Optionnel) :

   • Pour répondre au caractère « boîte noire » du raisonnement latent et assurer la transparence, un mécanisme de décodage parallèle est intégré.
   • Des modules projecteurs mappent les tokens latents vers l'espace d'entrée du LLM, permettant au modèle de décoder les pensées et sous-requêtes en langage naturel correspondantes.
   • Crucial, du fait que les tokens latents sont générés en une seule passe forward, le décodage subséquent des pensées et des sous-requêtes à travers différentes étapes peut être effectué en parallèle, réduisant considérablement la latence de décodage par rapport à la génération autoregressive séquentielle.

Contributions Clés

1. Cadre LatentRAG : Un système de RAG Agentique novateur qui effectue le raisonnement et la récupération entièrement dans l'espace latent, éliminant la surcharge de latence associée à la génération explicite token par token des pensées et des sous-requêtes.
2. Alignement dans l'Espace Latent : Un objectif d'entraînement basé sur la divergence KL qui aligne les représentations de sous-requête latente du LLM avec un modèle de récupération dense pré-entraîné. Cela facilite l'optimisation conjointe de bout en bout et permet aux tokens latents de servir de requêtes de récupération efficaces malgré la rareté des données aux étapes intermédiaires.
3. Mécanisme de Décodage Parallèle : Une méthode pour traduire les tokens latents en langage naturel afin d'assurer la transparence. Ce mécanisme prend en charge le décodage parallèle à travers plusieurs étapes de raisonnement, offrant un compromis entre efficacité et interprétabilité tout en maintenant un avantage de vitesse significatif par rapport aux méthodes explicites.

Résultats Expérimentaux

Les auteurs ont évalué LatentRAG sur sept ensembles de données de référence (NQ, TriviaQA, PopQA, HotpotQA, 2Wiki, Musique, Bamboogle) en utilisant divers modèles de récupération et échelles de LLM.

• Performance : LatentRAG atteint des performances comparables aux méthodes de RAG Agentique explicites les plus avancées (par exemple, Search-R1, AutoRefine), avec des différences de performance relatives généralement inférieures à 5 %.
• Efficacité : La méthode réduit la latence d'inférence d'environ 90 % par rapport aux bases de référence de RAG Agentique explicites.
  • En moyenne, LatentRAG réduit la latence de ~5 000 ms (Search-R1) à ~600 ms.
  • Cela ramène la latence du RAG Agentique à des niveaux comparables au RAG traditionnel en une seule étape (par exemple, ~400–500 ms).
• Évolutivité : Les gains d'efficacité se maintiennent à travers différentes tailles de modèles (LLM de 3B à 14B et modèles de récupération de 0,6B à 8B). L'augmentation de la taille du LLM augmente considérablement la latence pour les méthodes explicites en raison de séquences de décodage plus longues, alors que LatentRAG maintient son efficacité.
• Études d'Ablation : L'objectif de récupération par divergence KL s'est révélé supérieur à la perte cosinus ou à la perte InfoNCE. Le retrait du modèle de récupération pré-entraîné ou de la perte de décodage latent a entraîné une dégradation des performances, confirmant la nécessité du biais inductif apporté par le modèle de récupération et de la régularisation fournie par le décodage.

Importance et Revendications

L'article revendique que LatentRAG comble avec succès le fossé entre la haute performance du RAG Agentique multi-étapes et l'efficacité du RAG en une seule étape. En déplaçant le raisonnement et la récupération dans l'espace latent, le cadre évite les inefficacités computationnelles de la génération de texte autoregressive tout en maintenant la capacité de décomposer des questions complexes.

Les auteurs soulignent que si le raisonnement latent a été exploré pour des tâches de génération uniquement, son application au RAG Agentique introduit des défis uniques concernant la rareté des données et la transparence. LatentRAG y répond en proposant une stratégie d'optimisation conjointe et un mécanisme de décodage parallèle optionnel. Ce travail suggère un passage des moteurs de recherche basés sur le texte orientés humain vers des moteurs de recherche basés sur les embeddings orientés agents, offrant un paradigme plus efficace pour les agents de recherche d'information à l'ère des grands modèles de langage. Les auteurs notent modestement que leur approche actuelle repose sur un ajustement fin supervisé (SFT) utilisant des trajectoires d'agents existants, et que des travaux futurs pourraient explorer l'apprentissage par renforcement pour optimiser davantage les politiques de récupération.