Embedding-Based Context-Aware Reranker

1. Problématique

Les systèmes de Génération Augmentée par Récupération (RAG) reposent sur la capacité à extraire des preuves pertinentes d'un corpus pour soutenir la génération de texte. La pratique courante consiste à découper les longs documents en passages plus courts pour une recherche plus fine. Cependant, cette approche introduit un défi majeur : l'inférence inter-passages.

Lorsqu'une réponse nécessite de résoudre des références (co-référence), de désambiguïser des entités ou d'agréger des informations dispersées sur plusieurs passages, les méthodes de réordonnancement (reranking) actuelles montrent des limites :

• Inefficacité computationnelle : La plupart des méthodes de pointe (SOTA) utilisent de grands modèles de langage pré-entraînés (PLM) pour scorer le texte brut de chaque passage. Cela génère des coûts d'inférence élevés et une latence importante.
• Manque de contexte global : De nombreux benchmarks supposent que l'information nécessaire est contenue dans un seul passage, ignorant les scénarios réels où le contexte documentaire complet est requis pour comprendre les relations entre passages (ex: résoudre un pronom "il" qui fait référence à une entité mentionnée dans un autre passage).

2. Méthodologie : EBCAR

Pour répondre à ces défis, les auteurs proposent EBCAR, un cadre de réordonnancement léger opérant directement sur les vecteurs d'embedding (représentations denses) plutôt que sur le texte brut.

Architecture et Composants Clés

L'architecture repose sur un encodeur Transformer modifié qui intègre des signaux structurels et un mécanisme d'attention hybride :

1. Opération sur les Embeddings :

   • Le système utilise les embeddings des passages déjà stockés dans la base de données vectorielle (calculés lors de l'indexation) et l'embedding de la requête. Cela évite le traitement coûteux du texte brut lors de la phase de réordonnancement.

2. Encodage des Signaux Structurels :

   • Chaque embedding de passage est enrichi par deux vecteurs additionnels :
     • Embedding d'ID de document : Indique à quel document original appartient le passage. Ces IDs sont relatifs à l'ensemble des passages récupérés pour une requête donnée (et non globaux), permettant au modèle d'apprendre à regrouper les passages d'une même source.
     • Encodage de position : Indique la position du passage au sein de son document d'origine (via des encodages sinusoïdaux).

3. Mécanisme d'Attention Hybride :

   • Le modèle utilise deux modules d'attention complémentaires au sein de chaque couche Transformer :
     • Attention Complète Partagée (Shared Full Attention) : Permet à la requête et à tous les passages de s'attendre mutuellement. Cela capture les interactions globales et les relations entre différents documents.
     • Attention Masquée Dédiée (Dedicated Masked Attention) : Restreint l'attention d'un passage uniquement à la requête et aux autres passages provenant du même document. Cela favorise la cohérence intra-documentaire et la résolution de références locales.
   • Les sorties de ces deux modules sont sommées, permettant au modèle de raisonner simultanément sur le contexte global et les dépendances locales.

4. Objectif d'Entraînement :

   • Utilisation d'une fonction de perte de type InfoNCE (contraste). L'objectif est de rapprocher l'embedding mis à jour du passage positif de l'embedding de la requête, tout en éloignant les passages négatifs. La requête est utilisée sous sa forme statique (non mise à jour) pour servir d'ancrage sémantique stable.

3. Contributions Principales

• Cadre léger et efficace : Introduction d'une méthode de réordonnancement basée uniquement sur les embeddings, éliminant la nécessité de ré-encoder le texte brut, ce qui réduit drastiquement la latence.
• Modélisation du contexte inter-passages : Conception d'une architecture hybride capable de gérer l'ambiguïté et l'agrégation d'informations à travers plusieurs passages en exploitant les identifiants de documents et les positions.
• Évaluation rigoureuse : Validation sur le benchmark ConTEB, spécifiquement conçu pour tester la capacité des modèles à utiliser le contexte à l'échelle du document, couvrant des scénarios en distribution (in-distribution) et hors distribution (out-of-distribution).

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark ConTEB (8 jeux de données couvrant des domaines variés : encyclopédique, littéraire, biomédical, rapports d'entreprise, sport, géographie, assurance).

• Efficacité (Performance) :

  • EBCAR atteint le meilleur score moyen nDCG@10 (64,92) parmi tous les modèles comparés, surpassant les méthodes basées sur des LLM distillés (RankVicuna, RankZephyr) et les méthodes d'extraction de pertinence par inférence (ICR).
  • Les gains sont particulièrement marqués sur les tâches nécessitant une désambiguïsation d'entités et une résolution de co-référence (ex: jeux de données Football et Géographie), où EBCAR dépasse largement les concurrents.
  • Le modèle maintient une performance compétitive même dans des scénarios hors distribution (ex: rapports ESG, COVID).

• Efficacité (Vitesse) :

  • EBCAR démontre une supériorité écrasante en termes de débit (throughput). Avec 29,33 requêtes par seconde sur une GPU A100, il est plus de 100 fois plus rapide que les méthodes basées sur des LLM (comme RankGPT ou ICR) et nettement plus rapide que les méthodes pointwise (monoBERT/monoT5) qui nécessitent plusieurs passes forward.
  • Il se positionne sur la frontière de Pareto idéale entre qualité de classement et vitesse d'inférence.

• Études d'ablation :

  • La suppression des signaux de position ou du mécanisme d'attention hybride entraîne une chute significative des performances, confirmant que ces deux composants sont essentiels et complémentaires.

5. Signification et Impact

Ce travail marque une avancée significative pour les systèmes RAG déployés en production :

1. Viabilité opérationnelle : EBCAR résout le compromis classique entre la précision (souvent associée aux gros LLM) et la latence. Il permet un réordonnancement contextuel de haute qualité sans le coût computationnel prohibitif du traitement du texte brut.
2. Robustesse contextuelle : En intégrant explicitement la structure du document (ID et position) dans l'espace d'embedding, EBCAR comble le fossé entre la recherche par passage et la compréhension du document entier, un défi majeur des RAG actuels.
3. Généralisation : La capacité du modèle à fonctionner avec différents encodeurs (démontré avec E5) et sur des domaines variés sans réentraînement suggère une forte adaptabilité pour des applications réelles complexes.

En résumé, EBCAR propose une approche élégante et efficace pour le réordonnancement dans les RAG, prouvant que l'exploitation intelligente des structures d'embeddings peut surpasser les approches basées sur le texte brut, tant en performance qu'en efficacité.