💬 NLP

RARe: Retrieval Augmented Retrieval with In-Context Examples

L'article présente RARe, une méthode qui améliore les performances et la généralisation des modèles de recherche textuelle de type « encoder-only » en les finetunant avec des exemples contextuels (paires requête-document) sémantiquement similaires à la requête cible.

Auteurs originaux : Atula Tejaswi, Yoonsang Lee, Sujay Sanghavi, Eunsol Choi

Publié 2026-02-10

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Atula Tejaswi, Yoonsang Lee, Sujay Sanghavi, Eunsol Choi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le Bibliothécaire "Tête en l'air"

Imaginez que vous entrez dans une immense bibliothèque pour chercher un livre sur "comment cuisiner des pâtes à la carbonara". Vous demandez au bibliothécaire : "Je cherche des recettes de pâtes carbonara."

Le bibliothécaire est très intelligent (c'est l'IA, le modèle "Encoder-only"), mais il est un peu trop rigide. Il lit votre question, cherche dans sa tête, et vous donne un livre sur les pâtes, mais peut-être un livre sur les pâtes au ketchup, parce qu'il n'a pas bien saisi la "nuance" de votre demande. Il comprend les mots, mais il manque de contexte.

D'habitude, pour aider les IA de ce type, on leur donne une petite consigne : "Agis comme un expert en cuisine". Ça aide un peu, mais ce n'est pas magique.

La Solution : La méthode "RARe" (Le Bibliothécaire avec des exemples sous les yeux)

Les chercheurs ont eu une idée géniale. Au lieu de simplement donner une consigne au bibliothécaire, on va lui donner des exemples de questions déjà posées par d'autres clients qui ressemblaient à la vôtre.

Avant de répondre à votre question, le bibliothécaire regarde une petite fiche sur son bureau qui dit :

Client A a demandé : "Comment faire une sauce tomate ?" $\rightarrow$ On lui a donné ce livre de cuisine italienne.
Client B a demandé : "Quels sont les meilleurs fromages ?" $\rightarrow$ On lui a donné ce guide sur les produits laitiers.

Et maintenant, il voit votre question : "Je cherche des recettes de pâtes carbonara."

En voyant les exemples précédents, son cerveau fait "clic" ! Il comprend immédiatement le style de recherche, le niveau de détail attendu et le domaine précis. Il ne se contente plus de lire vos mots, il comprend l'intention derrière vos mots grâce aux exemples qui l'entourent.

Comment ça marche techniquement (sans les maths) ?

La Recherche d'Exemples (Le tri rapide) : Quand vous posez votre question, le système utilise un outil rapide (appelé BM25, comme un index de mots-clés) pour trouver 5 questions très similaires dans sa base de données.
L'Augmentation (Le copier-coller intelligent) : Il prend ces 5 exemples (Question + Réponse) et les "colle" juste au-dessus de votre question.
L'Entraînement (L'école spécialisée) : Les chercheurs n'ont pas juste utilisé cette méthode, ils ont aussi "ré-entraîné" l'IA pour qu'elle apprenne spécifiquement à lire ces exemples et à s'en servir pour devenir plus précise.

Pourquoi est-ce une victoire ?

Il est plus malin sur les sujets difficiles : L'étude montre que sur des questions qui demandent de la réflexion (le benchmark "RAR-b"), l'IA devient nettement meilleure.
Il ne perd pas ses moyens face à l'inconnu : Même quand on lui pose des questions sur des sujets qu'il n'a jamais vus pendant son entraînement (le "Out-of-Domain"), il s'en sort beaucoup mieux que les autres grâce aux exemples qui lui servent de boussole.
C'est une amélioration réelle : On parle d'un gain de précision (nDCG) allant jusqu'à +2,72 %. Dans le monde de l'IA, c'est comme passer d'une voiture qui roule sur une route de campagne à une Formule 1 sur circuit.

En résumé

RARe, c'est donner une mémoire immédiate et pertinente à une IA de recherche. Au lieu de la laisser seule face à une question isolée, on lui montre des "modèles de réussite" juste avant qu'elle ne travaille. C'est la différence entre demander à quelqu'un de traduire une phrase au hasard et lui donner un dictionnaire et trois exemples de phrases déjà traduites.

Résumé Technique : RARe (Retrieval-Augmented Retrieval)

1. Problématique (Le Problème)

L'apprentissage en contexte (In-Context Learning - ICL) est une capacité majeure des grands modèles de langage (LLM) de type "decoder-only" (comme GPT ou Llama), permettant d'adapter le modèle à une tâche sans mise à jour de paramètres. Cependant, cette capacité est peu explorée pour les modèles de type "encoder-only" utilisés dans la recherche d'information (retrieval), tels que les modèles d'embeddings.

Les travaux précédents ont tenté d'ajouter des instructions de tâche ou des exemples aléatoires aux requêtes, mais deux problèmes subsistent :

L'inefficacité de l'ICL "zéro-shot" : Simplement ajouter des exemples à un modèle d'embedding pré-entraîné sans réentraînement entraîne souvent une chute de performance.
Le manque de pertinence : L'utilisation d'exemples aléatoires ne fournit pas toujours l'aide sémantique nécessaire pour affiner la représentation de la requête cible.

2. Méthodologie (L'Approche RARe)

Les auteurs proposent RARe, une méthode qui consiste à fine-tuner un modèle de recherche pour qu'il apprenne à exploiter des exemples de type "requête-document" qui sont sémantiquement similaires à la requête cible.

Le processus se déroule en trois étapes clés :

Sélection d'exemples (Retrieval) : Pour une requête donnée $q$ , le système utilise un moteur de recherche léger (BM25) pour trouver les $k$ requêtes les plus proches dans le jeu d'entraînement. On récupère ensuite les documents pertinents associés à ces requêtes.
Augmentation de la requête : La requête cible est formatée de manière structurée : Instruction + [Exemple 1 (Q+D)] + [Exemple 2 (Q+D)] ... + Requête Cible.
Entraînement par contraste : Le modèle est entraîné via une perte contrastive (contrastive loss), apprenant à rapprocher l'embedding de la requête augmentée de celui du document pertinent, tout en l'éloignant des documents non pertinents (négatifs).

3. Contributions Clés

Nouvelle approche d'ICL pour les encodeurs : Contrairement aux LLM qui utilisent l'ICL pour augmenter leur capacité de génération, RARe utilise l'ICL pour fournir des informations contextuelles spécifiques à la tâche.
Adaptation de l'architecture : L'étude démontre que cette méthode fonctionne aussi bien sur des modèles de type LLM (decoder-only) que sur des modèles d'embeddings spécialisés (encoder-only).
Analyse exhaustive des hyperparamètres : Les auteurs fournissent une étude détaillée sur l'impact de la qualité des exemples, de leur quantité ( $k$ ) et du formatage des prompts.

4. Résultats Principaux

Les performances ont été évaluées sur les benchmarks BeIR (recherche en domaine ouvert) et RAR-b (recherche orientée raisonnement).

Gains de performance : RARe surpasse les méthodes classiques (requête seule ou instructions seules) avec des gains allant jusqu'à +2,72% nDCG@10 sur les tâches de raisonnement complexe.
Généralisation hors-domaine (OOD) : L'un des résultats les plus significatifs est la capacité de RARe à mieux généraliser sur des données qu'il n'a jamais vues pendant l'entraînement, imitant ainsi le comportement des LLM.
Supériorité sur l'ICL aléatoire : L'utilisation d'exemples récupérés par similarité (BM25) est systématiquement plus efficace que l'utilisation d'exemples choisis au hasard.
Comparaison avec les méthodes génératives : RARe surpasse les méthodes de "Query Expansion" qui utilisent des LLM génératifs pour réécrire les requêtes, offrant une alternative plus robuste.

5. Signification et Impact

Ce travail jette les bases d'une nouvelle ère pour les modèles d'embeddings. Il prouve que les modèles de recherche ne sont pas limités par leur entraînement initial et qu'ils peuvent devenir des "apprenants en contexte" performants.

L'implication majeure est que l'on peut améliorer la précision d'un moteur de recherche en temps réel (test-time scaling) en lui fournissant des exemples pertinents, permettant ainsi de traiter des requêtes complexes ou de nouveaux domaines sans avoir à réentraîner l'intégralité du modèle.