🤖 machine learning

Retriever Portfolios: A Principled Approach to Adaptive RAG

Cet article propose les « Portefeuilles de Récupérateurs » (Retriever Portfolios), une méthode rigoureuse qui sélectionne automatiquement un sous-ensemble diversifié de récupérateurs pour traiter des requêtes hétérogènes, atteignant une précision supérieure avec une latence et un coût moindres par rapport aux bases de référence à récupérateur unique ou multi-récupérateurs naïfs.

Auteurs originaux : Miltiadis Stouras, Vincent Cohen-Addad, Silvio Lattanzi, Ola Svensson

Publié 2026-06-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Miltiadis Stouras, Vincent Cohen-Addad, Silvio Lattanzi, Ola Svensson

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de répondre à une question et que vous disposez d'une bibliothèque géante de livres (Internet) pour vous aider. Dans le monde de l'intelligence artificielle, cela s'appelle le RAG (Retrieval-Augmented Generation ou Génération Augmentée par Récupération). L'IA demande à un « bibliothécaire » (un récupérateur/retriever) de trouver les meilleures pages, puis un « écrivain » (le Grand Modèle de Langage) utilise ces pages pour rédiger la réponse.

Pendant longtemps, ces systèmes utilisaient un seul et unique bibliothécaire pour chaque question. Le problème ? Certaines questions sont simples (« Qui est le président ? »), tandis que d'autres sont des énigmes complexes nécessitant de relier des points entre de nombreux livres différents (« Comment l'invention de l'imprimerie a-t-elle influencé la Révolution française ? »).

Un bibliothécaire qui est excellent pour trouver des faits simples peut être très mauvais pour résoudre des énigmes complexes, et vice versa. Compter sur un seul bibliothécaire signifie que l'on obtient souvent les mauvaises pages, ce qui conduit à de mauvaises réponses ou à des « hallucinations » (des faits inventés).

La Solution : Un « Portefeuille de Récupérateurs »

Les auteurs de cet article proposent une méthode plus intelligente : au lieu d'embaucher un seul bibliothécaire, embauchez une petite équipe de bibliothécaires spécialisés (un « portefeuille »).

Voyez cela comme une clinique médicale.

L'ancienne méthode : Vous avez un médecin généraliste qui essaie de tout traiter, de l'orteil cassé à la crise cardiaque. Il pourrait rater la crise cardiaque parce qu'il est habitué à examiner les pieds.
La nouvelle méthode (l'idée de l'article) : Vous avez une clinique avec un podologue, un cardiologue et un neurologue. Lorsque vous arrivez, un infirmier de triage intelligent (le « routeur ») examine rapidement vos symptômes et vous dirige vers le spécialiste le plus adapté à votre problème spécifique.

Dans cet article, les « spécialistes » sont différents algorithmes de recherche (récupérateurs) dotés de différents paramètres. Certains sont bons pour trouver des correspondances de mots exacts, d'autres sont bons pour trouver des idées qui semblent similaires, et d'autres encore sont bons pour connecter des concepts liés.

Comment ils ont construit l'équipe

Les chercheurs n'ont pas simplement deviné qui embaucher. Ils ont créé une méthode mathématique pour construire l'équipe parfaite :

Le grand bassin : Ils ont commencé avec un immense réservoir de 360 « bibliothécaires » différents (différentes stratégies de recherche et paramètres).
L'objectif « Best-of-K » : Ils ont posé une question simple : « Si nous choisissons une petite équipe de 5 bibliothécaires, lesquels 5 couvriront le plus de terrain ? » Ils ne voulaient pas 5 bibliothécaires qui font exactement la même chose. Ils voulaient une équipe diversifiée où, si l'un échoue, un autre réussit.
L'algorithme : Ils ont utilisé un algorithme glouton (un processus de sélection étape par étape) pour choisir l'équipe. Il choisit d'abord le meilleur bibliothécaire, puis choisit le deuxième bibliothécaire qui aide avec les questions que le premier a manquées, et ainsi de suite.
Le résultat : Ils ont fini par obtenir une petite équipe diversifiée (par exemple, 4 ou 5 spécialistes) qui couvre presque tous les types de questions.

Comment cela fonctionne en pratique

Lorsqu'un utilisateur pose une question :

Le Routeur : Une IA légère examine la question et décide : « Cela ressemble à une énigme complexe ; demandons l'expert en graphes et l'expert en diversité. »
Recherche Parallèle : Au lieu de demander à un bibliothécaire, d'attendre, puis d'en demander un autre, le système interroge les membres de l'équipe sélectionnés en même temps (en parallèle).
La Réponse Finale : Le système obtient plusieurs ensembles de pages différents. Une IA « juge » examine les réponses générées à partir de ces pages et choisit la meilleure.

Pourquoi c'est mieux (Les Résultats)

L'article a testé cette méthode sur plusieurs tests de référence difficiles de questions-réponses (comme HotpotQA et TriviaQA). Voici ce qu'ils ont découvert :

Une meilleure précision : L'équipe de spécialistes a trouvé les bonnes informations plus souvent que n'importe quel bibliothécaire unique, même si ce dernier était le « meilleur » en moyenne.
Plus rapide et moins coûteux : D'autres méthodes tentent d'« ajuster » le bibliothécaire pendant la réponse à la question (comme essayer différents paramètres un par un jusqu'à ce que cela fonctionne). C'est lent et coûteux. La méthode de l'article choisit l'équipe au préalable. Parce que les membres de l'équipe travaillent en parallèle, le système est beaucoup plus rapide et utilise moins de ressources informatiques (tokens) tout en obtenant des résultats identiques ou meilleurs.
Pas seulement « plus de livres » : Ils ont prouvé que l'amélioration ne venait pas seulement du fait de lire plus de pages. C'était parce qu'ils lisaient les bonnes pages du bon spécialiste.

L'essentiel

Cet article introduit une manière rigoureuse de cesser d'utiliser un moteur de recherche « taille unique » pour l'IA. En construisant une petite équipe diversifiée de spécialistes de la recherche et en utilisant un routeur intelligent pour choisir les bons pour la tâche, le système devient plus précis, plus rapide et plus efficace. C'est la différence entre avoir un généraliste qui essaie de tout faire et une équipe de spécialistes travaillant ensemble pour résoudre le problème.

Résumé Technique : Portefeuilles de Récupérateurs : Une Approche Fondée sur des Principes pour un RAG Adaptatif

1. Formulation du Problème

Les systèmes de Génération Augmentée par Récupération (RAG) reposent généralement sur un unique récupérateur avec un ensemble fixe d'hyperparamètres pour traiter toutes les requêtes des utilisateurs. Cependant, les distributions de requêtes dans les applications réelles sont hautement hétérogènes, allant de questions factuelles simples à des tâches de raisonnement multi-sauts complexes. Différentes configurations de récupération (modèles, stratégies ou hyperparamètres) se spécialisent souvent dans différents régimes, ce qui signifie qu'aucun récupérateur unique n'est optimal pour toutes les requêtes. Bien que des travaux récents comme Adaptive-RAG et Vendi-RAG tentent d'adapter les stratégies de récupération, ils opèrent soit sur un petit ensemble de stratégies conçues à la main, soit effectuent un réglage d'hyperparamètres par requête coûteux au moment de l'inférence, ce qui entraîne une latence et des coûts de jetons élevés.

Cet article traite de la limitation du "taille unique" de la récupération en proposant une approche fondée sur des principes pour l'Optimisation de Portefeuille de Récupérateurs. Le problème central est défini comme la sélection d'un sous-ensemble restreint et diversifié (un portefeuille) de $k$ récupérateurs parmi un large pool de $m$ candidats. L'objectif est de maximiser la performance attendue du "meilleur parmi $k$ " ($best-of-k$) des récupérateurs pour une requête aléatoire tirée de la distribution sous-jacente, plutôt que de maximiser la performance moyenne d'un seul récupérateur.

2. Méthodologie

2.1. Cadre Théorique

Les auteurs formalisent le problème en utilisant un objectif de meilleur-de- $k$ attendu. Soit $Q$ l'ensemble des requêtes avec une distribution inconnue $D$ , et $\mathcal{R}$ l'ensemble des récupérateurs candidats. Une fonction de score $s(q, r) \in [0, 1]$ mesure l'adéquation d'un récupérateur $r$ pour une requête $q$ . La qualité d'un portefeuille $S \subseteq \mathcal{R}$ (où $|S| \le k$ ) est définie par :
$F(S) = \mathbb{E}_{q \sim D} \left[ \max_{r \in S} s(q, r) \right]$
L'objectif est de trouver $S$ qui maximise $F(S)$ . Les auteurs prouvent que pour toute requête $q$ fixée, la fonction $f_q(S) = \max_{r \in S} s(q, r)$ est non négative, monotone et sous-modulaire. Par conséquent, l'objectif de la population $F(S)$ et son estimation empirique sont également des fonctions d'ensemble sous-modulaires.

2.2. Algorithme : Sélection de Portefeuille Gloutonne

Pour résoudre ce problème d'optimisation efficacement, l'article propose l'Algorithme 1, une procédure gloutonne basée sur l'échantillonnage :

Échantillonnage : Tirer $N$ requêtes i.i.d. de la distribution $D$ .
Estimation Empirique : Remplacer l'objectif de la population par une estimation empirique $\hat{F}_Q(S)$ .
Construction Gloutonne : Sélectionner itérativement le récupérateur $r$ qui maximise le gain marginal $\hat{F}_Q(S \cup \{r\}) - \hat{F}_Q(S)$ . L'algorithme maintient un vecteur mémorisé des meilleurs scores actuels par requête pour calculer les gains efficacement.
Garanties : L'algorithme s'exécute en $O(k |\mathcal{R}| N)$ temps. L'analyse théorique montre qu'il atteint une approximation de $(1 - 1/e)$ de l'optimalité du portefeuille, à un terme d'erreur statistique $\epsilon$ près, à condition que la taille de l'échantillon $N$ soit proportionnelle à la taille du pool et à la confiance souhaitée.

.3. Pipeline d'Inférence

Le système proposé comprend deux étapes :

Construction de Portefeuille Hors-ligne : En utilisant l'Algorithme 1, un portefeuille diversifié de $k$ récupérateurs complémentaires est sélectionné à partir d'un large pool (incluant des récupérateurs denses, basés sur la diversité et basés sur des graphes) sur la base des données d'entraînement.
Inférence Adaptative : Un routeur léger est entraîné pour sélectionner dynamiquement le(s) meilleur(s) récupérateur(s) pour une requête spécifique.
- Le routeur encode la requête en utilisant le texte brut et des plongements denses mis en cache (MPNet/E5).
- Il évalue les $k$ membres du portefeuille via une similitude avec les plongements de récupérateurs appris.
- Les top- $\ell$ récupérateurs sont exécutés en parallèle pour minimiser la latence.
- Un LLM sélecteur agrège les réponses des récupérateurs parallèles pour produire la sortie finale.

Cette approche amortit le coût de l'adaptation hors-ligne, évitant la recherche itérative requise par les méthodes de réglage au moment de l'inférence.

3. Contributions Clés

Formulation du Problème : Introduction du problème d'« optimisation de portefeuille RAG », formalisant la sélection d'un ensemble restreint et diversifié de récupérateurs pour couvrir des distributions de requêtes hétérogènes via un objectif de meilleur-de- $k$ attendu.
Garanties Théoriques : Preuve que l'objectif est sous-modulaire, permettant la construction efficace de portefeuilles quasi-optimaux avec des garanties d'approximation prouvables de $(1 - 1/e)$ .
Pipeline Pratique : Un système complet comprenant la sélection de portefeuille hors-ligne et un routeur léger qui permet la récupération et la réponse en parallèle, réduisant considérablement la latence d'inférence par rapport aux méthodes adaptatives séquentielles.
Validation Empirique : Évaluation complète sur quatre benchmarks de QA diversifiés (HotpotQA, 2WikiMultiHopQA, TriviaQA, MusiQue) démontrant une performance supérieure aux bases de référence à un seul récupérateur et aux approches de réglage au moment de l'inférence.

4. Résultats Expérimentaux

La méthode a été évaluée sur quatre jeux de données de QA en domaine ouvert en utilisant deux modèles de réponse (Gemma-3-27B-IT et Llama-3.1-70B-Instruct).

Couverture de Récupération : Les portefeuilles appris surpassent significativement la sélection de récupérateurs "moyenne-meilleure". Par exemple, un portefeuille de taille $k=5$ a atteint un Rappel de Support de 0,594 contre 0,492 pour les 5 meilleurs récupérateurs moyens. Les gains proviennent de la complémentarité (couverture de différentes sous-populations de requêtes) plutôt que d'une simple augmentation du nombre de documents récupérés.
Précision de Bout-en-Bout : Les portefeuilles routés ont systématiquement obtenu des scores Exact Match (EM) plus élevés que les bases de référence à un seul récupérateur et que Vendi-RAG (une base de référence de réglage au moment de l'inférence). Le portefeuille "all-pool" (combinant les récupérateurs Dense, Vendi et GraphDense) a produit le meilleur EM moyen sur tous les jeux de données.
Efficacité vs Précision : Dans des comparaisons contrôlées avec Vendi-RAG (utilisant le même espace de recherche Vendi), l'approche de portefeuille hors-ligne a atteint une précision comparable ou supérieure avec une latence et des coûts de jetons nettement inférieurs. Cela s'explique par le fait que le portefeuille permet l'exécution parallèle d'un ensemble fixe de récupérateurs, tandis que Vendi-RAG nécessite une génération et un jugement itératifs et séquentiels.
Efficacité du Routeur : Les études d'ablation ont montré que le routeur appris surpasse significativement la sélection aléatoire et sélectionne systématiquement des récupérateurs qui améliorent le meilleur membre moyen unique, routant efficacement les requêtes vers les membres les plus adaptés du portefeuille.

5. Signification et Revendications

L'article affirme faire progresser le domaine du RAG en déplaçant la charge de l'adaptation coûteuse et séquentielle au moment de l'inférence vers une construction de portefeuille hors-ligne efficace. Les auteurs soutiennent que :

Aucun récupérateur unique n'est optimal : Fixer une seule stratégie laisse une partie de la performance inexploitée face à des besoins d'information diversifiés.
La complémentarité est la clé : Un petit ensemble de récupérateurs diversifiés peut couvrir la distribution des requêtes plus efficacement qu'un seul "meilleur" récupérateur ou qu'une simple augmentation du budget documentaire.
Efficacité : Les portefeuilles fixes permettent la récupération et les appels LLM en parallèle, offrant un compromis pratique qui atteint une haute précision avec une latence et une utilisation de jetons prévisibles et faibles, rendant le RAG adaptatif plus déployable dans des environnements de production.

Le travail ne prétend pas résoudre tous les défis du RAG, mais propose une méthode fondée sur des principes et théoriquement ancrée pour sélectionner et router parmi des stratégies de récupération, qui est à la fois prouvablement quasi-optimale et empiriquement efficace.