Résumé technique : BRANE – Construction d'agents de récupération via des expressions en langage naturel

Formulation du problème : Query2Conf

Les agents de récupération modernes (par exemple, les systèmes RAG, les assistants de recherche) exposent un vaste espace de configurations incluant le choix du grand modèle de langage (LLM), du récupérateur, du nombre de documents récupérés ($k$), du nombre de sauts de raisonnement et de la stratégie de synthèse. Actuellement, ces pipelines sont généralement ajustés manuellement une fois par charge de travail, ce qui résulte en une configuration statique sous-optimale pour les requêtes individuelles.

Les auteurs formulent Query2Conf : étant donné une requête en langage naturel et une précision cible (ou un budget de coût), sélectionner dynamiquement la configuration du pipeline dans un catalogue prédéfini qui minimise le coût tout en respectant l'objectif de précision. Ce problème est motivé par trois observations empiriques :

1. Variabilité par requête : Au sein d'une seule charge de travail, différentes requêtes ont des configurations optimales radicalement différentes ; aucune configuration statique unique n'est optimale sur l'ensemble de la charge de travail.
2. Impact du pipeline complet : Le compromis coût-qualité est davantage piloté par l'interaction du pipeline complet (récupérateur, synthèse, profondeur) que par le choix du LLM seul.
3. Signaux spécifiques à la charge de travail : Les caractéristiques qui distinguent les requêtes et dictent les choix de configuration sont spécifiques à la charge de travail (par exemple, les métriques financières dans FinanceBench par rapport au raisonnement multi-sauts dans MuSiQue) et ne peuvent être capturées par des caractéristiques de requête génériques et fixes ou par des plongements standards.

Méthodologie : Le cadre BRANE

L'article propose BRANE (Building Retrieval Agents via Natural language Expressions), un cadre qui résout Query2Conf en trois étapes :

1. Profilage de la configuration (Hors ligne)

Le système échantillonne un ensemble de requêtes depuis la charge de travail et exécute chacune d'elles contre chaque configuration candidate dans l'espace de conception. Cela génère un ensemble de données de résultats de justesse ($y_c(q) \in \{0,1\}$) et de coûts en dollars ($cost(q, c)$) pour chaque paire requête-configuration.

2. Entraînement du prédicteur (Hors ligne)

Au lieu de modéliser directement les interactions complexes et non monotones des paramètres du pipeline, BRANE entraîne un prédicteur léger pour chaque configuration.

• Caractérisation spécifique à la charge de travail : Un LLM de pointe (par exemple, GPT-5-mini) est sollicité avec un petit échantillon de requêtes pour proposer un ensemble de caractéristiques binaires spécifiques à la charge de travail (par exemple, involves_regional_cuisine, requires_multi_hop). Ces caractéristiques agissent comme une couche de traduction entre la sémantique de la requête et l'espace de configuration. Un LLM moins coûteux étiquette ensuite toutes les requêtes profilées avec ces caractéristiques binaires, créant un vecteur de caractéristiques $F(q)$.
• Prédiction par configuration : Pour chaque configuration $c$ qui survit à l'élagage « flou de Pareto » (conservant les configurations proches de la frontière coût-qualité), un classifieur léger (par exemple, Régression logistique, XGBoost) est entraîné pour estimer la probabilité de justesse : $\hat{p}_c(F(q)) \approx P(y_c(q)=1 | F(q))$.

3. Sélection au moment de l'inférence

Au moment de l'exécution, pour une nouvelle requête $q$ :

1. Le système calcule le vecteur de caractéristiques binaires $F(q)$ en utilisant le LLM caractérisateur.
2. Il évalue la justesse prédite $\hat{p}_c(F(q))$ pour toutes les configurations optimales de Pareto.
3. Il sélectionne la configuration $c^*$ qui maximise un score lagrangien :
   $$c^* = \arg\max_{c} \left( \hat{p}_c(F(q)) - \lambda \cdot \text{cost}(c) \right)$$
   où $\lambda$ est un paramètre ajustable qui mappe l'objectif de précision de l'utilisateur vers un point spécifique sur la frontière de Pareto coût-qualité.

Contributions clés

1. Query2Formulation : Les auteurs formalisent le problème de la configuration de pipeline par requête, motivés par l'observation que l'ajustement statique au niveau de la charge de travail laisse inexploité un potentiel significatif d'optimisation coût-qualité.
2. Caractérisation spécifique à la charge de travail : L'article démontre que les caractéristiques binaires proposées par un LLM et spécifiques à une charge de travail surpassent les plongements génériques et les caractéristiques fixes basées sur des règles comme entrées pour les prédicteurs de configuration.
3. Cadre BRANE : Un système complet résolvant Query2Conf via un profilage hors ligne, un entraînement de prédicteurs par configuration et un routage lagrangien. Il évite la nécessité d'un ajustement fin de bout en bout de grands modèles pour le routage.

Résultats expérimentaux

Les auteurs évaluent BRANE sur trois benchmarks : MuSiQue, BrowseComp-Plus et FinanceBench, en le comparant à des configurations statiques, des routeurs LLM (Carrot), des routeurs basés sur des règles (METIS, Adaptive-RAG) et des modèles ajustés fin de bout en bout (BERT, Qwen3-4B).

• Frontière de Pareto coût-qualité : BRANE repousse constamment la frontière de Pareto au-delà de la meilleure configuration statique.
• Économies de coûts : Avec l'objectif strict de correspondre à la précision du meilleur pipeline statique, BRANE réalise des économies de coûts allant jusqu'à 89,4 % sur MuSiQue, 81,7 % sur BrowseComp-Plus et 8,1 % sur FinanceBench.
• Objectifs de précision : BRANE est la seule méthode capable d'atteindre l'objectif strict de 100 % de précision sur les trois benchmarks tout en réduisant simultanément les coûts.
• Lignes de base : BRANE surpasse les versions étendues des routeurs uniquement LLM (qui échouent à atteindre des objectifs de précision élevés) et les systèmes basés sur des règles (qui ne généralisent pas bien aux nouvelles charges de travail).
• Efficacité des modèles : Les prédicteurs classiques par configuration entraînés sur les caractéristiques binaires surpassent les modèles BERT et Qwen3-4B ajustés fin de bout en bout, en particulier pour atteindre des objectifs de précision stricts.

Importance et affirmations

L'article affirme que la configuration par requête du pipeline complet de récupération est une alternative pratique à l'ajustement statique au niveau de la charge de travail. En découplant la compréhension sémantique de la requête (via des caractéristiques générées par LLM) de la prédiction des performances du pipeline (via des classifieurs légers), BRANE réalise des réductions de coûts significatives sans sacrifier la précision. Les auteurs soulignent que cette approche exploite la « marge coût-qualité » inhérente aux pipelines d'IA modernes, qui est actuellement inaccessible en raison de la complexité combinatoire de l'espace de configuration et de l'absence de stratégies d'optimisation par requête. Le cadre est conçu pour être robuste, ne nécessitant qu'un seul passage de profilage hors ligne et permettant aux ingénieurs de rediriger les contraintes de précision ou de budget au moment de l'inférence sans réentraînement.