Résumé Technique : Contrôle du Budget au Moment de l'Inférence pour les Agents de Recherche LLM

1. Formulation du Problème

L'article aborde le défi du déploiement d'agents de recherche basés sur des Modèles de Langage (LLM) sous des budgets doubles explicites et stricts : une limite sur les appels d'outils ($B_{tool}$) et une limite sur les tokens de sortie ($B_{tok}$). Alors que les travaux antérieurs ont exploré la mise à l'échelle au moment du test via un échantillonnage répété ou une auto-réflexion, ces approches traitent souvent le calcul comme une ressource uniquement liée aux tokens. Pour les agents de recherche, cependant, un budget supplémentaire peut entraîner une récupération redondante, un branchement gaspillé et une croissance fragile du contexte s'il n'est pas géré explicitement.

Le problème central est formulé comme un problème de contrôle en deux étapes au moment de l'inférence :

1. Allocation d'actions au moment de la recherche : À chaque étape, l'agent doit décider comment allouer le budget double restant parmi des actions hétérogènes : récupérer des preuves (SEARCH), décomposer la question (DECOMPOSE) ou s'engager sur une réponse (ANSWER). Ces actions diffèrent par leur coût et leur retour potentiel, et le choix optimal dépend de l'état actuel des preuves et du budget restant.
2. Finalisation au moment de la réponse : Après la fin de la recherche, l'agent doit décider de conserver la réponse de base de la trajectoire ($a_{base}$) ou de la remplacer par un candidat raffiné ($a_{ref}$). Cette décision doit équilibrer le gain potentiel en exactitude contre le risque de « préjudice d'intervention » — effacer des structures de pont correctes ou altérer des sémantiques comparatives par une réécriture inutile.

L'objectif est de maximiser la récompense attendue $E[R(\hat{a}, y)]$ sous réserve des contraintes de budget double et d'une contrainte sur le préjudice attendu provenant du remplacement de la réponse ($E[L_{harm}] \leq \rho_{harm}$).

2. Méthodologie

La méthode proposée, VOI (Valeur de l'Information), est un contrôleur en deux étapes sans entraînement, construit sur une base générique de recherche arborescente (inspirée de BAVT).

Étape 1 : Allocation du Budget au Moment de la Recherche

Le contrôleur sélectionne l'action suivante en notant les options réalisables à l'aide d'un score VOI au niveau de la tâche. Ce score est une estimation opérationnelle de la valeur marginale de la tâche par unité de budget, distincte du gain d'information de Shannon ou des modèles de valeur appris.

• Construction de l'utilité : Pour chaque action $k$, une utilité au niveau de la tâche $u_t(k)$ est calculée comme suit :
  $$u_t(k) = \hat{\Delta}_t(k) + \Psi_t(k) - \Pi_t(k; b_t)$$
  • $\hat{\Delta}_t(k)$ : Un signal de progression dérivé d'un critique.
  • $\Psi_t(k)$ : Signaux structurels (par exemple, structure de pont, pression de boucle, préparation).
  • $\Pi_t(k; b_t)$ : Un terme de pénalité dépendant du budget qui augmente pour les actions SEARCH et DECOMPOSE lorsque le budget restant est serré, agissant comme un proxy pour le coût d'ombre de l'oracle.
• Normalisation et Gardes : L'utilité est normalisée par une échelle de budget spécifique à l'action pour produire le score VOI $r_t(k)$. Un opérateur de garde déterministe $G_t$ ajuste ensuite ce score pour imposer des comportements conservateurs (par exemple, supprimer les réponses prématurées, imposer une recherche minimale pour les questions compositionnelles).
• Sélection : L'action ayant le score exécutable gardé le plus élevé est sélectionnée et exécutée.

Étape 2 : Finalisation au Moment de la Réponse

Une fois la recherche terminée, un finalisateur sélectif et ancré sur les preuves évalue s'il faut réécrire la réponse.

• Arbitrage Gain-Risque : Le finalisateur compare la réponse de base $a_{base}$ et un candidat raffiné $a_{ref}$ (construit à partir de la même trace). Il intervient uniquement si le gain attendu en exactitude l'emporte sur le risque d'endommager la réponse.
• Ensemble de Sécurité ($S_{safe}$) : La réécriture est restreinte aux scénarios à faible risque, tels que la correction de la polarité oui/non, des choix binaires, des incohérences de slots typés, ou la complétion de faits supportés.
• Abstention : Le système s'abstient de réécrire si la trajectoire contient des structures de pont non résolues, des sémantiques comparatives ou un manque de support direct, car une réécriture agressive dans ces cas nuit souvent à la correction.
• Surcoût Nul : Cette étape n'ajoute aucun nouvel appel d'outil ou d'inférence LLM ; il s'agit d'une politique de sélection déterministe sur les candidats existants.

3. Contributions Clés

1. Formulation en Deux Étapes : L'article formalise l'inférence consciente du budget dans les agents de recherche LLM comme un problème couplé d'allocation d'actions au moment de la recherche et de finalisation de réponse contrôlée par le risque sous des budgets doubles stricts.
2. Contrôle VOI au Niveau de la Tâche : Il introduit un scoreur sans entraînement qui classe les actions en fonction de la valeur marginale estimée de la tâche par unité de budget, intégrant des pénalités dépendant du budget et des signaux structurels sans apprendre de modèle de valeur.
3. Finalisation Contrôlée par le Risque : Il propose un sélecteur de réponse conservateur qui n'intervient que pour des erreurs de forme de réponse locales, évitant explicitement la destruction de chemins de raisonnement multi-sauts corrects.
4. Validation Empirique : La méthode est évaluée sur quatre benchmarks de QA multi-sauts (HotpotQA, 2WikiMultihopQA, MuSiQue, Bamboogle), trois architectures LLM (Qwen3-32B, Qwen3.5-122B, GPT-5.4-Mini) et quatre niveaux de budget sous un audit de budget strict et partagé.

4. Résultats Expérimentaux

• Gains Agrégés : VOI génère des gains agrégés positifs par rapport à quatre bases de référence auditées (BAVT, BATS, AFlow, Search-o1) dans les configurations testées. Sur Qwen3-32B, il atteint le meilleur F1 dans 7 des 16 cellules jeu de données-budget et égalise le meilleur dans 2 autres, surpassant les bases de référence dans 14/16, 10/16, 16/16 et 15/16 cellules respectivement.
• Sensibilité au Budget : Les améliorations les plus significatives se produisent dans les régimes de budget faible et moyen-bas, où une allocation prudente des actions est cruciale pour éviter d'épuiser les ressources sur des actions à faible rendement.
• Ablation des Composantes :
  • Contrôle au Moment de la Recherche : La suppression du terme de pénalité dépendant du budget entraîne la plus forte baisse de performance, confirmant que l'allocation d'actions consciente du budget est le principal moteur des gains.
  • Finalisation : L'étape 2 (finalisation) apporte des gains significatifs (jusqu'à 41,9 % du gain total sur MuSiQue) principalement lorsque la trajectoire de recherche est adéquate mais contient des erreurs de forme de réponse locales. Elle contribue moins sur les jeux de données où les erreurs sont structurelles (par exemple, MuSiQue).
• Efficacité : Le contrôleur VOI réduit le temps moyen d'inférence de 27,2 % en moyenne par rapport à BAVT, car il évite les opérations à faible valeur qui auraient autrement consommé le budget.

5. Importance et Revendications

L'article affirme que le contrôle du budget au moment de l'inférence est essentiel pour les agents de recherche LLM, régissant à la fois la manière dont le budget est dépensé pendant la recherche et la manière dont la réponse finale est validée.

• Mise à l'Échelle Non Monotone : Les résultats démontrent que des budgets plus importants ne produisent pas toujours de meilleures réponses ; sans contrôle explicite, l'augmentation des budgets peut entraîner une recherche redondante et une finalisation plus bruyante.
• Conditions Limites : L'efficacité de la méthode n'est pas uniforme. Elle montre des rendements décroissants sur des architectures plus puissantes (par exemple, Qwen3.5-122B) et dans des régimes de budget élevé où des bases de référence comme BATS restent compétitives.
• Sécurité et Déployabilité : En modélisant explicitement le risque de remplacement de réponse et en imposant des audits de budget stricts, l'approche rend le comportement de l'agent plus prévisible et inspectable, ce qui est crucial pour le déploiement dans des environnements contraints par les coûts ou sensibles à la latence.

Les auteurs soulignent que leur méthode ne revendique pas l'optimalité globale de l'arbre de recherche, mais fournit plutôt un mécanisme de contrôle local, au niveau de la décision, qui améliore considérablement les performances sous des contraintes de ressources strictes.