Résumé technique : Calibrer puis Agir : Exploration consciente des coûts dans les agents LLM

Énoncé du problème

Les agents basés sur les grands modèles de langage (LLM) sont de plus en plus déployés dans des environnements nécessitant une interaction pour acquérir des informations, tels que le débogage logiciel, la découverte scientifique et la réponse à des questions augmentée par la récupération. Dans ces contextes, les agents font face à un compromis fondamental : l'exploration (collecte d'informations supplémentaires via des outils, des tests ou la récupération) réduit l'incertitude mais engendre des coûts (latence API, coût monétaire, temps), tandis que l'engagement (agir sur la base d'informations partielles) économise des coûts mais risque des erreurs.

Les politiques actuelles des agents sont souvent statiques ; par exemple, un agent de codage pourrait toujours exécuter des tests unitaires avant d'exécuter du code, ou un agent de réponse aux questions pourrait toujours récupérer un contexte indépendamment de sa confiance. L'article soutient que le comportement optimal est une fonction de la probabilité de succès de l'agent et des coûts spécifiques de l'environnement. Cependant, les LLM standards, même lorsqu'ils sont sollicités ou entraînés par apprentissage par renforcement (RL), échouent à apprendre efficacement ces règles de décision dynamiques et sensibles aux coûts. Ils peinent à calibrer implicitement leur incertitude par rapport aux coûts d'action pour découvrir des stratégies de Pareto optimales.

Méthodologie : Calibrer puis Agir (CTA)

Les auteurs proposent Calibrer puis Agir (CTA), un cadre qui découple l'estimation de l'incertitude environnementale (calibration) du processus de raisonnement pour la sélection d'actions. L'idée centrale est qu'en fournissant explicitement à l'agent une priori estimée sur l'état latent de l'environnement, le LLM peut être amené à raisonner de manière abstraite sur le problème optimal de prise de décision séquentielle.

Formalisation

Le problème est formalisé comme une tâche de prise de décision séquentielle sous incertitude, modélisée comme un Processus de Décision Markovien Partiellement Observable (POMDP).

• État latent ($Z$) : Caractéristiques non observées de l'environnement (par exemple, les délimiteurs de fichiers, l'emplacement d'un « prix » dans une boîte, ou la correction d'une réponse paramétrique).
• Actions : Un ensemble d'actions d'exploration (par exemple, VÉRIFIER, RÉCUPÉRER, TEST_UNITAIRE) et une action d'engagement (DEVINER, RÉPONDRE).
• Coûts : Les actions d'exploration entraînent des facteurs d'actualisation multiplicatifs ($\gamma$ ou $d$) qui réduisent la récompense finale en fonction du nombre d'étapes effectuées.
• Objectif : Maximiser la récompense actualisée espérée $R = I[\text{tâche terminée}] \cdot D_\theta(\text{actions})$.

Le cadre CTA

CTA introduit une priori estimée $\hat{p}(Z|x)$ dans la boucle de décision de l'agent. Cette priori est dérivée de sources externes au raisonnement immédiat de l'agent (par exemple, la confiance du modèle ou un prédicteur entraîné) et est transmise dans le cadre du prompt.

1. CTA-Prompté : Le LLM de base est sollicité avec la description de la tâche, l'observation actuelle et la priori explicite $\hat{p}(Z|x)$. Le modèle est censé raisonner sur le compromis entre la valeur de l'information et le coût de l'exploration.
2. CTA-RL : Le modèle est affiné en utilisant l'optimisation de politique relative de groupe (GRPO) avec les mêmes prompts enrichis par la priori. La fonction de récompense inclut le succès de la tâche et les décotes de coût.

Stratégies d'estimation des prioris

L'article démontre deux méthodes pour générer ces prioris :

• À partir de la confiance du modèle (QA) : Pour les questions-réponses basées sur des connaissances, la priori est la probabilité de répondre correctement sans récupération ($p_{da}$). Celle-ci est estimée à l'aide de la confiance verbalisée du modèle, calibrée par régression isotonique sur un ensemble de validation.
• À partir des données d'entraînement (Codage) : Pour les tâches de codage impliquant la lecture de fichiers, la priori est la distribution de probabilité sur les attributs de formatage des fichiers (délimiteur, caractère de citation, lignes à sauter) étant donné un nom de fichier. Un prédicteur léger basé sur BERT (MBERT) est entraîné pour mapper les noms de fichiers vers ces distributions de formatage.

Contributions clés

1. Formalisation unifiée : Les auteurs présentent diverses tâches d'exploration conscientes des coûts (Boîte de Pandore, QA avec récupération, et tests de codage sélectifs) comme un problème unifié de prise de décision séquentielle sous incertitude.
2. La méthode CTA : Ils introduisent une méthode qui conditionne explicitement les agents sur des prioris estimées. Cela permet aux agents de raisonner sur l'optimalité d'une manière que le prompting standard ou l'entraînement RL de bout en bout ne parviennent pas à atteindre.
3. Validation empirique : L'article montre que même de petits modèles « réfléchissants » (Qwen3-8B) peuvent résoudre des politiques optimales dans ces contextes s'ils disposent des prioris correctes, alors qu'ils échouent à apprendre ces politiques implicitement par le seul RL.

Résultats expérimentaux

Les auteurs évaluent CTA sur trois configurations :

1. Boîte de Pandore (Preuve de concept) : Une tâche synthétique où un agent doit choisir entre vérifier une boîte ou deviner.
   • Résultat : Sans prioris, le prompting standard et le RL atteignent de faibles taux de correspondance optimale (~11-23 %). CTA-Prompté atteint un taux de correspondance optimale de 94,0 %, démontrant que le modèle peut raisonner sur le compromis coût-incertitude lorsque la priori est explicite.
2. QA de connaissances (PopQA) : Les agents décident s'ils doivent récupérer un contexte ou répondre directement.
   • Résultat : Les lignes de base récupèrent soit trop souvent (ignorant le coût), soit trop rarement. CTA-Prompté atteint la récompense la plus élevée et la meilleure alignement avec la politique oracle à travers des coûts de récupération variables, adaptant son taux de récupération dynamiquement en fonction de la priori de confiance fournie.
3. Lecture de fichiers (Codage) : Les agents doivent analyser des fichiers CSV aux formats inconnus, choisissant entre exécuter des tests unitaires (peu coûteux mais informatifs) ou écrire du code (coûteux mais potentiellement direct).
   • Résultat : Les agents RL standards s'effondrent dans une politique statique « test d'abord » indépendamment des ratios de coût. CTA-RL (entraîné avec des prioris explicites) atteint une récompense supérieure de 3,5 % par rapport au RL standard et présente un comportement adaptatif, exécutant moins de tests lorsque l'exécution de code est peu coûteuse et plus de tests lorsqu'elle est coûteuse. Il opère constamment sur la frontière de Pareto à travers différents régimes de coûts.

Importance et affirmations

L'article affirme que le principal goulot d'étranglement pour un comportement optimal des agents dans des environnements contraints par les coûts n'est pas un manque de capacité de raisonnement du LLM, mais plutôt la difficulté d'apprendre à calibrer implicitement l'incertitude et les coûts. En externalisant l'étape de calibration (estimation de la priori) et en la renvoyant à l'agent, CTA permet au modèle de concentrer son raisonnement sur la logique de décision elle-même.

Les auteurs affirment que cette approche incite les agents à découvrir des stratégies de prise de décision plus optimales que les lignes de base standard. Ils soulignent que cette méthode fonctionne même avec des estimations de priori imparfaites (par exemple, un prédicteur avec 67 % de précision), montrant une dégradation progressive plutôt qu'un échec catastrophique. Ce travail suggère que les informations de niveau méta (prioris sur les capacités ou la structure de l'environnement) jouent un rôle crucial dans la formation des politiques des agents, offrant une nouvelle voie pour améliorer l'efficacité des coûts dans les agents LLM sans nécessiter un entraînement RL à grande échelle à partir de zéro.

Limites : Les auteurs reconnaissent que leurs expériences sont menées sur des ensembles de données contrôlés, synthétiques ou semi-synthétiques (PopQA, FILEREADING) qui sont plus simples que les déploiements réels ouverts. Ils notent que CTA dépend de la disponibilité d'estimations de prioris utiles et que, dans des environnements hautement complexes, les capacités de raisonnement du modèle de base doivent toujours être suffisantes pour interpréter les prioris et mettre à jour correctement les croyances.