Résumé Technique : R2V-Agent – Enseigner aux LLMs de petite taille quand demander de l'aide

Énoncé du Problème

Les systèmes agentiques efficaces opérant dans des environnements interactifs (par exemple, l'ingénierie logicielle, la navigation web, l'administration système) font face à un compromis fondamental entre fiabilité et coût. La fiabilité dépend souvent de grands modèles de langage (LLM) de pointe coûteux, en particulier lorsque les tâches impliquent une planification à long terme, une récupération après des appels d'outils échoués ou un raisonnement sous des observations incomplètes. À l'inverse, les modèles de langage de petite taille (SLM) sont rentables mais fragiles face aux perturbations hors distribution.

Les cascades et routeurs de LLM existants effectuent généralement une allocation au niveau de la requête, décidant quel modèle utiliser avant le début de l'exécution ou après la génération d'une réponse complète. Cette approche est inadaptée aux Processus de Décision Markoviens Partiellement Observables (POMDP) agentiques, où la difficulté de la tâche est dépendante de la trajectoire. Une tâche peut commencer dans la distribution mais devenir risquée en cours de trajectoire en raison d'appels d'outils instables, d'observations tronquées ou d'erreurs locales cumulatives. Router l'intégralité de la tâche vers un SLM est fragile, tandis que router l'intégralité de la tâche vers un LLM est inutilement coûteux. Le défi central consiste à déterminer quand un SLM local déployé doit se référer à un LLM enseignant plus puissant durant l'exécution d'une trajectoire d'agent multi-étapes.

Méthodologie

Les auteurs proposent R2V-Agent, un cadre calibré sur le risque pour le routage SLM-LLM au niveau de l'étape. Le système décompose l'exécution en quatre composants :

1. Politique SLM distillée ($\pi_\theta$) : Un modèle local entraîné pour gérer les étapes routinières.
2. LLM enseignant ($\pi_T$) : Un modèle plus puissant invoqué uniquement lorsque nécessaire.
3. Vérificateur de processus ($V_\phi$) : Un module léger qui note les actions candidates à chaque étape.
4. Routeur calibré ($r_\psi$) : La contribution centrale, qui estime le risque d'échec résiduel à chaque étape.

Pipeline d'Entraînement

Le système est entraîné comme un pipeline ordonné plutôt que comme un objectif multi-pertes conjoint, afin de s'assurer que le routeur apprend les modes d'échec d'une politique fixe :

1. Distillation hors ligne (Entraînement du SLM) :

   • Clonage comportemental (BC) : Le SLM est initialisé à chaud à l'aide de trajectoires d'enseignant augmentées par des opérateurs de perturbation (simulant des échecs d'outils, des observations manquantes, des injections de prompts, etc.).
   • DPO guidé par le vérificateur : La politique BC génère des actions candidates, qui sont notées par le vérificateur. Des paires de préférence sont construites entre les actions approuvées par le vérificateur/récupérées par l'enseignant et les échantillons BC de moindre qualité. Le SLM est affiné en utilisant l'Optimisation Directe des Préférences (DPO) avec la politique BC figée comme référence.
   • Régularisation de cohérence : Un terme de divergence de Jensen-Shannon (JSD) encourage le SLM à produire des distributions d'actions stables à travers différentes réalisations de perturbation du même état latent, améliorant ainsi la robustesse.

2. Entraînement du Routeur :

   • Une fois la politique SLM fixée, le routeur est entraîné sur les échecs résiduels de cette politique.
   • Caractéristiques : Le routeur ingère un vecteur de 15 dimensions incluant l'entropie au niveau des tokens, les statistiques des scores du vérificateur (moyenne, dispersion, meilleur/pire), la cohérence des candidats et les caractéristiques de l'état de la trajectoire.
   • Étiquettes : L'étiquette de routage $y_t$ est binaire, indiquant si le déploiement uniquement SLM contenant le contexte actuel a fini par échouer l'épisode.
   • Objectif : Le routeur minimise une perte calibrée par Brier pour estimer la probabilité conditionnelle d'échec de l'épisode. Crucialement, il emploie un objectif contraint par la Valeur à Risque Conditionnelle (CVaR). Cela pénalise les routeurs qui sont peu coûteux en moyenne mais fragiles sous les graines de perturbation pires cas, assurant ainsi une robustesse face aux risques de queue.

Inférence

Au moment du test, le SLM distillé s'exécute par défaut. Le routeur estime le risque résiduel $p_t = r_\psi(f_t)$. Si $p_t$ dépasse un seuil calibré $\tau^*_{route}$ et que le budget LLM reste disponible, le système escalade vers le LLM enseignant ; sinon, il procède avec l'action du SLM.

Contributions Clés

1. Formulation de routage par étape avec état : L'article formule le routage d'agent SLM-LLM comme un problème d'allocation avec état dans des POMDP perturbés, dépassant les décisions statiques au niveau de la requête.
2. Objectif de routage basé sur le risque résiduel : Les auteurs introduisent un objectif de routage combinant l'estimation de probabilité calibrée par Brier avec un contrôle du risque de queue contraint par la CVaR. Cela garantit que le routeur escalade uniquement lorsque le risque estimé justifie le coût, évitant ainsi des politiques fragiles.
3. Validation empirique : Le cadre est évalué sur trois benchmarks (HumanEval+, TextWorld, TerminalBench) et quatre architectures de SLM (Gemma-9B, LLaMA-3.1-8B, Qwen2.5-7B/14B), démontrant que le routage par étape calibré réduit significativement les appels aux modèles de pointe tout en préservant un taux de réussite élevé des tâches.

Résultats

R2V-Agent améliore la frontière fiabilité-coût sur tous les benchmarks testés :

• HumanEval+ (Génération de code) : Dans un régime à faible échec, R2V atteint 94,3 % de réussite avec seulement 0,6 % d'escalade LLM, une amélioration significative par rapport à la ligne de base SLM seul (91,9 %) avec un coût négligeable.
• TextWorld (Contrôle incarné) : R2V récupère la performance de 64,6 % (SLM seul) à 98,2 % de réussite avec 41,7 % d'escalade. Cela est proche du taux de l'oracle rétrospectif (35,4 %) et nettement plus efficace que les routeurs heuristiques, qui nécessitent près de 100 % d'escalade pour atteindre une réussite similaire.
• TerminalBench (Ingénierie Shell) : R2V améliore la réussite de 81,1 % à 93,3 % en utilisant 33,9 % d'appels LLM. Cela représente environ la moitié du coût d'un routeur heuristique (66,0 % d'escalade) pour une fiabilité comparable.

Des études d'ablation confirment que la régularisation de cohérence (améliorant la stabilité du SLM) et l'ensemble complet de caractéristiques (combinant les signaux du vérificateur et l'entropie) sont critiques. Le système démontre également une dégradation gracieuse dans des environnements à source fermée où les log-probabilités des tokens ne sont pas disponibles, en utilisant une « pseudo-entropie » dérivée des scores du vérificateur.

Importance

L'article soutient que les agents efficaces n'ont pas besoin de choisir entre une exécution SLM peu coûteuse mais fragile et une exécution LLM complète coûteuse. En traitant le routage comme une décision par étape avec état ancrée dans l'estimation du risque résiduel, R2V-Agent offre un compromis pratique. Le travail met en évidence que :

• La difficulté des tâches chez les agents est dynamique et dépendante de la trajectoire, rendant le routage statique au niveau de la requête insuffisant.
• Le routage probabiliste calibré, contraint par des objectifs de risque de queue (CVaR), est supérieur aux seuils heuristiques ou basés sur l'entropie pour gérer l'allocation de calcul dans les environnements interactifs.
• La séparation de l'entraînement d'une politique locale stable de l'entraînement du routeur permet une isolation précise des stratégies d'allocation de calcul des techniques d'amélioration de la politique.

Les auteurs notent que la performance du système dépend toujours de la qualité du vérificateur et des caractéristiques de risque, et que certains échecs (en particulier dans les tâches shell complexes) restent difficiles à détecter en ligne, laissant une place pour un travail futur sur l'amélioration du vérificateur et l'adaptation dynamique du budget.