ReDAct: Uncertainty-Aware Deferral for LLM Agents

1. Problématique

Les agents basés sur les grands modèles de langage (LLM) gagnent en popularité pour résoudre des problèmes de prise de décision séquentielle complexes (par exemple, dans des environnements incarnés comme ALFWorld ou MiniGrid). Cependant, ces agents héritent de la tendance des LLM à halluciner, ce qui conduit à des décisions erronées.

Dans les contextes séquentiels, une seule erreur peut dégrader irrévocablement la trajectoire de l'agent et ruiner l'ensemble de l'épisode (contrairement à la génération de texte statique où les erreurs sont isolées). Pour éviter ces erreurs, on pourrait utiliser exclusivement des modèles LLM très grands et fiables, mais cela entraîne des coûts d'inférence prohibitifs par token.

Le défi central est donc de trouver un équilibre : comment obtenir la fiabilité d'un grand modèle coûteux tout en conservant l'efficacité économique d'un petit modèle, sans sacrifier la performance globale de l'agent ?

2. Méthodologie : ReDAct (Reason-Defer-Act)

Les auteurs proposent ReDAct, un cadre d'agent qui intègre deux LLM :

1. Un petit modèle (M_small) : peu coûteux, utilisé par défaut.
2. Un grand modèle (M_large) : plus fiable mais coûteux.

Le mécanisme de base repose sur la délégation conditionnelle basée sur l'incertitude prédictive :

• À chaque étape de l'interaction, le petit modèle génère une proposition d'action et calcule un score d'incertitude.
• Si ce score dépasse un seuil calibré ($\tau$), la décision est déférée au grand modèle, qui prend l'action finale.
• Sinon, l'action du petit modèle est acceptée.

Points clés de l'implémentation :

• Niveau d'incertitude : L'étude compare l'incertitude calculée au niveau du raisonnement (la trace de pensée) par rapport au niveau de la sélection d'action. Les résultats montrent que l'incertitude au niveau de l'action est nettement plus discriminante pour identifier les erreurs.
• Mesures d'incertitude (UQ) : Le système utilise des mesures information-théoriques directes basées sur les probabilités des tokens générés (nécessitant un accès aux log-probabilités, donc un modèle "white-box" ou via API) :
  • Perplexité (PPL)
  • Probabilité de séquence (SP)
  • Entropie moyenne des tokens (MTE)
  • Ces méthodes sont choisies car elles sont moins coûteuses en calcul que les méthodes basées sur la sémantique (qui nécessitent plusieurs générations).
• Calibration du seuil : Le seuil $\tau$ est déterminé sur un ensemble de calibration pour viser un nombre moyen spécifique d'appels au grand modèle par épisode (par exemple, 5 appels), garantissant ainsi un contrôle des coûts.

3. Contributions Clés

1. Proposition du cadre ReDAct : Un système permettant à un agent de déléguer dynamiquement des décisions d'action individuelles d'un petit modèle à un grand modèle en fonction de l'incertitude prédictive, spécifiquement conçu pour les environnements séquentiels.
2. Analyse du niveau d'incertitude : Démonstration empirique que l'incertitude calculée au moment de la sélection de l'action est un signal de délégation bien supérieur à celle calculée lors de la phase de raisonnement libre.
3. Validation empirique et efficacité des coûts : Preuve que l'utilisation de mesures information-théoriques (notamment la Perplexité) permet d'atteindre les performances d'un grand modèle exclusif en ne l'utilisant que pour environ 15 % des décisions, réduisant ainsi drastiquement les coûts d'inférence.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux environnements de référence : ALFWorld (tâches ménagères textuelles) et MiniGrid (navigation dans une grille).

• Performance :
  • Sur ALFWorld, la délégation guidée par la Perplexité (PPL) permet au petit modèle (ex: Qwen3-80B) d'atteindre un taux de réussite comparable à celui du grand modèle (ex: GPT-5.2 ou Qwen3-480B) tout en n'utilisant ce dernier que pour ~15 % des étapes.
  • Les méthodes UQ surpassent systématiquement une délégation aléatoire.
• Coûts :
  • Le coût total d'inférence est considérablement réduit par rapport à l'utilisation exclusive du grand modèle, tout en maintenant une performance de haut niveau.
  • Les courbes de Pareto (Performance vs Coût) montrent que ReDAct se situe sur la frontière de Pareto, offrant le meilleur compromis possible.
• Distribution des appels :
  • Contrairement à une délégation aléatoire (uniforme), la délégation basée sur l'incertitude se concentre sur les étapes critiques (souvent plus tardives dans les épisodes échoués où le modèle s'égare), ce qui maximise l'impact de l'intervention du grand modèle.

5. Signification et Impact

Ce travail est significatif car il adresse le goulot d'étranglement économique de l'utilisation des LLM dans les agents autonomes.

• Viabilité économique : Il démontre qu'il n'est pas nécessaire d'utiliser des modèles géants pour chaque étape d'une tâche complexe pour obtenir des résultats optimaux.
• Fiabilité accrue : En détectant les moments d'incertitude, le système évite les erreurs en cascade qui sont fatales dans les environnements séquentiels.
• Généralisation : Bien que testé sur des environnements textuels, la méthodologie est extensible à d'autres modalités (ex: vision-linguistique).

En conclusion, ReDAct propose une approche simple mais efficace pour le déploiement de coûts réduits d'agents LLM, transformant le compromis entre coût et performance en une stratégie dynamique et adaptative.