Résumé technique : Combler l'écart de réflexion avec RefGRPO

1. Énoncé du problème : L'écart de réflexion (Reflection Gap)

Les grands modèles de langage (LLM) sont de plus en plus déployés en tant qu'agents interagissant avec des environnements externes, recevant des retours concrets tels que des résultats d'exécution, des messages d'erreur et des sorties d'outils. Un agent compétent doit exploiter ce feedback pour évaluer avec précision ses propres performances. Cependant, les auteurs identent un « écart de réflexion » persistant : les agents LLM échouent fréquemment à évaluer correctement leurs propres sorties, même après avoir observé un feedback concret de l'environnement.

Contrairement au problème de la surconfiance, largement documenté, les auteurs constatent que les agents font souvent preuve d'une sous-confiance significative, signalant des réponses correctes comme étant erronées. Les algorithmes d'apprentissage par renforcement (RL) standards, spécifiquement le Group Relative Policy Optimization (GRPO), ne parviennent pas à résoudre ce problème. Si le RL standard améliore la précision de la tâche, il laisse la qualité de la réflexion post-feedback de l'agent dégradée.

La cause profonde : Les auteurs attribuent cela à un décalage d'attribution de crédit dans le RL basé uniquement sur le résultat (outcome-only RL). Dans le GRPO standard, le signal d'avantage est dérivé uniquement du résultat final de la tâche ($r$). Par conséquent :

• Signalement d'erreur honnête : Si un agent signale correctement une erreur ($s_{ref}=0$) mais que le résultat est un échec ($r=0$), l'avantage négatif entraîne l'agent à supprimer les signalements d'erreur corrects.
• Signalement sous-confiant : Si un agent signale par erreur un succès comme étant une erreur ($s_{ref}=0$) mais que le résultat est un succès ($r=1$), l'avantage positif entraîne l'agent à douter de ses propres succès.
  Le RL standard optimise la correction de la tâche mais pénalise par inadvertance l'auto-évaluation honnête.

2. Méthodologie : RefGRPO

Pour combler cet écart, les auteurs proposent RefGRPO, un algorithme qui augmente le RL standard avec deux composants clés : un bonus de calibration gratuit et un calendrier dynamique.

A. Bonus de calibration gratuit (Free Calibration Bonus)

L'innovation centrale est un bonus calculé en contrastant la réflexion post-feedback de l'agent (s_{ref) avec le résultat réel ($r$).

• Mécanisme : Pour chaque itération (rollout) $k$, un bonus de calibration binaire $c_k = \mathbb{I}(s_{ref,k,H} = r_k)$ est calculé. Ce bonus est ajouté à la récompense de la tâche avant la normalisation par groupe :
  $$\tilde{r}_k = r_k + \alpha(t) \cdot c_k$$
• Signification : Ce bonus est dit « gratuit » car il ne nécessite aucun modèle de récompense supplémentaire, aucun juge LLM ou annotation externe ; il repose uniquement sur la propre réflexion de l'agent et le résultat connu de l'environnement. Il garantit que les itérations bien calibrées (où l'agent prédit correctement le résultat) reçoivent un avantage relatif positif, que la tâche ait réussi ou échoué.

B. Calendrier dynamique (Dynamic Schedule)

Les auteurs observent qu'un bonus de calibration statique peut légèrement dégrader la précision de la tâche, car le signal de récompense est partiellement détourné vers la qualité de la calibration. Pour équilibrer cela, ils introduisent un calendrier dynamique pour le coefficient $\alpha(t)$ :

• Calendrier en deux étapes :
  1. Priorisation initiale ($t \le \gamma \cdot T$) : Un coefficient plus élevé ($\alpha_0$) est utilisé pour donner la priorité à l'apprentissage de la calibration au début de l'entraînement.
  2. Décroissance ($t > \gamma \cdot T$) : Le coefficient décroît vers une valeur plus faible ($\alpha_1$, souvent 0), permettant au modèle de se concentrer sur la maximisation de la performance de la tâche tout en conservant la capacité de calibration apprise lors de la première étape.

C. Métriques d'évaluation

Le papier introduit le ChowScore (adapté de l'apprentissage statistique) comme une métrique unifiée pour la précision de la tâche et la calibration de la réflexion. Il récompense les engagements corrects ($s_{ref}=1, r=1$) et attribue un crédit fixe $\beta$ aux signalements d'erreurs honnêtes ($s_{ref}=0$), mesurant ainsi efficacement la capacité de l'agent à savoir quand il a résolu la tâche.

3. Résultats clés

Des expériences ont été menées sur des tâches de text-to-SQL à travers cinq benchmarks (Spider-Dev, Spider-DK, Spider-Realistic, Spider-Test, Bird-Dev) en utilisant les modèles Qwen2.5-Coder (3B/7B) et Llama-3.2-3B.

• Amélioration de la calibration : RefGRPO réduit drastiquement le taux de sous-confiance. Dans le cadre multi-tours avec Qwen2.5-Coder-7B, le taux de sous-confiance est passé de 44,4 % (GRPO+) à 7,7 %.
• Précision de la tâche : Contra-irement au RL standard qui sacrifie souvent la calibration pour la précision, RefGRPO améliore les deux. La précision de la tâche est passée de 75,1 % à 76,5 % pour le modèle 7B.
• Métrique unifiée : Le ChowScore s'est considérablement amélioré (par exemple, de 73,0 % à 76,5 % pour Qwen-7B), démontant des gains simultanés dans la résolution des tâches et la connaissance de la justesse de la solution.
• Comparaison avec les spécialistes : Comparé aux modèles SQL spécialisés de 7B (OmniSQL-7B et SQL-R1-7B), RefGRPO a obtenu le plus haut « delta de calibration » ($\Delta = \text{Acc}_{ref} - \text{Acc}$), indiquant que sa réflexion est véritablement informative plutôt qu'un simple sous-produit d'une haute précision.

4. Signification et implications

Le papier affirme que RefGRPO transforme l'agent en son propre vérificateur, ancré dans le feedback de l'environnement plutôt que dans une pure auto-évaluation. Cette réflexion calibrée permet deux capacités en aval :

1. Auto-amélioration sans vérificateur (Verifier-Free Self-Improvement) : Parce que la réflexion est calibrée, elle peut servir de signal de récompense pseudo-fiable. Les auteurs démontrent qu'en partant d'un checkpoint RefGRPO, un entraînement d'auto-amélioration supplémentaire (utilisant $s_{ref}$ comme récompense sans supervision du résultat) produit des gains de précision significatifs (+2,8 points), alors que les checkpoints GRPO standard échouent à s'améliorer car leurs pseudo-récompenses s'effondrent en raison d'une mauvaise calibration.
2. Prédiction sélective efficace au moment du test (Test-Time Selective Prediction) : Un agent calibré peut agir comme son propre filtre lors de l'inférence. En ne s'engageant que sur les itérations marquées comme correctes ($s_{ref}=1$), RefGRPO atteint un « gain de prédiction sélective » (précision sur les échantillons engagés) plus élevé que les bases de référence, filtrant efficacement les erreurs sans nécessiter de vérification externe.

5. Limites et travaux futurs

Les auteurs notent que leur plus grand modèle entraîné est de 7B en raison de contraintes de calcul, et que la validation de la méthode à plus grande échelle reste une étape future. De plus, le travail actuel se concentre sur des scores de réflexion binaires ($s_{ref} \in \{0, 1\}$), et l'extension de l'approche à des scores de confiance à valeurs réelles est suggérée comme une direction potentielle.

En résumé, RefGRPO offre un mécanisme simple, sans annotation, pour aligner l'auto-évaluation d'un agent avec la réalité, résolvant un problème structurel d'attribution de crédit dans le RL standard et permettant des comportements agentiques plus robustes et auto-vérifiables.