Résumé Technique : CARL (Apprentissage par Renforcement Conscient des Compétences)

1. Énoncé du Problème

Les Grands Modèles de Langage (LLM) équipés d'outils (par exemple, moteurs de recherche, calculatrices) échouent souvent à distinguer entre les tâches nécessitant une assistance externe et celles résolubles via des connaissances paramétriques. Les humains reconnaissent naturellement les limites de leurs propres connaissances (par exemple, savoir que $2+2$ ne nécessite pas de calculatrice, tandis que $347 \times 28$ en nécessite une), mais les LLM ne le font généralement pas.

Les approches existantes font face à deux limitations principales :

• Méthodes basées sur l'invite (par exemple, ReAct, RAG) : Elles instruisent les modèles à utiliser des outils au moment de l'inférence, mais n'entraînent pas le modèle à reconnaître quand les outils sont nécessaires. Par conséquent, les modèles invoquent souvent des outils inutilement, augmentant la latence et les coûts sans améliorer la précision.
• Apprentissage par Renforcement (RL) au niveau de la trajectoire : Les méthodes RL actuelles (par exemple, Search-R1) attribuent une récompense de résultat unique (par exemple, Correspondance Exacte) à une trajectoire entière. Cela crée un problème d'attribution de crédit :
  • Renforcement Indiscriminé : Dans une trajectoire réussie, à la fois les appels d'outils utiles et les appels inutiles ou erronés reçoivent un renforcement positif.
  • Manque de Sélectivité : Le modèle ne peut pas apprendre à sauter les outils sur des questions faciles car le signal de succès final est partagé entre tous les segments.
  • Dépendance Externe : Les méthodes d'attribution de crédit au niveau des étapes dépendent souvent de juges externes (par exemple, GPT-4) dont les connaissances peuvent diverger de celles du modèle étudiant, ou nécessitent des annotations coûteuses au niveau des étapes.

2. Méthodologie : CARL

Les auteurs proposent CARL (Apprentissage par Renforcement Conscient des Compétences), un cadre qui entraîne un critique à apprendre la propre frontière de compétence du modèle, permettant une attribution de crédit fine sans juges externes.

2.1 Décomposition Structurelle

CARL exploite le fait que les trajectoires d'utilisation d'outils possèdent des frontières structurellement observables que les trajectoires de raisonnement pur ne possèdent pas. Une trajectoire est décomposée en segments basés sur ces frontières :

1. Invoquer : Le modèle génère un raisonnement et un bloc de code (par exemple, search(query)). L'environnement exécute le code, produisant une sortie brute (stdout).
2. Assimiler : Le modèle lit la sortie brute et génère un bloc <context>, distillant les informations pertinentes. La sortie brute est remplacée par cette extraction dans le contexte.
3. Engager : Le modèle génère la réponse finale.

Cette décomposition crée un Processus de Décision de Markov Semi-Markovien (SMDP) où chaque segment est une "option".

2.2 Avantage au Niveau du Segment

Au lieu d'attribuer une récompense scalaire unique à toute la trajectoire, CARL dérive des avantages par segment à partir d'une seule récompense terminale binaire ($R \in \{0, 1\}$) en utilisant l'équation de Bellman du SMDP.

Pour une trajectoire avec des segments $k=0 \dots N$, l'avantage pour le segment $k$ est :

• Segments Intermédiaires : $A(seg_k) = V_\phi(s_{k+1}) - V_\phi(s_k)$
• Segment Final : $A(seg_N) = R - V_\phi(s_N)$

Ici, $V_\phi(s)$ est la fonction de valeur (critique) estimant la probabilité de succès étant donné le contexte actuel.

• Mécanisme : Une "bonne" recherche augmente la probabilité estimée de succès ($V$ augmente), générant un avantage positif. Une "mauvaise" recherche ou une extraction échouée diminue $V$, générant un avantage négatif. Une recherche inutile sur une question que le modèle connaît déjà laisse $V$ inchangée, générant un avantage proche de zéro.
• Distinction Clé : Cela permet des signes opposés au sein de la même trajectoire (par exemple, un avantage positif pour une requête correcte suivi d'un avantage négatif pour une mauvaise extraction), une capacité absente dans les méthodes au niveau de la trajectoire.

2.3 Entraînement du Critique et Phase de Mise en Route

Le critique $V_\phi$ est un MLP à deux couches attaché au backbone LLM partagé.

• Cible d'Entraînement : Le critique est entraîné via des cibles Monte Carlo (MC) pour minimiser l'Erreur Quadratique Moyenne (MSE) entre $V_\phi(s)$ et la récompense terminale $R$.
• Phase de Mise en Route : Pour empêcher les gradients aléatoires précoces de corrompre la politique, une phase de mise en route curatée est essentielle. Le critique est entraîné sur des déroulements du modèle de base étiquetés par la correction finale. Les questions sont classées en :
  • Niveau 1 : Au-delà de la compétence paramétrique (le modèle échoue sans outils).
  • Niveau 2 : Dans la compétence paramétrique (le modèle réussit sans outils).
  • Des trajectoires sont générées dans des conditions "outil forcé" et "sans outil" pour enseigner au critique à distinguer entre l'utilisation d'outils nécessaire et inutile.
• Aucun Juge Externe : Le critique apprend uniquement à partir des propres déroulements du modèle et des résultats binaires, garantissant que la frontière de compétence reflète les capacités spécifiques du modèle.

2.4 Optimisation de la Politique

La politique est mise à jour en utilisant PPO (Optimisation de Politique Proximale) au niveau du segment. Chaque segment reçoit son propre scalaire d'avantage, appliqué uniformément à tous les tokens au sein de ce segment. La perte totale combine l'objectif PPO et la perte MSE du critique.

3. Contributions Clés

1. Fonction de Valeur Consciente des Compétences : Une fonction de valeur entraînée sur des résultats binaires qui apprend à séparer les questions résolubles paramétriquement de celles dépendantes des outils. À l'échelle 7B, elle atteint une AUC de 0,93 pour distinguer ces niveaux.
2. Crédit par Segment à partir d'un Résultat Unique : En utilisant l'équation de Bellman du SMDP aux frontières structurellement observables, CARL dérive des avantages indépendants pour chaque segment (invoquer, assimiler, engager) à partir d'une seule récompense binaire. Cela permet au modèle de recevoir un crédit positif pour les appels utiles et un crédit négatif pour les erreurs ou les appels inutiles au sein de la même trajectoire réussie.
3. Sélectivité Émergente : La méthode permet aux modèles d'apprendre quand demander de l'aide, réduisant les appels d'outils inutiles sans instruction explicite ni supervision externe.

4. Résultats Expérimentaux

Les auteurs ont évalué CARL sur cinq benchmarks (GSM8K, HotpotQA, 2WikiMQA, FinQA, Musique) en utilisant des modèles Qwen2.5 aux échelles 3B et 7B, en comparaison avec de solides bases RL (Search-R1 PPO et GRPO).

• Gains de Précision : CARL surpasse la meilleure base RL (Search-R1 PPO) de 6,7 points de Correspondance Exacte (EM) à l'échelle 7B et 9,7 EM à l'échelle 3B en moyenne sur les ensembles de données basés sur la recherche.
  • Les gains les plus importants se produisent sur Musique, un benchmark multi-sauts compositionnel, avec des améliorations de +8,3 EM (7B) et +9,0 EM (3B).
  • Les gains sont disproportionnellement plus grands pour les modèles plus petits (l'amélioration 3B est 1,4 fois l'amélioration 7B), suggérant que savoir quand demander est critique pour les modèles avec une mémoire paramétrique limitée.
• Efficacité de l'Utilisation des Outils :
  • Sur les questions répondables à partir de connaissances paramétriques (Niveau 2), CARL émet 53 % d'appels d'outils en moins que Search-R1 PPO.
  • Bien qu'utilisant moins souvent les outils, CARL reste ~10 points EM plus précis sur ces mêmes questions.
  • La génération totale de tokens est réduite de 23 % en moyenne à l'échelle 7B, portée par le saut de la récupération sur les questions faciles.
• Calibration du Critique : Le critique entraîné estime avec précision la probabilité de succès ($V(s_0)$).
  • AUC 0,93 (7B) et 0,85 (3B) pour la séparation des questions de Niveau 1 vs Niveau 2.
  • Calibration : Avec une mise en route curatée, l'Erreur de Calibration Attendue (ECE) est de 0,043, ce qui signifie que la probabilité de succès prédite correspond étroitement aux taux de succès réels.
• Divergence de Signe : Le critique attribue correctement des signes opposés aux segments au sein d'une seule trajectoire (par exemple, $+0,15$ pour une bonne recherche, $-0,22$ pour une mauvaise extraction), un comportement impossible pour les méthodes au niveau de la trajectoire.

5. Signification et Revendications

L'article revendique que CARL adresse la limitation fondamentale du RL au niveau de la trajectoire : l'incapacité à isoler quel appel d'outil spécifique a contribué au succès ou à l'échec. En exploitant les frontières structurellement observables des trajectoires d'utilisation d'outils, CARL transforme un résultat binaire unique en une séquence d'avantages significatifs au niveau des segments.

Les auteurs soulignent que cette approche permet au modèle d'apprendre sa propre frontière de compétence plutôt que d'être instruit sur quand utiliser les outils. Cela se traduit par :

• Réduction des Hallucinations : Le modèle est moins susceptible de fabriquer des réponses sur des questions difficiles (Niveau 1) car il apprend à les router vers des outils plutôt que de deviner.
• Efficacité : Les appels d'outils inutiles sont supprimés, réduisant la latence et les coûts API.
• Évolutivité : Les bénéfices sont les plus prononcés pour les modèles plus petits, suggérant que l'attribution de crédit au niveau des segments est une alternative pratique à l'augmentation de la mémoire paramétrique pour gérer les connaissances de la distribution de queue.

L'article conclut que si la qualité de la récupération reste un plafond pour la performance (comme le montrent les études d'ablation où de meilleures API de recherche améliorent davantage les résultats), le mécanisme d'attribution de crédit de CARL est le principal moteur de l'amélioration de la sélectivité et de la précision dans les LLM augmentés par des outils.