Résumé Technique : Drop the Act : RL Filtré par Sonde pour un Raisonnement en Chaîne de Pensée Fidèle

Énoncé du Problème

Les modèles de raisonnement actuels entraînés par Apprentissage par Renforcement (RL), en particulier l'Optimisation de Politique Relative par Groupe (GRPO), présentent un écart systématique entre leur prise de décision interne et leur sortie générée. Ces modèles « s'engagent » souvent intérieurement vers une réponse tôt dans le processus de raisonnement, mais continuent de générer des étapes qui semblent délibérées sans pourtant contribuer à la justesse. Les auteurs nomment ce phénomène théâtre de raisonnement.

Ce comportement engendre trois coûts principaux :

1. Inefficacité : Il gaspille des tokens d'inférence, gonflant les coûts dans les déploiements d'agents.
2. Pollution de l'Interprétabilité : Il introduit des signaux spuriés dans l'entraînement par récompense de processus et obscurcit le calcul réel effectué par le modèle.
3. Déficit de Fidélité : La chaîne de pensée (CoT) ne reflète plus fidèlement le chemin de raisonnement ayant conduit à la réponse.

Les travaux diagnostiques existants ont identifié cet écart, mais le façonnage standard des récompenses en RL ne peut y remédier car les vérificateurs (par exemple, les correspondances de chaînes, les exécuteurs de code) ne voient que la réponse finale, et non le point d'engagement interne ni la fidélité des étapes intermédiaires.

Méthodologie : ProFIL (Apprentissage par Renforcement Filtré par Sonde)

Les auteurs introduisent ProFIL, une extension plug-and-play du GRPO conçue pour supprimer le théâtre de raisonnement sans annotation humaine. L'idée centrale est que le « vérificateur » nécessaire pour détecter les étapes post-engagement existe déjà au sein des activations internes du modèle.

1. Génération d'Étiquettes (Réponses Forcées)

Pour entraîner un détecteur de théâtre, les auteurs génèrent des étiquettes au niveau des étapes sans intervention humaine :

• À chaque frontière d'étape d'une chaîne de raisonnement, un prompt de réponse forcée est inséré, demandant au modèle de fournir une réponse finale basée uniquement sur le raisonnement généré jusqu'alors.
• La première étape où cette réponse forcée correspond à la vérité terrain (vérifiée par le vérificateur standard de la tâche) est définie comme le point d'engagement ($c$).
• Toutes les étapes survenant après $c$ sont étiquetées comme performantes (théâtre).

2. La Sonde à Base Gelée

Une sonde à attention multi-têtes est entraînée une seule fois sur le modèle de base gelé ($\pi_{base}$) en utilisant les étiquettes de réponse forcée.

• Architecture : Un mécanisme d'attention multi-têtes à porte (similaire à RLFR) qui prend les activations du flux résiduel projetées par LayerNorm à partir de couches spécifiques ($\ell_1, \ell_2$) de la base gelée.
• Entraînement : La sonde est entraînée pour prédire l'étiquette de performativité (0 pour fidèle, 1 pour performante) en utilisant la perte d'entropie croisée binaire (BCE).
• Stabilité : Crucialement, la sonde est entraînée sur la base gelée puis gelée. Elle n'est pas mise à jour pendant l'entraînement RL de la politique ($\pi_\theta$). Cela empêche le mode d'échec « RL-obfuscation » où une politique apprend à cacher son comportement à un moniteur dynamique.

3. Le Filtre à Sonde dans le GRPO

Pendant l'entraînement GRPO, pour chaque prompt, $K$ déroulements (rollouts) sont échantillonnés. Avant le calcul de l'avantage :

1. La sonde gelée calcule un score de performativité par étape pour chaque déroulement en utilisant les activations de la base gelée.
2. Le score moyen de performativité ($\bar{p}$) pour le déroulement est calculé.
3. Si $\bar{p} \geq \tau$ (un hyperparamètre de seuil), la récompense et l'avantage du déroulement sont annulés.
4. Ces déroulements filtrés contribuent pour zéro à la mise à jour du gradient, enseignant efficacement à la politique d'arrêter de générer des étapes une fois que l'engagement interne est détecté.

Contributions Clés

• Méthode Alignée sur l'Objectif : ProFIL est une extension unique du GRPO qui supprime simultanément les élaborations post-engagement, augmente la fraction fidèle des chaînes et réduit la longueur des chaînes, tout en préservant ou en améliorant la précision de la tâche.
• Généralité : La méthode démontre des gains cohérents à travers quatre domaines de raisonnement divers (GSM8K, LiveCodeBench, ToolUse, MMLU-Redux) et deux architectures de modèles (Llama-8B, Qwen-7B).
• Mécanisme Anti-Jeu : En entraînant la sonde sur une base gelée, le système résiste au mode d'échec RL-obfuscation. Le modèle apprend à supprimer le théâtre lui-même plutôt qu'à apprendre à déplacer ses activations pour échapper à la sonde. La sonde maintient un AUROC de 1,000 sur LiveCodeBench tout au long de l'entraînement.
• Compression Sémantique vs. Compression de Longueur : L'article isole le mécanisme comme une détection d'engagement sémantique. Une ligne de base de pénalité de longueur appariée a en réalité augmenté la performativité, prouvant que la simple réduction de tokens n'est pas le mécanisme opératoire.
• Artéfacts : Les auteurs publient les poids de la sonde, les configurations d'entraînement et les caches de déroulements pour les quatre domaines.

Résultats Expérimentaux

À travers quatre domaines, ProFIL a obtenu les résultats suivants :

• Suppression du Théâtre : Réduction du ratio de performativité (fraction des étapes post-engagement) de 11 % à 100 %.
  • GSM8K : ~100 % de réduction (0,006 $\to$ 0,000).
  • LiveCodeBench : 72 % de réduction (0,267 $\to$ 0,076).
  • ToolUse : 11 % de réduction (0,527 $\to$ 0,468).
  • MMLU-Redux : 50 % de réduction (0,016 $\to$ 0,008).
• Fidélité : Augmentation de la « fraction fidèle » (chaînes avec une faible performativité). Notamment, sur ToolUse, la fraction fidèle est passée de 0,029 à 0,147 (un gain de 5x).
• Précision : La précision de la tâche a été préservée ou améliorée dans tous les cas.
  • GSM8K : +5,2 points de pourcentage (pp).
  • LiveCodeBench : +7 pp (pic échantillonné@1).
  • MMLU-Redux : Égalité exacte.
• Vérification Indépendante : Un juge Claude 3.7 Sonnet indépendant, utilisant une grille d'évaluation de fidélité en langage naturel sans accès aux scores de la sonde, a confirmé une augmentation de +24 pp de la fraction fidèle sur LiveCodeBench.
• Longueur de Chaîne : Les chaînes ont été raccourcies de 4 à 19 % sans perte de précision.

Signification et Revendications

L'article revendique que ProFIL démontre une recette générale pour optimiser des objectifs non vérifiables (comme la fidélité) dans le post-entraînement. En exploitant les propres représentations internes du modèle (lues une fois sur une base gelée), il crée un signal d'entraînement stable et sans annotation que le vérificateur externe ne peut pas voir.

Les auteurs soutiennent que le théâtre de raisonnement est un « rituel de confiance appris » — une performance a posteriori que le modèle ajoute à des problèmes qu'il sait déjà résoudre. ProFIL ne supprime pas l'incertitude ni l'auto-correction (qui se produisent avant l'engagement) ; il effondre plutôt le mode à haut théâtre, forçant le modèle à arrêter de générer une fois que la réponse est intérieurement engagée. Cela aboutit à des chaînes de raisonnement qui reflètent plus étroitement le calcul réel, améliorant l'auditabilité et l'interprétabilité tout en réduisant les coûts d'inférence.