Résumé technique : Quand réfléchir, quand parler : Apprentissage de politiques de divulgation pour le raisonnement des LLM

Formulation du problème

Les modèles de langage actuels (LLM) à génération autorégressive en flux unique présentent une limitation structurelle : le couplage des mises à jour de l'état interne avec la divulgation publique. Dans les interfaces standard, chaque token généré met à jour simultanément l'état caché du modèle et devient un engagement public irréversible. Cela crée une « taxe du silence » où les utilisateurs doivent attendre la fin de l'ensemble du processus de raisonnement pour voir le contenu pertinent à la tâche, ou, inversement, risquent des « engagements prématurés » si le modèle diffuse trop tôt, biaisant potentiellement les générations ultérieures par des affirmations non étayées.

Bien que l'incitation au raisonnement en chaîne de pensée (CoT) améliore la précision en sollicitant un raisonnement intermédiaire, elle exacerbe cette tension en manifestant la délibération sous forme de longs préambules visibles par l'utilisateur. Les solutions existantes reposent soit sur des modèles/heuristiques fixes pour la divulgation, soit sur des incitations à une sortie plus précoce qui encouragent le remplissage à faible valeur informative. Le problème central abordé est de rendre le moment de la divulgation une variable de décision apprenable au sein du décodage autorégressif standard, garantissant que le texte visible précoce soit strictement soutenu par le raisonnement produit jusqu'à ce point.

Méthodologie : Raisonnement entrelacé côte à côte (SxS)

Les auteurs proposent le Raisonnement entrelacé côte à côte (SxS), un cadre qui traite la visibilité comme un attribut contrôlable au sein d'un seul flux de tokens. Le modèle choisit entre deux actions à chaque étape :

1. Réfléchir (R) : Délibération privée (non divulguée).
2. Parler (A) : Divulgation destinée à l'utilisateur.

Les deux actions se produisent dans le même contexte autorégressif ; les tokens « Parler » forment un préfixe de la réponse finale que le modèle choisit de révéler plus tôt, tandis que les tokens « Réfléchir » permettent un affinage privé continu sans contredire les engagements antérieurs.

Pipeline d'entraînement

L'approche utilise un processus d'entraînement en deux étapes pour apprendre le rythme sans inciter au remplissage :

1. Affinement supervisé (SFT) aligné sur l'inférence :

   • Construction des données : Les triplets standards $(x, r, a)$ (entrée, raisonnement, réponse) sont transformés en trajectoires entrelacées.
   • Alignement : Un vérificateur d'inférence (implémenté via un grand LLM) détermine le plus long préfixe de réponse soutenu par un préfixe de raisonnement donné.
   • Entrelacement : Le modèle est entraîné à émettre des blocs de réponse uniquement lorsque la frontière d'inférence progresse. Cela garantit que la divulgation « plus précoce » est synonyme de divulgation « étayée ».
   • Raisonnement traînant : Si la réponse complète est soutenue avant la fin de la séquence de raisonnement, le raisonnement restant est ajouté sous forme de bloc traînant pour préserver les comportements post-solution (par exemple, auto-vérifications).

2. Apprentissage par renforcement (RL) :

   • Objectif : Le SFT enseigne la sémantique de l'action double, mais le format entrelacé induit un décalage de distribution qui peut dégrader la précision de la tâche finale. Le RL est utilisé pour récupérer les performances de raisonnement sous le nouveau format.
   • Algorithme : L'optimisation de politique relative par groupes (GRPO) est utilisée avec une récompense basée uniquement sur le résultat (exactitude de la réponse finale).
   • Contrôle de la granularité : Les auteurs explorent un mécanisme optionnel de mise en forme de la récompense utilisant un programme quadratique pour encourager des blocs de raisonnement plus courts (granularité plus élevée) tout en préservant strictement le signal de justesse (séparation des trajectoires correctes et incorrectes).

Contributions clés

1. Divulgation comme contrôle : L'article formalise le moment de la divulgation comme un problème de décision séquentielle (réfléchir vs parler) au sein du décodage autorégressif standard, transformant la visibilité en un attribut contrôlable sans nécessiter de modifications architecturales ni de modèles séparés.
2. Divulgation précoce justifiée : En construisant des trajectoires entrelacées alignées sur l'inférence, la méthode garantit que les divulgations précoces sont sûres à montrer, évitant les engagements prématurés et le remplissage.
3. Apprentissage des compromis de Pareto : La combinaison du SFT et du RL démontre une amélioration des compromis précision-latence à travers différentes architectures de modèles (MoE vs denses), échelles et domaines.

Résultats expérimentaux

Les auteurs ont évalué SxS sur deux architectures Qwen3 (MoE Qwen3-30B-A3B et dense Qwen3-4B) sur des benchmarks en domaine (AIME25) et hors domaine (GPQA-Diamond, LiveCodeBench, KOR-Bench).

• Briser la taxe du silence : SxS réduit considérablement le Délai moyen entre les réponses (AIRW), un proxy au niveau du token pour le temps d'attente de l'utilisateur. Par exemple, sur Qwen3-4B, l'AIRW est passé d'environ 21 316 tokens (CoT standard) à environ 8 519 tokens (SxS), indiquant des divulgations partielles plus fréquentes.
• Récupération de la précision : Le SFT provoque initialement une baisse de précision (par exemple, Qwen3-30B-A3B est passé de 76,9 % à 50,8 % après le SFT) en raison du décalage de distribution. Cependant, l'étape RL ultérieure récupère avec succès la précision (la restaurant à 79,2 %) tout en maintenant la structure entrelacée.
• Robustesse hors domaine : SxS atténue l'oubli catastrophique sur les tâches hors domaine. Sur GPQA-Diamond, le CoT standard après un RL axé sur les mathématiques a connu une baisse significative (par exemple, Qwen3-4B de 55,9 % à 19,0 %), alors que SxS a maintenu une précision nettement supérieure (49,3 %).
• Stabilité de la granularité : Le comportement entrelacé reste robuste même sous un RL basé uniquement sur le résultat. Bien que le RL tende à réduire légèrement la fréquence de l'entrelacement, il ne s'effondre pas vers un seul bloc de raisonnement monolithique. La granularité peut être activement contrôlée via la mise en forme de la récompense si souhaité.

Importance et affirmations

L'article présente le rythme de réponse comme une dimension de contrôle pratique et sous-explorée pour les modèles de raisonnement. Les auteurs affirment que SxS améliore le compromis de Pareto précision-contenu-latence sans modifications architecturales. En faisant de la divulgation une politique d'engagement apprise liée à une condition de soutien concrète (inférence), la méthode permet aux modèles de révéler un progrès partiel plus tôt tout en maintenant la fiabilité.

Les résultats suggèrent que le compromis perçu entre délibération et réactivité est largement façonné par la convention de divulgation en flux unique. SxS démontre que le rythme peut être appris comme une politique comportementale stable plutôt que d'être imposé par des heuristiques, permettant une « interaction à tout moment » où le modèle divulgue un progrès partiel justifié plus tôt et continue de délibérer en privé. Les auteurs notent que, bien que les gains de précision absolue soient parfois modestes, la réduction constante du délai entre les mises à jour visibles significatives représente une amélioration notable de la réactivité perçue par l'utilisateur.