The Detection--Extraction Gap: Models Know the Answer Before They Can Say It

1. Problématique : Le gaspillage de tokens et l'asymétrie de récupération

Les modèles de raisonnement modernes (Chain-of-Thought ou CoT) génèrent souvent des milliers de tokens bien après que la réponse correcte ait été déterminée par le modèle. Ce phénomène, appelé « sur-réflexion » (overthinking), est omniprésent et non une exception.

Le papier identifie un problème fondamental : bien que l'état interne du modèle encode la réponse correcte très tôt dans la génération, les méthodes d'extraction standard échouent à la récupérer. Les auteurs définissent ce phénomène comme le « fossé détection-extraction » (Detection–Extraction Gap) :

• Détection (Récupérabilité) : La réponse est « récupérable » via des continuations libres (échantillonnage) dès les premiers pourcents du raisonnement.
• Extraction (Forcée) : Si l'on force le modèle à répondre immédiatement via un suffixe spécifique (ex: « Par conséquent, la réponse est... »), il échoue souvent, même si la réponse était déjà disponible dans son état latent.

Ce fossé implique que les stratégies d'arrêt anticipé (early exit) basées sur l'extraction forcée sont intrinsèquement défaillantes et entraînent une chute drastique de la précision.

2. Méthodologie

Les auteurs proposent une approche entièrement boîte noire (black-box), ne nécessitant aucun accès aux poids internes ou aux états cachés du modèle, uniquement via l'API d'échantillonnage.

Protocoles de mesure

Pour quantifier ce fossé, deux protocoles principaux sont appliqués à des préfixes croissants du raisonnement (de 10 % à 90 %) :

1. PSC (Prefix Self-Consistency) : Mesure la récupérabilité. Le modèle génère $N=8$ continuations libres à partir d'un préfixe. Si la majorité des continuations convergent vers la bonne réponse, le modèle est considéré comme ayant « atteint » la réponse.
2. EFA (Early Forced Answering) : Mesure l'extractibilité. On appose un suffixe forçant la réponse (ex: « \boxed{...} ») au préfixe et on demande au modèle de répondre immédiatement via un décodage glouton.

Le Fossé Théorique

Les auteurs formalisent ce décalage via une inégalité de variation totale (Total Variation - TV). Ils démontrent que le fossé ($\Delta$) est borné par le décalage de distribution induit par le suffixe de forçage :
$$\text{Gap} \leq d_{TV}(P_{\text{libre}}, P_{\text{forcé}})$$
Le suffixe de forçage agit comme une perturbation hors distribution (OOD) qui déplace la distribution de sortie du modèle loin de la région contenant la réponse correcte, même si celle-ci était accessible via une continuation naturelle.

Proposition : BAEE (Black-box Adaptive Early Exit)

Pour exploiter ce fossé, les auteurs proposent BAEE, une politique d'arrêt anticipé qui :

• Utilise uniquement des continuations libres (PSC) pour la détection ET l'extraction.
• Arrête la génération dès que le PSC dépasse un seuil $\theta$ (ex: 75 % d'accord).
• Retourne la réponse majoritaire des continuations libres.
• Évite ainsi totalement le fossé détection-extraction en ne forçant jamais le modèle à répondre prématurément.

3. Contributions Clés

1. Découverte du Fossé Détection-Extraction :

   • Preuve empirique que 52 % à 88 % des tokens CoT sont générés après que la réponse soit récupérable.
   • Démonstration que l'extraction forcée échoue sur 42 % des cas où la réponse est pourtant récupérable via des continuations libres.
   • Formalisation mathématique du fossé comme un décalage de distribution induit par le suffixe.

2. Structure de l'Engagement (Commitment) :

   • Identification de la « fraction d'engagement » (le point où le modèle a résolu le problème).
   • Observation que les modèles en mode « Think » s'engagent plus tôt (25-27 %) mais génèrent beaucoup plus de tokens post-engagement (sur-réflexion) que les modèles « NoThink ».
   • Mise en évidence de la topologie des tâches : la récupérabilité est précoce sur les tâches mathématiques (MATH-500) mais plus progressive sur le raisonnement scientifique (GPQA).

3. BAEE et ses performances :

   • Une méthode d'arrêt anticipé qui réduit la génération sérielle de 70 % à 78 %.
   • Amélioration de la précision de 1 à 5 points de pourcentage (pp) sur tous les modèles, grâce à la prévention de l'« overthinking » (le modèle ne peut plus effacer sa bonne réponse initiale).
   • Gains massifs sur la génération de code (HumanEval) : +13,6 pp de précision pour les modèles « Think ».

4. Résultats Expérimentaux

Les expériences ont été menées sur cinq configurations de modèles (Qwen3-8B/32B, GPT-OSS-120B) et trois benchmarks (MATH-500, GPQA-Diamond, HumanEval).

• Précocité de l'engagement :

  • Sur MATH-500, 69 % des tokens du CoT pour Qwen3-32B-Think sont générés après le point d'engagement (défini à 25 % du trajet).
  • À 10 % du préfixe, le PSC atteint déjà 70-92 % d'accord, tandis que l'EFA (extraction forcée) n'atteint que 22-34 %.

• Performance de BAEE :

  • Réduction de latence : BAEE réduit le nombre de tokens sériels de 70-78 % tout en maintenant ou améliorant la précision.
  • Coût : Bien que BAEE utilise plus de tokens au total (3 à 5 fois plus) en raison de l'échantillonnage parallèle, il est plus efficace que les méthodes de consensus classiques (SC-8) qui nécessitent 8x le budget de tokens sans utiliser de préfixe.
  • Précision : Sur les modèles « Think », BAEE corrige les erreurs causées par la sur-réflexion. Par exemple, sur HumanEval, la précision passe de 64,6 % à 78,2 % (+13,6 pp) en arrêtant la génération avant que le modèle ne corrompe sa solution initiale.

• Robustesse :

  • Le fossé persiste quelle que soit la taille du modèle ou la famille (Qwen vs GPT).
  • L'analyse de l'entropie montre que pour les modèles « Think », l'entropie augmente après l'engagement (signe de dérive), tandis qu'elle diminue pour les modèles « NoThink ».

5. Signification et Implications

• Alignement Capacité-Élicitation : Le papier suggère un désalignement structurel : les modèles codent la réponse dans leurs états latents bien avant que leur politique de génération ne soit prête à l'externaliser de manière fiable sous contrainte.
• Limites des Benchmarks Actuels : Les protocoles d'évaluation qui reposent sur l'extraction forcée (ou des suffixes rigides) sous-estiment systématiquement les capacités réelles des modèles, car ils échouent à extraire des réponses qui sont pourtant « connues » par le modèle.
• Optimisation de l'Inférence : BAEE offre une voie pratique pour accélérer l'inférence des modèles de raisonnement sans sacrifier la précision, en exploitant la récupérabilité naturelle plutôt que la contrainte.
• Généralisation : Le phénomène s'étend aux tâches de code, où la génération post-engagement est même plus préjudiciable (introduction de bugs dans des algorithmes corrects), rendant l'arrêt anticipé encore plus critique.

En conclusion, ce travail démontre que « savoir » (avoir la réponse dans l'état latent) et « dire » (la produire sous contrainte) sont deux processus temporellement décalés chez les LLMs de raisonnement, et que l'exploitation de ce décalage permet d'améliorer radicalement l'efficacité et la fiabilité de l'inférence.