💬 NLP

CopT: Contrastive On-Policy Thinking with Continuous Spaces for General and Agentic Reasoning

CopT est un cadre de raisonnement sans entraînement qui inverse le paradigme standard de la chaîne de pensée en générant d'abord une réponse provisoire, puis en utilisant des vérificateurs contrastifs à espace continu pour déclencher dynamiquement une réflexion sur la politique uniquement lorsque nécessaire, améliorant ainsi considérablement la précision et réduisant les coûts en tokens sur diverses tâches de raisonnement.

Auteurs originaux : Dachuan Shi, Hanlin Zhu, Xiangchi Yuan, Wanjia Zhao, Kejing Xia, Wen Xiao, Wenke Lee

Publié 2026-05-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dachuan Shi, Hanlin Zhu, Xiangchi Yuan, Wanjia Zhao, Kejing Xia, Wen Xiao, Wenke Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective brillant tentant de résoudre une énigme.

L'Ancienne Méthode (Chaîne de Pensée) :
Traditionnellement, lorsque les grands modèles de langage (LLM) tentent de résoudre un problème, ils agissent comme un détective qui insiste pour rédiger un rapport de police de dix pages avant d'avoir le droit de révéler le coupable. Ils réfléchissent, réfléchissent, réfléchissent, notent chaque étape, et ensuite donnent la réponse.

Le Problème : Parfois, le détective connaît déjà la réponse dès la première seconde. Mais parce que les règles imposent « réfléchir d'abord », il continue d'écrire le rapport de toute façon. Cela gaspille du temps (des jetons) et de l'énergie, même si la réponse était évidente. Cela s'appelle un « raisonnement performatif » — réfléchir uniquement pour le plaisir de réfléchir.

La Nouvelle Méthode (CopT) :
L'article présente CopT (Contrastive On-Policy Thinking). Il renverse la donne. Au lieu de réfléchir avant de répondre, CopT agit comme un détective qui crie immédiatement une réponse provisoire.

Étape 1 : Le Test de l'Intuition. Le modèle dit : « Je pense que la réponse est X. »
Étape 2 : Le Miroir Magique. Avant d'accepter cette réponse, CopT utilise un « Miroir Magique » spécial (un mécanisme contrastif) pour vérifier si la réponse est digne de confiance.
- Il examine la réponse sous un angle standard (jetons discrets).
- Il examine la réponse sous un angle « flou et incertain » (incorporations continues qui retiennent toutes les possibilités « peut-être » que le modèle a considérées).
- Si le modèle est confiant, les deux angles correspondent parfaitement. Si le modèle devine ou est confus, les deux angles entrent en conflit.
Étape 3 : La Décision.
- Si le miroir dit « Ça a l'air bien » : Le détective accepte la réponse immédiatement. Pas besoin d'écrire le long rapport. Résultat : Énormes économies de temps et d'argent.
- Si le miroir dit « Ça a l'air bancal » : Le détective dit : « D'accord, j'ai besoin de réfléchir davantage. » Mais voici la partie astucieuse : ils n'oublient pas simplement leur premier essai. Ils utilisent un « interrupteur de visibilité ». Ils peuvent masquer le premier essai bancal s'il les embrouille, ou le garder visible s'il constitue un indice utile, pendant qu'ils effectuent la réflexion approfondie pour le corriger.

La Métaphore Centrale : La « Lentille Floue » vs La « Lentille Aiguë »

Pour comprendre le « Miroir Magique » (le vérificateur contrastif), imaginez regarder un tableau à travers deux lentilles différentes :

La Lentille Aiguë (Entrée Discrète) : Vous voyez les coups de pinceau finaux et nets que le modèle a décidés de peindre. C'est la « réponse provisoire ».
La Lentille Floue (Entrée Continue) : Vous voyez toute la palette de couleurs que le modèle envisageait avant de choisir le coup de pinceau final. Cela inclut tous les « et si » et les incertitudes.

Comment CopT utilise cela :
CopT demande : « La Lentille Aiguë ressemble-t-elle à la Lentille Floue ? »

Oui : Le modèle était sûr. La réponse est probablement correcte. Arrêtez de réfléchir, économisez les jetons.
Non : La Lentille Floue montre que le modèle était en réalité très confus ou envisageait de nombreuses possibilités différentes, même s'il a choisi une couleur spécifique. La réponse est probablement fausse. Commencez à réfléchir (réflexion on-policy) pour la corriger.

Pourquoi Cela Compte (Selon l'Article)

L'article affirme que cette méthode est un changement de paradigme car elle empêche le modèle de « performer » une réflexion inutile.

Vitesse et Coût : Sur des problèmes faciles où le modèle connaît la réponse instantanément, CopT saute entièrement le long processus de réflexion. L'article montre que cela réduit le « coût » (nombre de mots/jetons générés) de près de moitié dans certains cas.
Réflexion Plus Intelligente : Sur des problèmes difficiles où la première hypothèse est erronée, CopT ne renonce pas simplement. Il utilise le « Miroir Magique » pour réaliser : « Attendez, je suis confus », puis engage une réflexion approfondie uniquement lorsque nécessaire.
Aucun Entraînement Nécessaire : Ce n'est pas un nouveau modèle qui nécessite des années d'entraînement. C'est une nouvelle façon d'utiliser les modèles existants. C'est comme donner à un détective intelligent un nouvel ensemble de règles à suivre, plutôt que de lui apprendre une nouvelle langue.

L'« Interrupteur de Visibilité »

Lorsque le modèle réalise qu'il doit réfléchir davantage, il doit décider s'il continue de regarder sa première hypothèse (potentiellement erronée).

Si le processus de réflexion devient désordonné, CopT peut masquer la première hypothèse afin que le modèle ne soit pas embrouillé par sa propre erreur.
Si la première hypothèse contient un bon indice, CopT la montre pour aider à guider la correction.
Ceci est contrôlé par une deuxième vérification du « Miroir Magique » durant le processus de réflexion.

Résumé

CopT est une manière plus intelligente d'utiliser le raisonnement de l'IA. Au lieu de forcer l'IA à réfléchir longtemps avant de parler, il permet à l'IA de parler d'abord, vérifie si cette parole est digne de confiance en utilisant un « détecteur d'incertitude » spécial, et ne la force à réfléchir profondément que si le détecteur dit : « Hé, ça n'a pas l'air correct. » Cela rend l'IA plus rapide, moins chère, et tout aussi intelligente (ou plus intelligente) sur les problèmes difficiles.

Résumé technique : CopT : Pensée contrastive en ligne avec espaces continus pour un raisonnement général et agentique

Énoncé du problème

L'approche par chaîne de pensée (CoT) est devenue la norme pour susciter les capacités de raisonnement des grands modèles de langage (LLM). Cependant, le paradigme CoT dominant traite la réflexion comme une condition préalable stricte à la réponse, contraignant les modèles à générer une trace de raisonnement complète avant de produire une réponse finale. Des observations récentes indiquent que les LLM exhibent souvent un « raisonnement performatif », où ils continuent à générer des étapes de raisonnement même après avoir identifié intérieurement une réponse plausible. Ce comportement retarde l'accès aux réponses correctes et engendre des coûts de jetons inutiles. De plus, les méthodes existantes utilisant des plongements continus (Latent CoT) sacrifient souvent la lisibilité du raisonnement explicite ou introduisent des problèmes tels que des représentations inédites et une dérive vers le bruit lorsqu'elles sont utilisées directement pour la génération.

Méthodologie : CopT

Les auteurs proposent CopT (Contrastive On-Policy Thinking), un pipeline de raisonnement sans entraînement qui inverse l'ordre standard des opérations : Réponse d'abord, puis réflexion. La méthodologie comprend deux étapes principales et un mécanisme novateur de vérification contrastive.

1. Pipeline de raisonnement inversé

Élicitation d'une réponse brouillon : Au lieu de réfléchir d'abord, le modèle est contraint de produire immédiatement un jeton <answer> et de générer une réponse brouillon ( $a$ ) basée sur la question d'entrée ( $q$ ).
Réflexion en ligne : Si la réponse brouillon est jugée peu fiable, le modèle déclenche une phase de réflexion ultérieure conditionnée par le brouillon. Cela permet une réflexion et une correction uniquement lorsque nécessaire.

2. Estimation contrastive de la fiabilité

Pour déterminer si une réponse brouillon doit être fiable ou si une réflexion supplémentaire est requise, CopT introduit un estimateur KL inverse normalisé au niveau de la séquence ( $\kappa$ ). Ce mécanisme exploite des plongements continus comme vérificateurs au moment de l'inférence sans les utiliser pour la génération.

Entrées discrètes vs continues : Pendant la génération, le modèle met en cache deux représentations pour chaque étape :
1. Préfixe discret : La probabilité standard $p_t$ du jeton choisi étant donné l'historique des jetons discrets.
2. Préfixe continu : Un plongement continu $e_t$ calculé comme la moyenne pondérée par la probabilité de tous les plongements du vocabulaire, préservant ainsi les informations d'incertitude.
L'estimateur : Après avoir généré un brouillon de longueur $T_a$ , le modèle compare la probabilité des jetons générés sous le préfixe discret ( $p_\theta(a_t | q, a_{<t})$ ) à la probabilité sous le préfixe continu ( $p_\theta(a_t | q, e_{<t})$ ).
$\kappa_a = \frac{1}{T_a} \sum_{t=1}^{T_a} \left[ \log p_\theta(a_t | q, a_{<t}) - \log p_\theta(a_t | q, e_{<t}) \right]$
Interprétation : Un $\kappa_a$ élevé indique que la réponse est nettement moins soutenue lorsque les informations d'incertitude (plongements continus) sont prises en compte, suggérant que le brouillon est peu fiable. Si $\kappa_a$ dépasse un seuil $\tau_a$ , le modèle entre dans l'étape de réflexion en ligne.

3. Contrôle dynamique de la visibilité

Pendant la phase de réflexion en ligne, la réponse brouillon peut encore contenir des informations partielles utiles, mais pourrait également induire le modèle en erreur si elle est fondamentalement erronée. CopT y remédie en contrôlant dynamiquement la visibilité de la réponse brouillon lors des prochains segments de réflexion.

La trajectoire de réflexion est divisée en segments.
Un second estimateur KL ( $\kappa_r$ ) est calculé pour chaque segment afin d'évaluer la stabilité du processus de réflexion actuel.
Si $\kappa_r$ indique une instabilité (forte divergence), la réponse brouillon est masquée ( $m_k=0$ ) pour le segment suivant afin d'empêcher le modèle d'être induit en erreur. Si stable, le brouillon reste visible ( $m_k=1$ ).

4. Fondement théorique

L'article fournit une analyse théorique montrant que, sous une hypothèse de « mélange linéaire », la valeur attendue de l'estimateur KL inverse est égale à l'information mutuelle $I(S; A)$ entre l'état de raisonnement latent non résolu $S$ et le jeton de réponse émis $A$ . Cela prouve que l'estimateur mesure l'incertitude liée à la réponse plutôt qu'une incertitude arbitraire dans l'état latent. Par conséquent, le score n'augmente que lorsque l'incertitude préservée dans les plongements continus modifie effectivement le soutien du modèle pour les jetons générés.

Contributions clés

Paradigme inversé : Propose un pipeline sans entraînement où les LLM génèrent d'abord une réponse brouillon et invoquent une réflexion en ligne uniquement lorsque le brouillon est jugé peu fiable, permettant un accès plus précoce aux réponses et une correction sélective.
Vérification contrastive : Introduit un mécanisme qui réutilise les plongements continus (auparavant utilisés pour la génération dans Latent CoT) comme vérificateurs au moment de l'inférence. En contrastant les entrées discrètes et continues, il estime la fiabilité du brouillon et module sa visibilité sans sacrifier la lisibilité du CoT explicite.
Insight théorique : Démontre que l'estimateur proposé mesure l'information mutuelle entre les états latents et les réponses, expliquant pourquoi il capture efficacement l'incertitude liée à la réponse.
Validation empirique : Valide extensivement la méthode sur des tâches de mathématiques, de codage et de raisonnement agentique, montrant des gains constants par rapport aux bases de référence CoT standard.

Résultats expérimentaux

Les auteurs ont évalué CopT sur les modèles Qwen3 et Qwen3.5 (échelles 2B, 8B et 35B) sur 10 benchmarks, notamment GSM8K, Math500, AIME, HumanEval, LeetCode-Contest, et des benchmarks agentiques (BFCL v4, ZebraArena).

Précision et efficacité : CopT améliore la précision maximale jusqu'à 23 % (par exemple, sur la division large de ZebraArena) et réduit l'utilisation des jetons jusqu'à 57 % à des niveaux de précision comparables ou supérieurs par rapport au CoT standard.
Mathématiques et codage : Sur GSM8K, CopT a obtenu un gain de précision de +0,23 % avec une réduction de 55,1 % des jetons. Sur les benchmarks AIME difficiles, il a amélioré la précision de +3,34 % (AIME24) et +2,92 % (AIME25).
Raisonnement agentique : Dans des tâches agentiques multi-tours (ZebraArena), CopT a amélioré la précision de +23,03 % sur la division large tout en réduisant l'utilisation des jetons de 19,6 %.
Comparaison avec les méthodes latentes : Contrairement aux méthodes sans entraînement utilisant des plongements continus pour la génération (par exemple, Soft-Thinking, SwiReasoning), CopT maintient un raisonnement entièrement explicite et lisible tout en atteignant une précision supérieure avec moins de jetons.
Latence : Les économies de jetons se traduisent directement par des réductions de latence, CopT réduisant la latence moyenne par échantillon jusqu'à 69 % sur HumanEval.

Importance et affirmations

L'article affirme que CopT offre une voie pratique vers un raisonnement de LLM plus rentable au moment de l'inférence sans nécessiter d'entraînement supplémentaire. En inversant l'ordre réflexion-réponse et en utilisant des plongements continus comme vérificateurs contrastifs, CopT parvient à équilibrer le compromis entre précision, efficacité et transparence du raisonnement. Les auteurs soulignent que cette approche évite les écueils de la génération continue directe (tels que la dé-diversification et le bruit) tout en exploitant les informations d'incertitude inhérentes aux espaces continus pour prendre des décisions plus intelligentes sur le moment de réfléchir et le moment de s'arrêter. La méthode est présentée comme un cadre généralisable applicable à diverses architectures de modèles et domaines de raisonnement.