💬 NLP

Intention Collapse: Intention-Level Metrics for Reasoning in Language Models

Cet article introduit l’« effondrement de l’intention » comme cadre d’analyse du raisonnement des modèles de langage en mesurant les états internes pré-génération via des métriques d’entropie, de dimensionnalité effective et de récupérabilité, révélant que l’incitation par chaîne de pensée induit des régimes hétérogènes d’incertitude interne et que la connaissance latente peut rester récupérable même lorsque la précision comportementale finale se dégrade, en particulier dans les formats à choix multiples.

Auteurs originaux : Patricio Vera

Publié 2026-01-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Patricio Vera

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes sur le point de prononcer un discours. Avant d’ouvrir la bouche, votre cerveau bourdonne d’une tempête chaotique de souvenirs, d’arguments à moitié formés, d’émotions et de choix de mots potentiels. C’est un nuage riche, désordonné et de haute dimension d’« intention ».

Mais lorsque vous parlez enfin, vous ne libérez pas tout le nuage. Vous choisissez une phrase spécifique. Vous réduisez cette vaste tempête interne en une seule chaîne linéaire de mots.

Cet article soutient que les grands modèles de langage (LLM) font exactement la même chose. Les auteurs appellent ce processus « l’effondrement de l’intention ».

Voici une analyse de leurs découvertes, à l’aide d’analogies simples.

1. L’idée centrale : Le moment « pré-discours »

La plupart des gens regardent la réponse d’une IA et la jugent en fonction des mots finaux. Mais cet article affirme que nous devrions observer ce qui se passe à l’intérieur du « cerveau » de l’IA juste avant qu’elle ne choisisse le tout premier mot.

Pensez-y comme à un photographe qui prend une photo.

La scène : Le monde complexe et en 3D (l’état interne de l’IA).
La photo : L’image plate et en 2D (la sortie textuelle).
L’effondrement : Le moment où l’obturateur clique. Des informations sont perdues. La profondeur 3D est aplatie en pixels 2D.

Les auteurs voulaient mesurer la « Scène » (l’état interne) pour voir si nous pouvions prédire si la « Photo » (la réponse) serait bonne ou mauvaise, et comment différentes techniques de formulation de requêtes modifient cette scène.

2. Les trois « contrôles de santé » de l’esprit de l’IA

Pour mesurer cet état interne, les auteurs ont créé trois indicateurs simples. Considérez-les comme des signes vitaux pour l’intention de l’IA :

L’entropie de l’intention (Le compteur de « confusion ») :
- Analogie : Imaginez que vous êtes à un carrefour. Si vous savez exactement dans quelle direction aller, votre « entropie » est faible. Si vous n’avez aucune idée et qu’il est aussi probable que vous alliez à gauche, à droite ou tout droit, votre entropie est élevée.
- Dans l’IA : Cela mesure à quel point la probabilité de l’IA pour le mot suivant est étalée. Une faible entropie signifie qu’elle est très sûre ; une forte entropie signifie qu’elle est incertaine ou qu’elle envisage de nombreuses options.
La dimensionnalité effective (Le compteur de « richesse ») :
- Analogie : Imaginez une peinture. S’agit-il d’un simple bonhomme allumette (faible dimensionnalité) ou d’un paysage complexe et détaillé avec de nombreuses couches de sens (haute dimensionnalité) ?
- Dans l’IA : Cela mesure la quantité d’« espace » que les pensées internes de l’IA utilisent. Ses pensées sont-elles simples et étroites, ou complexes et multifacettes ?
La récupérabilité (Le compteur de « connaissances cachées ») :
- Analogie : Imaginez un étudiant qui connaît la réponse à un problème de mathématiques mais écrit le mauvais chiffre parce qu’il est nerveux. Si vous pouviez regarder à l’intérieur de sa tête, vous verriez qu’il savait la réponse.
- Dans l’IA : Les chercheurs ont entraîné une « sonde » simple (un mini-détecteur) pour examiner l’état interne de l’IA et deviner si la réponse finale serait correcte. Si la sonde peut deviner correctement, cela signifie que l’IA possédait les bonnes informations en interne, même si elle a échoué à les écrire.

3. L’expérience : Tester la « chaîne de pensée »

La « chaîne de pensée » (CoT) est une astuce populaire qui consiste à dire à une IA : « Réfléchis étape par étape avant de répondre ». Tout le monde suppose que cela rend l’IA plus intelligente. Les chercheurs ont testé cela sur trois modèles d’IA différents (Mistral, LLaMA, Qwen) à travers trois types de tâches (Mathématiques, Raisonnement abstrait et Problèmes mathématiques sous forme de texte).

Ils ont comparé trois conditions :

Référence : Donner simplement la réponse.
CoT : Réfléchir étape par étape.
Bavardage : Écrire un long flux de conscience décousu (pour voir si le fait d’écrire plus aide, ou si c’est la réflexion qui aide).

4. Les résultats surprenants

Résultat 1 : « Réfléchir étape par étape » n’est pas toujours mieux.

Mathématiques (Réponse libre) : La CoT a très bien fonctionné. La précision a considérablement augmenté.
Raisonnement abstrait (Choix multiples) : La CoT a en fait rendu les choses pires. L’IA a obtenu de moins bons résultats lorsqu’elle était forcée de « réfléchir à voix haute » que lorsqu’elle donnait simplement une réponse directe.
Conclusion : Forcer une IA à verbaliser son raisonnement peut parfois la confondre, surtout lorsqu’elle doit choisir parmi une liste d’options (A, B, C, D).

Résultat 2 : Les différentes IA « pensent » différemment.
Lors de l’utilisation de la CoT, la « Confusion » interne (Entropie) a changé différemment selon les modèles :

Mistral : Est devenu plus certain (entropie plus faible). Il a resserré son focus.
LLaMA : Est devenu moins certain (entropie plus élevée). Il a élargi ses possibilités.
Conclusion : Il n’existe pas une seule façon dont le « raisonnement » se présente à l’intérieur d’une IA. La « réflexion » d’un modèle ressemble à la « confusion » d’un autre.

Résultat 3 : L’IA peut connaître la réponse, mais échouer à la dire.
C’est la partie la plus intéressante. Dans certains cas (comme Qwen sur la tâche de Raisonnement abstrait), l’état interne de l’IA montrait une récupérabilité élevée. La « sonde » pouvait facilement voir que l’IA connaissait la bonne réponse. Cependant, la réponse écrite finale de l’IA était fausse.

Analogie : C’est comme un conducteur qui connaît parfaitement la route (connaissances internes élevées) mais qui tourne accidentalement dans la mauvaise direction à la dernière seconde (effondrement raté).
Conclusion : Le problème n’est pas toujours que l’IA manque de connaissances. Parfois, le problème est l’« effondrement » — l’étape finale de conversion de ces connaissances dans un format spécifique (comme une lettre de choix multiple) est là où l’erreur se produit.

Résultat 4 : Bavarder n’est pas réfléchir.
Le contrôle « Bavardage » (écrire simplement beaucoup de non-sens) n’a pas produit les mêmes changements internes que la CoT. Cela prouve que la CoT ne consiste pas seulement à allonger la sortie ; elle modifie réellement la structure interne des pensées de l’IA.

Résumé

L’article suggère que nous cessions de considérer les réponses de l’IA comme simplement « justes » ou « fausses ». Au lieu de cela, nous devrions observer l’effondrement de l’intention — le moment où l’IA décide de parler.

Parfois, demander à une IA de « réfléchir à voix haute » l’aide à se concentrer (entropie plus faible).
Parfois, cela la fait trop réfléchir et la confond (entropie plus élevée).
Parfois, l’IA connaît la vérité en interne mais échoue à l’exprimer correctement dans le format requis.

En mesurant l’état « pré-discours », nous pouvons mieux comprendre pourquoi une IA échoue, plutôt que de simplement savoir qu’elle a échoué.

Résumé technique : Effondrement de l’intention : Métriques au niveau de l’intention pour le raisonnement dans les modèles de langage

Énoncé du problème
L’article aborde la déconnexion structurelle entre les états internes riches et de haute dimension des grands modèles de langage (LLM) et les séquences de jetons discrètes et linéaires qu’ils produisent. Les auteurs formalisent cette correspondance plusieurs-à-un comme un effondrement de l’intention : la projection irréversible depuis un espace d’intention interne $I$ (l’état latent pré-génération) vers un espace linguistique externe $L$ . Les techniques existantes d’amélioration du raisonnement (par exemple, la chaîne de pensée, l’auto-affinement) sont souvent évaluées uniquement sur la précision finale, masquant comment ces méthodes remodelent l’état interne avant la génération. Le problème central est l’absence d’un cadre unifié pour mesurer les propriétés informationnelles et géométriques de l’état pré-effondrement $I$ et pour déterminer quand le remodelage de $I$ aide ou nuit à la performance, en particulier à travers différents formats de réponse.

Méthodologie
Les auteurs opérationnalisent l’effondrement de l’intention en définissant l’état d’intention $I$ comme la collection des représentations cachées à la position finale de l’invite, immédiatement avant que le premier jeton de sortie ne soit sélectionné. Ils proposent trois métriques indépendantes du modèle et peu coûteuses en calcul, calculées sur $I$ :

Entropie de l’intention ( $H_{int}(I)$ ) : L’entropie de Shannon de la distribution du prochain jeton au moment pré-effondrement, mesurant la concentration ou la diffusion de la continuation immédiate du modèle.
Dimensionnalité effective ( $d_{eff}(I)$ ) : Le ratio de participation des valeurs propres de l’ACP sur les états cachés pré-effondrement, capturant la richesse géométrique de la représentation de l’intention.
Récupérabilité des connaissances latentes ($Recov(I; Z)$) : L’AUROC des sondes linéaires entraînées sur $I$ pour prédire les résultats de la tâche (par exemple, la justesse de la réponse), quantifiant l’information présente avant l’effondrement qui peut échouer à s’exprimer dans la sortie finale.

Conception expérimentale
Le cadre est évalué dans une étude empirique en $3 \times 3$ :

Modèles : Mistral-7B-Instruct, LLaMA-3.1-8B-Instruct et Qwen-2.5-7B-Instruct.
Benchmarks : GSM8K (mathématiques en réponse libre), ARC-Challenge (raisonnement abstrait à choix multiples) et AQUA-RAT (mathématiques à choix multiples).
Régimes d’inférence : Ligne de base (réponse directe), Chaîne de pensée (CoT) et Babillage (un contrôle de verbosité générant un texte de flux de conscience non lié).
Protocole : $n=200$ éléments par cellule ; décodage glouton ( $T=0$ ) pour isoler les effets de la conditionnement de l’invite ; extraction de $I$ strictement avant la génération du premier jeton.

Résultats clés

Efficacité de la CoT dépendante du format : La CoT n’est pas universellement bénéfique. Elle procure de grands gains de précision sur GSM8K (réponse libre) pour tous les modèles, mais dégrade systématiquement la performance sur ARC-Challenge (choix multiples) et produit des résultats mitigés sur AQUA-RAT. Cela suggère que changer l’état pré-effondrement ne garantit pas un engagement discret final fiable sous tous les formats de réponse.
Régimes d’entropie hétérogènes : La CoT induit des décalages d’entropie distincts par rapport à la ligne de base ( $\Delta H = H_{int}(CoT) - H_{int}(Base)$ ). Mistral présente une entropie pré-effondrement plus faible sous CoT ( $\Delta H < 0$ ), tandis que LLaMA présente une entropie pré-effondrement plus élevée ( $\Delta H > 0$ ). Cela met en évidence une hétérogénéité significative dans la manière dont différentes familles de modèles gèrent l’incertitude interne pendant le raisonnement.
Dissociation du signal et de la précision : La récupérabilité ($Recov$) peut se dissocier de la précision comportementale. Dans certains contextes (par exemple, Qwen sur ARC-Challenge), l’AUROC de la sonde reste significativement au-dessus du hasard malgré une précision CoT dégradée. Cela indique que des signaux internes informatifs peuvent exister dans $I$ mais échouer à être convertis de manière fiable en décisions discrètes correctes, en particulier dans les formats à choix multiples.
Contrôle de la verbosité : Le contrôle par babillage confirme que les effets de la CoT ne sont pas simplement dus à la longueur de la sortie ; le babillage ne réplique pas les relations métrique-performance observées sous CoT.

Importance et contributions
L’article affirme que l’effondrement de l’intention fournit une lentille unificatrice pour raisonner sur le comportement des LLM, recontextualisant diverses méthodes d’inférence en temps réel comme des interventions sur un objet commun ( $I$ ). Les contributions clés incluent :

Pont conceptuel : Relier les littératures sur l’élicitation des connaissances latentes, l’adéquation pré-génération et l’estimation de l’incertitude à travers la frontière spécifique de l’état pré-effondrement.
Utilité diagnostique : Démontrer que la séparabilité interne (récupérabilité) et la fiabilité de l’engagement final sont des phénomènes distincts. Le cadre explique pourquoi les modèles peuvent « connaître » la réponse (haute $Recov$) mais échouer à la sortir correctement (faible précision) en raison d’échecs d’engagement induits par le format.
Programme de recherche : Proposer des directions concrètes pour l’inférence adaptative, telles que des politiques de décodage dépendantes de l’état (ajustant l’échantillonnage en fonction de $H_{int}$ ) et des stratégies de sortie anticipée (utilisant $Recov$ pour éviter des calculs inutiles), transformant ainsi l’effondrement de l’intention en un outil pratique pour optimiser le calcul au moment du test.

Les auteurs maintiennent une portée modeste, notant que leurs résultats sont corrélatifs et limités aux benchmarks textuels uniquement et à des familles de modèles spécifiques. Ils soulignent que l’effondrement de l’intention est une analogie structurelle plutôt qu’une affirmation d’intention consciente dans les LLM.

1. L’idée centrale : Le moment « pré-discours »

2. Les trois « contrôles de santé » de l’esprit de l’IA

3. L’expérience : Tester la « chaîne de pensée »

4. Les résultats surprenants

Résumé

Articles similaires