💻 computer science

SliceGraph: Mapping Process Isomers in Multi-Run Chain-of-Thought Reasoning

L'article présente SliceGraph, un cadre basé sur les graphes a posteriori qui révèle des « isomères de processus » — des trajectoires de raisonnement distinctes et structurellement cohérentes qui convergent vers la même réponse correcte — démontrant que l'agrégation standard de la réponse finale néglige la structure géométrique riche et multi-chemins du raisonnement par chaîne de pensée multi-exécutions.

Auteurs originaux : Kang Chen, Junjie Nian, Yixin Cao, Yugang Jiang

Publié 2026-05-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kang Chen, Junjie Nian, Yixin Cao, Yugang Jiang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous demandiez à un groupe de 64 « penseurs » d'IA différents de résoudre le même problème mathématique. Ils écrivent tous leur raisonnement étape par étape (Chaîne de Pensée) et, au final, ils aboutissent tous à la même réponse correcte exacte.

Traditionnellement, les chercheurs se contentaient de regarder la réponse finale et de dire : « Super, ils ont tous eu raison. » Ils traitaient les 64 tentatives comme 64 devinettes aléatoires et indépendantes qui coïncidaient par hasard.

SliceGraph soutient que c'est comme regarder 64 personnes qui sont toutes arrivées à la même destination dans une ville et de supposer qu'elles ont toutes emprunté exactement le même trajet de bus. En réalité, certaines ont pu marcher à travers un parc, d'autres ont pu prendre le métro, et certaines ont pu conduire par l'autoroute. Elles sont toutes arrivées au même endroit, mais leurs parcours étaient complètement différents.

Voici comment l'article décompose cela en utilisant des analogies simples :

1. La Carte : SliceGraph

Au lieu de lire le texte des pensées de l'IA (ce qui peut être trompeur, comme deux personnes disant « Je suis allé à gauche » mais voulant dire des choses différentes), les auteurs ont construit une carte basée sur le câblage interne de l'IA.

L'Analogie : Imaginez que le cerveau de l'IA est une immense ville avec des millions d'interrupteurs lumineux (neurones). Chaque fois que l'IA pense un mot, un ensemble spécifique d'interrupteurs s'allume.
La Méthode : Les chercheurs n'ont pas regardé les mots ; ils ont regardé quels interrupteurs étaient allumés. Ils ont regroupé le processus de pensée en de petits « tranches » (blocs de 256 mots) et comparé les « motifs d'interrupteurs » de ces tranches.
Le Résultat : Ils ont construit un graphe (une carte) où les nœuds sont ces tranches de pensée et les lignes relient les tranches qui utilisent des interrupteurs internes similaires. Cette carte révèle les « routes » cachées que l'IA a empruntées.

2. La Découverte : Isomères de Processus

L'article introduit un nouveau concept appelé Isomères de Processus.

L'Analogie : En chimie, les « isomères » sont des molécules qui ont exactement les mêmes atomes et la même formule mais qui sont arrangées différemment dans l'espace (comme une chaîne droite versus un anneau).
La Découverte : Les chercheurs ont constaté que pour le même problème mathématique, l'IA trouve souvent la bonne réponse par des routes internes complètement différentes.
- Route A : L'IA pourrait commencer par essayer de deviner la réponse, réaliser qu'elle est fausse, puis passer à une preuve logique.
- Route B : Une autre IA pourrait commencer immédiatement par la preuve logique, sauter l'étape de la devinette, et aboutir à la même réponse.
- L'Isomère : Même si elles sont toutes les deux « correctes » et ont la même réponse finale, elles sont des « Isomères de Processus » car leur voyage interne (l'arrangement de leurs étapes de pensée) est structurellement différent.

La Statistique : Dans environ 85 % des problèmes qu'ils ont testés, les réponses correctes ne correspondaient pas à un seul chemin unique. Au lieu de cela, l'IA trouvait la réponse par plusieurs « familles » distinctes de routes. En moyenne, si vous choisissez deux tentatives correctes, il y a 76 % de chances qu'elles aient emprunté des routes internes complètement différentes pour y parvenir.

3. Le Territoire : Cœurs à Haute Valeur

Les chercheurs ont également cartographié où se produit le « succès » dans ce paysage mental.

L'Analogie : Imaginez que la carte possède des « cœurs à haute valeur » — ce sont comme des vallées ensoleillées et fertiles où l'IA a le plus de chances d'être correcte.
La Découverte : Ces vallées fertiles sont souvent déconnectées.
- Une « famille » de routes pourrait rester entièrement dans la « Vallée du Nord ».
- Une autre « famille » pourrait rester entièrement dans la « Vallée du Sud ».
- Elles atteignent toutes les deux la ligne d'arrivée, mais elles ne se croisent jamais au milieu. Elles sont spécialisées pour différentes parties du terrain.

4. Pourquoi Cela Compte (Selon l'Article)

L'article affirme que, en ne regardant que la réponse finale, nous « effondrons » un monde riche et multidimensionnel en une ligne plate et ennuyeuse.

L'Ancienne Façon : « Ils ont eu la bonne réponse. Bon travail. » (Ignore comment ils y sont arrivés).
La Façon SliceGraph : « Ils ont eu la bonne réponse, mais ils ont utilisé trois stratégies internes différentes, et ces stratégies ne se sont jamais réellement rencontrées au milieu. »

Les auteurs ont validé cela en demandant à des experts humains d'examiner les tranches. Les experts ont confirmé que les tranches regroupées par les interrupteurs internes de l'IA représentaient effectivement la même étape logique ou la même stratégie, prouvant ainsi que la carte est précise.

Résumé

L'article dit : Ne vous fiez pas uniquement à la réponse finale. Même lorsqu'une IA donne la bonne réponse, elle peut utiliser une « carte interne » complètement différente de celle d'une autre IA (ou même de la même IA lors d'une autre tentative). Ces différents chemins sont appelés Isomères de Processus, et ils révèlent que le raisonnement de l'IA est beaucoup plus diversifié et structuré que nous ne le pensions auparavant.

Ce que l'article NE prétend PAS :

Il ne dit pas que cela rend l'IA plus intelligente ou plus fiable dans le monde réel.
Il ne suggère pas d'utiliser cela pour corriger les erreurs de l'IA ou construire de nouveaux outils médicaux.
Il se concentre strictement sur la mesure et la cartographie de la façon dont l'IA pense, et non sur la modification de sa façon de penser.

Résumé technique : SliceGraph : Cartographie des isomères de processus dans le raisonnement en chaîne de pensée multi-exécutions

Énoncé du problème

Les approches actuelles du raisonnement en chaîne de pensée (CoT) multi-exécutions, telles que la cohérence de soi, agrègent généralement $N$ trajectoires échantillonnées uniquement par leurs réponses finales. Cette agrégation élimine la structure interne de la manière dont ces trajectoires partagent, divisent et se rejoignent à travers le calcul intermédiaire. Les analyses internes existantes restent souvent « au sein d'une seule exécution », étudiant la convergence sémantique ou la géométrie spécifique à une étape au sein d'une seule trajectoire, plutôt que d'examiner la structure conjointe à travers plusieurs exécutions pour un même problème. De plus, les pipelines basés sur des graphes antérieurs reposent souvent sur des projections intermédiaires (par exemple, PCA, UMAP, plongements de phrases) pour calculer les similarités de tranches. Les auteurs soutiennent que ces projections déforment la géométrie des routes, soit en compressant les comptes de familles distincts, soit en effondrant l'ensemble de l'atlas en raison d'une saturation thématique, obscurcissant ainsi la véritable structure multi-routes du raisonnement.

La question centrale abordée est la suivante : lorsque plusieurs CoT résolvent correctement un même problème, convergent-ils vers une seule route de processus, ou forment-ils des « isomères de processus » distincts — des trajectoires qui partagent la même réponse finale mais parcourent des routes intermédiaires différentes ?

Méthodologie : SliceGraph

Les auteurs proposent SliceGraph, un objet de mesure a posteriori (et non un programme de décodage) qui cartographie la géométrie du processus des CoT échantillonnés. La méthodologie se compose de cinq couches :

1. Construction de SliceGraph (L'échafaudage)

Entrée : Pour une cellule problème-modèle donnée, $N=64$ exécutions de CoT sont échantillonnées.
Définition de la tranche : Les activations sont agrégées en lignes de 32 tokens, puis davantage agrégées en tranches de raisonnement plus grossières (taille canonique : 256 tokens, 8 lignes).
Représentation : Au lieu d'utiliser des plongements de texte ou de PCA, la méthode utilise des clés d'activation clairsemées. Chaque tranche est représentée comme un ensemble binaire des $k$ neurones MLP les plus actifs (identifiés par des paires couche-unité).
Construction du graphe : Les nœuds représentent des tranches. Les arêtes sont établies via un mutual- $k$ NN basé sur la similarité de Jaccard des ensembles de clés d'activation clairsemées. Cela préserve la structure non projetée et de haute dimension du processus de raisonnement.

2. Décomposition structurelle

Composantes biconnexes (BCC) : Le graphe est décomposé en BCC (sous-graphes maximaux restant connectés après la suppression d'un seul nœud). Ceux-ci représentent des états de raisonnement partagés.
Points d'articulation : Les nœuds reliant les BCC agissent comme des points de branchement où la population de raisonnement se divise.
Attribution de rôle : Les blocs (BCC) se voient attribuer des rôles (par exemple, tronc_partagé, bassin_de_réponse, point_de_decision) en fonction de la couverture des exécutions, de la taille, de la pureté de la réponse et de la position.
Validation : Deux études d'annotation en aveugle confirment que les BCC correspondent aux notions humaines d'états de raisonnement partagés et que les clusters résultants s'alignent sur des stratégies de haut niveau partagées.

3. Familles de processus et isomères

Clustering : Les exécutions sont regroupées en Familles de processus sur la base de l'ensemble des blocs non triviaux qu'elles visitent, en utilisant une similarité de Jaccard pondérée et une détection de communautés Louvain.
Définition d'isomère de processus : Deux exécutions de CoT correctes sont définies comme des isomères de processus si elles aboutissent à la même réponse finale normalisée mais appartiennent à des familles de processus différentes. Cela indique qu'elles ont utilisé des routes intermédiaires différentes pour atteindre la même solution.

4. Champ de récompense amorcé par étiquette

Pour analyser le paysage de valeur, un champ de récompense est diffusé sur la structure fixe du graphe.
Amorçage : Une valeur d'amorce est calculée pour chaque bloc en fonction du taux de succès excédentaire des exécutions visitant ce bloc.
Diffusion : Cette amorce est propagée via un processus de diffusion de style PageRank.
Cœurs de haute valeur : Le quartile supérieur des valeurs de champ positives définit les « cœurs de haute valeur ». Si une cellule possède plusieurs cœurs de haute valeur déconnectés, elle est dite « multi-cœur ».

5. Dynamique des états typés

Les exécutions sont élevées vers un modèle de transition d'état typé où les états sont définis par (rôle du bloc, intervalle de temps, appartenance au cœur).
Kernels de famille : Des noyaux de transition sont estimés pour chaque famille de processus.
Analyse : Les auteurs comparent ces noyaux en utilisant la distance de variation totale (TV) par rapport à des contrôles nuls (mélange d'étiquettes) pour déterminer si les familles naviguent dans l'atlas différemment.

Résultats clés

1. Validité structurelle et représentation

Alignement sémantique : Des annotateurs humains ont confirmé que les tranches au sein d'une même BCC représentent la même opération de raisonnement (accord de 88,9 à 90,3 %) et que les exécutions au sein d'une même famille de processus utilisent la même stratégie de haut niveau (accord de 94,4 %).
Robustesse de l'échafaudage : La similarité de Jaccard des clés d'activation clairsemées non projetées est cruciale. La PCA et les plongements de phrases (MiniLM) ont effondré la géométrie multi-routes, réduisant les cellules valides à presque zéro ou compressant considérablement les comptes de familles.

2. Prévalence des isomères de processus

Prévalence multi-familles : Dans 85,5 % des 954 cellules problème-modèle (à travers trois modèles de 4B/8B sur des benchmarks de mathématiques/sciences), les CoT corrects se divisent en plusieurs familles de processus.
Taux d'isomérie : Parmi les paires d'exécutions correctes normalisées, 76,6 % sont des isomères de processus (appartenant à des familles différentes).
Stabilité : Ce phénomène persiste lors du rééchantillonnage par moitié et reste valable même en contrôlant le nombre d'exécutions correctes (par exemple, à $m=4$ exécutions correctes, le taux d'isomérie reste de 58,2 %).

3. Paysage de valeur et navigation

Structure multi-bassins : 67,6 % des cellules évaluables en termes de récompense présentent plusieurs cœurs de haute valeur déconnectés.
Spécialisation : Les familles de processus ne se dupliquent pas simplement ; elles se spécialisent sur des empreintes de cœurs de haute valeur distincts. Le score de spécialisation (mesurant à quel point l'empreinte d'une famille est concentrée sur des cœurs spécifiques) est en moyenne de 0,59.
Dynamiques distinctes : Les noyaux de transition spécifiques aux familles diffèrent de manière significative. Dans 80,9 % des cellules multi-familles, les dynamiques de transition entre les familles dépassent la distribution nulle (mélange d'étiquettes), indiquant que les familles naviguent dans le même atlas en utilisant des noyaux de transition distincts, et non simplement en visitant des états statiques différents.

4. Réplication inter-architecture et à différentes échelles

Réplication : Les résultats tiennent à travers différentes architectures (DeepSeek-R1-Distill-Llama-8B) et échelles (Qwen3-32B).
Effets de mise à l'échelle : Sur le plus grand modèle Qwen2.5-Math-72B, le taux multi-familles s'atténue (67,3 %) en raison d'une saturation plus élevée de l'exactitude (résolution plus déterministe), mais la géométrie qualitative (spécialisation, dynamiques distinctes) demeure lorsque la diversité structurelle existe.

Signification et affirmations

L'article affirme que l'agrégation des réponses finales néglige une géométrie de processus multi-routes structurée. En traitant le processus de raisonnement comme un graphe de chevauchements d'activations plutôt que comme un sac d'échantillons indépendants, SliceGraph révèle que :

L'isomérisme de processus est courant : Les solutions correctes d'un même problème suivent souvent des routes intermédiaires fondamentalement différentes (isomères de processus).
Les familles de routes sont distinctes : Ces isomères ne sont pas des variations aléatoires mais forment des « familles de processus » cohérentes qui se spécialisent sur différentes régions du paysage de valeur (cœurs de haute valeur).
Les dynamiques de navigation diffèrent : Ces familles ne visitent pas seulement des états différents ; elles traversent l'atlas de raisonnement avec des noyaux de transition distincts.

Les auteurs positionnent SliceGraph comme un objet de mesure pour auditer la diversité des processus, l'effondrement et la sur-concentration, plutôt que comme un outil pour piloter le décodage. Le travail suggère que comprendre la « forme » du raisonnement nécessite d'analyser la structure conjointe de plusieurs exécutions via la similarité des clés d'activation, en évitant les distorsions introduites par les plongements basés sur des projections.