💻 computer science

SliceGraph: Mapping Process Isomers in Multi-Run Chain-of-Thought Reasoning

Het artikel introduceert SliceGraph, een post-hoc op grafieken gebaseerd raamwerk dat "procesisomeren" blootlegt—onderscheiden, structureel coherente redeneertrajecten die convergeren naar hetzelfde juiste antwoord—en aantoont dat standaard aggregatie van het eindantwoord de rijke, meertraps geometrische structuur van meervoudige chain-of-thought-redenering over het hoofd ziet.

Oorspronkelijke auteurs: Kang Chen, Junjie Nian, Yixin Cao, Yugang Jiang

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kang Chen, Junjie Nian, Yixin Cao, Yugang Jiang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groep van 64 verschillende AI-"denkers" vraagt om hetzelfde wiskundeprobleem op te lossen. Ze schrijven allemaal hun stap-voor-stap redenering op (Chain-of-Thought) en komen uiteindelijk allemaal tot exact hetzelfde juiste antwoord.

Traditioneel zouden onderzoekers alleen naar het eindantwoord kijken en zeggen: "Geweldig, ze hebben het allemaal goed." Ze zouden de 64 pogingen behandelen als 64 onafhankelijke, willekeurige gissingen die toevallig overeenkwamen.

SliceGraph betoogt dat dit vergelijkbaar is met het kijken naar 64 mensen die allemaal op dezelfde bestemming in een stad aankomen, en er vanuit te gaan dat ze allemaal exact dezelfde busroute hebben genomen. In werkelijkheid hebben sommigen misschien door een park gelopen, anderen de metro genomen, en weer anderen via een snelweg gereden. Ze zijn allemaal op dezelfde plek beland, maar hun reizen waren volledig verschillend.

Hieronder wordt uiteengezet hoe het artikel dit met eenvoudige analogieën uiteenzet:

1. De Kaart: SliceGraph

In plaats van de tekst van de gedachten van de AI te lezen (wat misleidend kan zijn, zoals twee mensen die zeggen "Ik ben links gegaan" maar verschillende dingen bedoelen), hebben de auteurs een kaart gebaseerd op de interne bedrading van de AI.

De Analogie: Stel je voor dat het brein van de AI een enorme stad is met miljoenen lichtschakelaars (neuronen). Elke keer dat de AI een woord denkt, lichten een specifieke set schakelaars op.
De Methode: De onderzoekers keken niet naar de woorden; ze keken naar welke schakelaars aan stonden. Ze groepeerden het denkproces in kleine "slices" (stukken van 256 woorden) en vergeleken de "schakelaarspatronen" van deze slices.
Het Resultaat: Ze bouwden een grafiek (een kaart) waarbij knopen deze denk-slices zijn en lijnen slices verbinden die vergelijkbare interne schakelaars gebruiken. Deze kaart onthult de verborgen "wegen" die de AI heeft genomen.

2. De Ontdekking: Proces-Isomeren

Het artikel introduceert een nieuw concept genaamd Proces-Isomeren.

De Analogie: In de chemie zijn "isomeren" moleculen die exact dezelfde atomen en formule hebben, maar anders in de ruimte zijn gerangschikt (zoals een rechte keten versus een ring).
De Bevinding: De onderzoekers ontdekten dat de AI voor hetzelfde wiskundeprobleem vaak het juiste antwoord vindt via volledig verschillende interne routes.
- Route A: De AI begint misschien met het proberen het antwoord te raden, beseft dat het fout is, en schakelt dan over naar een logisch bewijs.
- Route B: Een andere AI begint misschien direct met het logische bewijs, slaat het raden over en komt tot hetzelfde antwoord.
- De Isomeer: Hoewel ze allebei "correct" zijn en hetzelfde eindantwoord hebben, zijn ze "Proces-Isomeren" omdat hun interne reis (de rangschikking van hun denkstappen) structureel verschillend is.

De Statistiek: In ongeveer 85% van de problemen die ze testten, waren de juiste antwoorden niet slechts één enkel pad. In plaats daarvan vond de AI het antwoord via meerdere distincte "families" van routes. Gemiddeld is er, als je twee correcte pogingen kiest, een 76% kans dat ze volledig verschillende interne wegen hebben genomen om daar te komen.

3. Het Terrein: Hoogwaardige Kernen

De onderzoekers hebben ook in kaart gebracht waar de "succes" plaatsvindt in dit mentale landschap.

De Analogie: Stel je voor dat de kaart "hoogwaardige kernen" heeft; dit zijn als zonnige, vruchtbare valleien waar de AI het meest waarschijnlijk correct is.
De Bevinding: Deze vruchtbare valleien zijn vaak ongeacht.
- Eén "familie" van routes blijft misschien volledig in de "Noord-vallei".
- Een andere "familie" blijft misschien volledig in de "Zuid-vallei".
- Ze bereiken allebei de finish, maar ze kruisen elkaar nooit halverwege. Ze zijn gespecialiseerd in verschillende delen van het terrein.

4. Waarom Dit Belangrijk Is (Volgens Het Artikel)

Het artikel beweert dat we door alleen naar het eindantwoord te kijken, een rijke, multidimensionale wereld "instorten" tot een platte, saaie lijn.

De Oude Manier: "Ze hebben het antwoord goed. Goed gedaan." (Negeert hoe ze daar kwamen).
De SliceGraph-Manier: "Ze hebben het antwoord goed, maar ze gebruikten drie verschillende interne strategieën, en die strategieën kwamen elkaar eigenlijk nooit halverwege tegen."

De auteurs hebben dit gevalideerd door menselijke experts de slices te laten bekijken. De experts bevestigden dat slices die door de interne schakelaars van de AI bij elkaar werden gegroepeerd, inderdaad dezelfde logische stap of strategie vertegenwoordigden, wat bewijst dat de kaart accuraat is.

Samenvatting

Het artikel zegt: Vertrouw niet alleen op het eindantwoord. Zelfs wanneer een AI het juiste antwoord krijgt, kan het een volledig andere "interne kaart" gebruiken dan een andere AI (of zelfs dezelfde AI bij een andere poging). Deze verschillende paden worden Proces-Isomeren genoemd, en ze onthullen dat het redeneren van de AI veel diverser en gestructureerder is dan we eerder dachten.

Wat het artikel NIET beweert:

Het zegt niet dat dit de AI slimmer of betrouwbaarder maakt in de echte wereld.
Het suggereert niet om dit te gebruiken om AI-fouten op te lossen of nieuwe medische hulpmiddelen te bouwen.
Het richt zich strikt op het meten en in kaart brengen van hoe de AI denkt, niet op het veranderen van hoe het denkt.

Technische Samenvatting: SliceGraph: Het Kaartleggen van Proces-Isomeren in Multi-Run Chain-of-Thought Redenering

Probleemstelling

Huidige benaderingen voor multi-run Chain-of-Thought (CoT) redenering, zoals self-consistency, aggregeren $N$ gesamplede trajecten doorgaans uitsluitend op basis van hun eindantwoorden. Deze agglomeratie gooit de interne structuur weg van hoe deze trajecten intermediate berekeningen delen, splitsen en weer samenkomen. Bestaande interne analyses blijven vaak "binnen-run", waarbij ze semantische convergentie of stap-specifieke geometrie binnen een enkel traject bestuderen, in plaats van de gezamenlijke structuur over meerdere runs voor hetzelfde probleem te onderzoeken. Bovendien vertrouwen eerdere op grafieken gebaseerde pipelines vaak op intermediate projecties (bijv. PCA, UMAP, zinsembeddings) om slice-achtigheden te berekenen. De auteurs betogen dat deze projecties de routegeometrie vervormen, door ofwel onderscheidende familieaantallen te comprimeren ofwel de gehele atlas te laten instorten als gevolg van thematische verzadiging, waardoor de ware multi-route structuur van redenering wordt verduisterd.

De kernvraag die wordt aangepakt is: Wanneer meerdere CoTs hetzelfde probleem correct oplossen, convergeren ze dan naar één enkele procesroute, of vormen ze distincte "proces-isomeren"—trajecten die hetzelfde eindantwoord delen maar verschillende intermediate routes afleggen?

Methodologie: SliceGraph

De auteurs stellen SliceGraph voor, een post-hoc meetobject (geen decodeerprogramma) dat de procesgeometrie van gesamplede CoT's in kaart brengt. De methodologie bestaat uit vijf lagen:

1. SliceGraph Constructie (Het Steiger)

Input: Voor een gegeven probleem-modelcel worden $N=64$ CoT-runs gesampled.
Slice-definitie: Activaties worden geaggregeerd tot rijen van 32 tokens, en vervolgens verder geaggregeerd tot grovere redeneringsslices (canonieke grootte: 256 tokens, 8 rijen).
Representatie: In plaats van tekstembeddings of PCA, maakt de methode gebruik van sparse activatie-sleutels. Elke slice wordt weergegeven als een binaire set van de top- $k$ actieve MLP-neuronen (geïdentificeerd door laag-eenheid paren).
Grafiekconstructie: Knopen representeren slices. Randen worden gelegd via mutual- $k$ NN gebaseerd op Jaccard-achtigheid van de sparse activatie-sleutelsets. Dit behoudt de niet-geprojecteerde, hoog-dimensionele structuur van het redeneerproces.

2. Structurele Decompositie

Biconnected Components (BCC's): De grafiek wordt gedecomposeerd in BCC's (maximale subgrafieken die verbonden blijven na het verwijderen van elke enkele knoop). Deze vertegenwoordigen gedeelde redeneertoestanden.
Articulatiepunten: Knopen die BCC's verbinden, fungeren als takpunten waar de redenerende populatie splitst.
Roltoewijzing: Blokken (BCC's) krijgen rollen toegewezen (bijv. shared_trunk, answer_basin, decision_point) op basis van run-dekking, grootte, antwoordzuiverheid en positie.
Validatie: Twee geblindeerde annotatiestudies bevestigen dat BCC's overeenkomen met menselijke opvattingen van gedeelde redeneertoestanden en dat de resulterende clusters overeenkomen met gedeelde hoog-niveau strategieën.

3. Procesfamilies en Isomeren

Clustering: Runs worden geklasterd in Procesfamilies op basis van de set van niet-triviale blokken die ze bezoeken, met behulp van een gewogen Jaccard-achtigheid en Louvain-communitydetectie.
Definitie van Proces-Isomeer: Twee correcte CoT-runs worden gedefinieerd als proces-isomeren als ze hetzelfde genormaliseerde eindantwoord bereiken maar tot verschillende procesfamilies behoren. Dit geeft aan dat ze verschillende intermediate routes hebben gebruikt om tot dezelfde oplossing te komen.

4. Label-gezaaide Beloningsveld

Om het waarde-landschap te analyseren, wordt een beloningsveld gediffuseerd over de vaste grafiekstructuur.
Zaaien: Een zaadwaarde wordt berekend voor elk blok op basis van het overschot aan succespercentage van runs die dat blok bezoeken.
Diffusie: Dit zaad wordt verspreid via een PageRank-stijl diffusieproces.
Hoog-waarde Kernen: Het bovenste kwartiel van positieve veldwaarden definieert "hoog-waarde kernen". Als een cel meerdere onverbonden hoog-waarde kernen heeft, is deze "multi-core".

5. Getypeerde-Toestand Dynamiek

Runs worden opgeheven naar een getypeerde-toestand overgangsmodel waarbij toestanden worden gedefinieerd door (blokrol, tijdsbin, kernlidmaatschap).
Familie-kernen: Overgangskernen worden geschat voor elke procesfamilie.
Analyse: De auteurs vergelijken deze kernen met Total Variation (TV) afstand tegenover null-controles (label-shuffling) om te bepalen of families de atlas op verschillende manieren navigeren.

Belangrijkste Resultaten

1. Structurele Validiteit en Representatie

Semantische Alignering: Menselijke annotatoren bevestigden dat slices binnen dezelfde BCC dezelfde redeneeroperatie vertegenwoordigen (88,9–90,3% overeenstemming) en dat runs binnen dezelfde procesfamilie dezelfde hoog-niveau strategie gebruiken (94,4% overeenstemming).
Robuustheid van het Steiger: De niet-geprojecteerde sparse activatie-sleutel Jaccard-achtigheid is cruciaal. PCA en zinsembeddings (MiniLM) lieten de multi-route geometrie instorten, waardoor geldige cellen tot bijna nul werden gereduceerd of familieaantallen aanzienlijk werden gecomprimeerd.

2. Prevalentie van Proces-Isomeren

Multi-Familie Prevalentie: In 85,5% van de 954 probleem-modelcellen (over drie 4B/8B-modellen op wiskunde/wetenschap-benchmarks), splitsten correcte CoT's zich in meerdere procesfamilies.
Isomeerpercentage: Onder genormaliseerd-correcte run-paren zijn 76,6% proces-isomeren (behoren tot verschillende families).
Stabiliteit: Dit fenomeen blijft bestaan onder split-half resampling en geldt zelfs bij controle voor het aantal correcte runs (bijv. bij $m=4$ correcte runs blijft het isomeerpercentage 58,2%).

3. Waarde-landschap en Navigatie

Multi-Basin Structuur: 67,6% van de belonings-evalueerbare cellen vertoont meerdere onverbonden hoog-waarde kernen.
Specialisatie: Procesfamilies dupliceren elkaar niet zomaar; ze specialiseren zich over distincte hoog-waarde kern-voetafdrukken. De specialisatiescore (die meet hoe geconcentreerd de voetafdruk van een familie is op specifieke kernen) gemiddeld 0,59.
Distincte Dynamiek: Familie-specifieke overgangskernen verschillen significant. In 80,9% van de multi-familie cellen overschrijdt de overgangsdynamiek tussen families de null-verdeling (label-shuffling), wat aangeeft dat families dezelfde atlas navigeren met distincte overgangskernen, niet alleen door verschillende statische toestanden te bezoeken.

4. Cross-Architectuur en Schaal Replicatie

Replicatie: De bevindingen gelden voor verschillende architecturen (DeepSeek-R1-Distill-Llama-8B) en schalen (Qwen3-32B).
Schaal-effecten: Op het grotere Qwen2.5-Math-72B-model neemt het multi-familie percentage af (67,3%) als gevolg van hogere nauwkeurigheidsverzadiging (meer deterministisch oplossen), maar blijft de kwalitatieve geometrie (specialisatie, distincte dynamiek) behouden wanneer structurele diversiteit bestaat.

Betekenis en Aanspraken

Het artikel beweert dat aggregatie op basis van eindantwoorden een gestructureerde multi-route procesgeometrie over het hoofd ziet. Door het redeneerproces te behandelen als een grafiek van activatie-overlappen in plaats van een zak met onafhankelijke samples, onthult SliceGraph dat:

Proces-Isomerisme Veelvoorkomend is: Correcte oplossingen voor hetzelfde probleem volgen vaak fundamenteel verschillende intermediate routes (proces-isomeren).
Routefamilies Distinct zijn: Deze isomeren zijn geen willekeurige variaties, maar vormen coherente "procesfamilies" die zich specialiseren over verschillende regio's van het waarde-landschap (hoog-waarde kernen).
Navigatiedynamiek Verschilt: Deze families bezoeken niet alleen verschillende toestanden; ze doorkruisen het redeneeratlas met distincte overgangskernen.

De auteurs positioneren SliceGraph als een meetobject voor het auditen van procesdiversiteit, instorting en over-concentratie, in plaats van als een hulpmiddel voor het sturen van decoding. Het werk suggereert dat het begrijpen van de "vorm" van redenering vereist dat de gezamenlijke structuur van meerdere runs wordt geanalyseerd via activatie-sleutel-achtigheid, waarbij de vervormingen die worden geïntroduceerd door projectie-gebaseerde embeddings worden vermeden.