Riepilogo Tecnico: SliceGraph: Mappatura degli Isomeri di Processo nel Ragionamento a Catena di Pensiero Multi-Esecuzione

Enunciato del Problema

Gli approcci attuali al ragionamento a catena di pensiero (CoT) multi-esecuzione, come la coerenza interna, aggregano tipicamente $N$ traiettorie campionate esclusivamente in base alle loro risposte finali. Tale aggregazione scarta la struttura interna di come queste traiettorie condividono, si dividono e si riuniscono attraverso il calcolo intermedio. Le analisi interne esistenti rimangono spesso "all'interno dell'esecuzione", studiando la convergenza semantica o la geometria specifica per passaggio all'interno di una singola traiettoria, piuttosto che esaminare la struttura congiunta tra più esecuzioni per lo stesso problema. Inoltre, le pipeline basate su grafi precedenti spesso si affidano a proiezioni intermedie (ad esempio, PCA, UMAP, embedding di frasi) per calcolare le similarità delle fette. Gli autori sostengono che queste proiezioni distorcono la geometria del percorso, comprimendo o i conteggi delle famiglie distinte o collassando l'intero atlante a causa della saturazione tematica, oscurando così la vera struttura multi-percorso del ragionamento.

La domanda centrale affrontata è: quando più CoT risolvono correttamente lo stesso problema, convergono verso un'unica rotta di processo, o formano distinti "isomeri di processo"—traiettorie che condividono la stessa risposta finale ma percorrono rotte intermedie diverse?

Metodologia: SliceGraph

Gli autori propongono SliceGraph, un oggetto di misurazione post-hoc (non un programma di decodifica) che mappa la geometria del processo delle CoT campionate. La metodologia consta di cinque livelli:

1. Costruzione di SliceGraph (L'Impalcatura)

• Input: Per una data cella problema-modello, vengono campionate $N=64$ esecuzioni CoT.
• Definizione della Fetta: Le attivazioni sono aggregate in righe da 32 token, quindi ulteriormente aggregate in fette di ragionamento più ampie (dimensione canonica: 256 token, 8 righe).
• Rappresentazione: Invece di embedding testuali o PCA, il metodo utilizza chiavi di attivazione sparse. Ogni fetta è rappresentata come un insieme binario dei neuroni MLP attivi top-$k$ (identificati da coppie strato-unità).
• Costruzione del Grafo: I nodi rappresentano le fette. Gli archi sono stabiliti tramite mutual-$k$NN basato sulla similarità di Jaccard degli insiemi di chiavi di attivazione sparse. Questo preserva la struttura non proiettata, ad alta dimensionalità, del processo di ragionamento.

2. Decomposizione Strutturale

• Componenti Biconnessi (BCC): Il grafo è decomposto in BCC (sottografi massimali che rimangono connessi dopo la rimozione di un singolo nodo). Questi rappresentano stati di ragionamento condivisi.
• Punti di Articolazione: I nodi che collegano i BCC agiscono come punti di diramazione dove la popolazione di ragionamento si divide.
• Assegnazione dei Ruoli: I blocchi (BCC) vengono assegnati ruoli (ad esempio, shared_trunk, answer_basin, decision_point) in base alla copertura delle esecuzioni, alle dimensioni, alla purezza della risposta e alla posizione.
• Validazione: Due studi di annotazione in cieco confermano che i BCC corrispondono alle nozioni umane di stati di ragionamento condivisi e che i cluster risultanti si allineano con strategie di alto livello condivise.

3. Famiglie di Processo e Isomeri

• Clustering: Le esecuzioni sono clusterizzate in Famiglie di Processo in base all'insieme di blocchi non banali che visitano, utilizzando una similarità di Jaccard ponderata e il rilevamento di comunità Louvain.
• Definizione di Isomero di Processo: Due esecuzioni CoT corrette sono definite isomeri di processo se raggiungono la stessa risposta finale normalizzata ma appartengono a famiglie di processo diverse. Ciò indica che hanno utilizzato rotte intermedie diverse per raggiungere la stessa soluzione.

4. Campo di Ricompensa Seminato con Etichette

• Per analizzare il paesaggio dei valori, un campo di ricompensa viene diffuso sulla struttura fissa del grafo.
• Semina: Un valore seme viene calcolato per ogni blocco in base al tasso di successo in eccesso delle esecuzioni che visitano quel blocco.
• Diffusione: Questo seme viene propagato tramite un processo di diffusione in stile PageRank.
• Nuclei ad Alto Valore: Il quartile superiore dei valori positivi del campo definisce i "nuclei ad alto valore". Se una cella ha più nuclei ad alto valore disconnessi, è "multi-nucleo".

5. Dinamiche degli Stati Tipizzati

• Le esecuzioni sono elevate a un modello di transizione di stati tipizzati dove gli stati sono definiti da (ruolo del blocco, intervallo di tempo, appartenenza al nucleo).
• Nuclei Familiari: I nuclei di transizione sono stimati per ogni famiglia di processo.
• Analisi: Gli autori confrontano questi nuclei utilizzando la distanza di Variazione Totale (TV) rispetto ai controlli nulli (mescolamento delle etichette) per determinare se le famiglie navigano l'atlante in modo diverso.

Risultati Chiave

1. Validità Strutturale e Rappresentazione

• Allineamento Semantico: Gli annotatori umani hanno confermato che le fette all'interno dello stesso BCC rappresentano la stessa operazione di ragionamento (accordo 88,9–90,3%) e che le esecuzioni all'interno della stessa famiglia di processo utilizzano la stessa strategia di alto livello (accordo 94,4%).
• Robustezza dell'Impalcatura: La similarità di Jaccard basata su chiavi di attivazione sparse non proiettata è critica. PCA e embedding di frasi (MiniLM) hanno collassato la geometria multi-percorso, riducendo le celle valide a quasi zero o comprimendo significativamente i conteggi delle famiglie.

2. Prevalenza degli Isomeri di Processo

• Prevalenza Multi-Famiglia: Nel 85,5% delle 954 celle problema-modello (attraverso tre modelli da 4B/8B su benchmark di matematica/scienza), le CoT corrette si dividono in più famiglie di processo.
• Tasso di Isomeria: Tra le coppie di esecuzioni corrette normalizzate, il 76,6% sono isomeri di processo (appartengono a famiglie diverse).
• Stabilità: Questo fenomeno persiste sotto il ricampionamento split-half e vale anche controllando per il numero di esecuzioni corrette (ad esempio, a $m=4$ esecuzioni corrette, il tasso di isomeria rimane 58,2%).

3. Paesaggio dei Valori e Navigazione

• Struttura Multi-Bacino: Il 67,6% delle celle valutabili per la ricompensa presenta più nuclei ad alto valore disconnessi.
• Specializzazione: Le famiglie di processo non si duplicano semplicemente; si specializzano su impronte distinte di nuclei ad alto valore. Il punteggio di specializzazione (che misura quanto è concentrata l'impronta di una famiglia su specifici nuclei) media 0,59.
• Dinamiche Distinte: I nuclei di transizione specifici della famiglia differiscono significativamente. Nell'80,9% delle celle multi-famiglia, le dinamiche di transizione tra le famiglie superano la distribuzione nulla (mescolamento delle etichette), indicando che le famiglie navigano lo stesso atlante utilizzando nuclei di transizione distinti, non solo visitando stati statici diversi.

4. Riproduzione Cross-Architettura e di Scala

• Riproduzione: I risultati valgono per diverse architetture (DeepSeek-R1-Distill-Llama-8B) e scale (Qwen3-32B).
• Effetti di Scalatura: Sul modello più grande Qwen2.5-Math-72B, il tasso multi-famiglia si attenua (67,3%) a causa di una maggiore saturazione dell'accuratezza (risoluzione più deterministica), ma la geometria qualitativa (specializzazione, dinamiche distinte) rimane quando esiste diversità strutturale.

Significato e Affermazioni

Il paper afferma che l'aggregazione delle risposte finali trascura una geometria di processo strutturata multi-percorso. Trattando il processo di ragionamento come un grafo di sovrapposizioni di attivazioni piuttosto che come un insieme di campioni indipendenti, SliceGraph rivela che:

1. L'Isomerismo di Processo è Comune: Le soluzioni corrette allo stesso problema seguono spesso rotte intermedie fondamentalmente diverse (isomeri di processo).
2. Le Famiglie di Rotta sono Distinte: Questi isomeri non sono variazioni casuali ma formano coerenti "famiglie di processo" che si specializzano su diverse regioni del paesaggio dei valori (nuclei ad alto valore).
3. Le Dinamiche di Navigazione Differiscono: Queste famiglie non visitano solo stati diversi; attraversano l'atlante del ragionamento con nuclei di transizione distinti.

Gli autori posizionano SliceGraph come un oggetto di misurazione per l'audit della diversità di processo, del collasso e della sovra-concentrazione, piuttosto che come uno strumento per guidare la decodifica. Il lavoro suggerisce che comprendere la "forma" del ragionamento richiede l'analisi della struttura congiunta di più esecuzioni tramite similarità delle chiavi di attivazione, evitando le distorsioni introdotte dagli embedding basati su proiezione.