💬 NLP

J-CoT: Chain-of-Thought in J-Space

Questo articolo introduce J-CoT, un framework di ragionamento ricorrente che migliora i metodi di ragionamento latente esistenti propagando gli stati intermedi come coefficienti indicizzati al vocabolario all'interno di un sistema di coordinate "spazio-J", consentendo così un calcolo efficiente senza la necessità di razionali completamente verbalizzati o di una ricorrenza densa dello stato nascosto.

Autori originali: Junde Wu, Jiayuan Zhu, Fengling Liu, Minhao Hu, Jiazhen Pan

Pubblicato 2026-07-27

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Junde Wu, Jiayuan Zhu, Fengling Liu, Minhao Hu, Jiazhen Pan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Linguaggio Segreto delle Macchine Pensanti

Immaginate di cercare di insegnare a un robot super intelligente come risolvere un puzzle complicato. In passato, il modo migliore per farlo era costringere il robot a "pensare ad alta voce". Avrebbe dovuto scrivere ogni singolo passaggio del suo ragionamento in perfette frasi inglesi prima di poter dare la risposta finale. Questo è chiamato Chain-of-Thought (Catena di Pensiero), e funziona bene perché rallenta il robot, permettendogli di controllare il proprio lavoro. Ma c'è un problema: costringere un robot a parlare in frasi complete è come chiedere a un essere umano di sussurrare l'intero monologo interiore a un amico prima ancora di poter finire un pensiero. È lento e spreca energia in grammatica e narrazione quando il robot ha solo bisogno di fare un po' di matematica o logica.

All'altro estremo dello spettro, alcuni scienziati hanno provato a lasciare che il robot pensasse in totale silenzio, trasmettendo segnali segreti e invisibili tra un passaggio e l'altro. Questo è chiamato Latent Reasoning (Ragionamento Latente). È più veloce, ma è come cercare di passare un biglietto in classe che è scritto in un codice così denso e disordinato che nessuno sa esattamente quali informazioni siano davvero importanti. Il robot potrebbe perdersi in un mare di numeri senza un modo chiaro per organizzare i suoi pensieri.

Quindi, la grande domanda per i ricercatori è: esiste una via di mezzo? Possiamo dare al robot un modo per trasmettere i suoi pensieri in avanti che sia organizzato e chiaro, ma che non sprechi tempo trasformando ogni piccola idea in una frase completa? Questo è il problema che il documento "J-COT: Chain-of-Thought in J-Space" si propone di risolvere.

La Grande Idea del Documento: Il "J-Thought"

Gli autori introducono un nuovo metodo chiamato J-CoT (J-Chain-of-Thought). Invece di costringere il robot a scrivere una storia o a passare un ammasso disordinato di dati, J-CoT utilizza un astuto intermediario chiamato J-thought.

Pensate al cervello del robot come a una biblioteca enorme con milioni di libri. Quando il robot sta pensando, di solito estrae interi libri (frasi) da leggere e scrivere. Ma J-CoT suggerisce che, tra un passaggio e l'altro, il robot non ha bisogno di estrarre l'intero libro. Inveve, deve solo passare una tessera della biblioteca con un elenco di specifici numeri di pagina e sottolineature.

Ecco come funziona nel loro sistema "J-space":

L'Indice del Vocabolario: Immaginate che ogni parola nel vocabolario del robot abbia un indirizzo unico nel suo cervello.
Il J-Thought: Alla fine di un passaggio di pensiero, il robot non scrive una frase. Inveve, guarda il suo cervello e dice: "Mi sto concentrando sui concetti relativi a questi specifici indirizzi delle parole, ed ecco quanto è forte la mia concentrazione". Crea un breve elenco di numeri (coefficienti) allegati a questi indirizzi delle parole.
La Consegna: Questo elenco è il J-thought. Viene passato al passaggio successivo. Non è una frase, quindi è veloce. Ma poiché è legato a parole specifiche, è organizzato e significativo.
Il Passaggio Successivo: Il robot prende questo elenco, cerca gli "indirizzi" nel suo cervello e usa quell'informazione per continuare a pensare. Può quindi svolgere tutto il suo lavoro pesante nel suo cervello completo e complesso senza essere costretto a parlare finché non è pronto per dare la risposta finale.

Cosa Hanno Scoperto

I ricercatori hanno testato questa idea su alcuni compiti molto difficili, come risolvere problemi matematici complessi, rispondere a domande scientifiche e scrivere codice informatico. Hanno confrontato J-CoT con il vecchio metodo del "pensare ad alta voce" e con il metodo del "codice segreto".

I risultati sono stati molto promettenti. Hanno scoperto che J-CoT-Zero (una versione che non richiedeva un addestramento extra) era già all'altezza o, a volte, migliore dei migliori metodi a "codice segreto" che hanno testato. È riuscito a eguagliare o superare i migliori performer in ogni singolo benchmark che hanno provato, dai puzzle matematici alle sfide di programmazione.

Ancor meglio, quando hanno addestrato una versione chiamata J-CoT-Train per diventare ancora più bravi a leggere e scrivere queste "tessere della biblioteca", è diventata la vincitrice indiscussa. Ha ottenuto i punteggi più alti in tutti i compiti di matematica, scienza, programmazione e logica testati. Ad esempio, in un test matematico difficile chiamato MATH-500, la versione addestrata è passata da un punteggio del 50,4% (il precedente migliore) al 54,0%.

Perché È Importante (E Cosa Non È)

Il documento suggerisce che questa interfaccia "J-space" è il punto di equilibrio ideale. Dimostra che non è necessario costringere un robot a parlare in frasi complete per fargli pensare chiaramente, ma non è nemmeno necessario lasciarlo vagare in una nebbia di numeri invisibili. Usando questo elenco indicizzato al vocabolario, il robot può mantenere i suoi pensieri organizzati senza l'onere della grammatica.

Tuttavia, gli autori sono cauti nel non affermare che questo sia un rimedio magico che risolve tutto per sempre. Notano che i loro risultati si basano su test e modelli specifici. Evidenziano anche che, sebbene il "J-thought" sia un ottimo compromesso, il robot deve comunque svolgere il suo calcolo pesante all'interno del suo cervello; il J-thought è solo il messaggero.

In breve, il documento suggerisce che cambiando il modo in cui un robot trasmette i suoi pensieri da un passaggio all'altro — dalle frasi complete a un elenco intelligente basato sulle parole — possiamo renderlo più intelligente, più veloce ed efficiente nella risoluzione di problemi difficili. È come rendersi conto che, per far passare un messaggio in una stanza affollata, non è necessario urlare un paragrafo o sussurrare un codice segreto; basta solo sollevare un cartello con le parole chiave giuste.

Sintesi Tecnica: J-CoT: Chain-of-Thought nello Spazio J

1. Definizione del Problema

I Large Language Models (LLM) si affidano attualmente a due paradigmi primari per il ragionamento ricorrente, entrambi i quali presentano dei limiti:

Chain-of-Thought (CoT) Esplicita: Questo approccio utilizza il linguaggio naturale come interfaccia ricorrente. Sebbene efficace, costringe ogni stato intermedio a essere serializzato in token discreti. Ciò richiede al modello di impegnarsi in forme grammaticali, continuità del discorso ed esplicazioni esplicite anche quando queste non sono necessarie per il passaggio di ragionamento successivo. Vincola lo stato passato tra i cicli a una specifica interpretazione linguistica.
Ragionamento Latente Denso: Metodi come Coconut propagano stati latenti continui tra i passi di computazione, evitando la necessità di verbalizzazione. Tuttavia, questi metodi trasmettono un vettore latente denso nella sua interezza. Questa interfaccia manca di un meccanismo esplicito per selezionare e organizzare le informazioni specifiche richieste dal passo di ragionamento successivo, rischiando di trasportare rumore irrilevante o non strutturato.

Il paper postula la necessità di un'interfaccia intermedia che sia linguisticamente ancorata (basata sul vocabolario del modello) ma non sentenziale (che non richieda una frase decodificata), permettendo la piena computazione nello spazio latente all'interno dei cicli pur fornendo uno stato strutturato per la ricorrenza.

2. Metodologia: J-CoT

Gli autori introducono J-CoT, un framework di ragionamento ricorrente che opera nello spazio J, un sistema di coordinate indicizzato al vocabolario derivato dalle rappresentazioni latenti del modello.

2.1 Concetto Core: Il J-Thought

Invece di passare token decodificati o vettori densi, J-CoT passa un J-thought: uno stato di coefficienti indicizzati al vocabolario.

Costruzione dello Spazio J: Il metodo costruisce un dizionario per ogni layer $\ell$ attraverso la proiezione all'indietro delle direzioni del vocabolario dell'ultimo layer tramite la media della giacobiana a valle. Questo crea un indice di vocabolario condiviso attraverso diverse geometrie di layer.
Estrazione e Ricostruzione:
- Scrittura (Estrazione): In un layer di scrittura designato, il modello estrae coefficienti non negativi sopra il dizionario dello spazio J da specifiche posizioni "carrier" utilizzando una decomposizione elastic-net. Questo forma la matrice del J-thought $A_t$ .
- Lettura (Ricostruzione): In un layer di lettura designato, questi coefficienti vengono ricostruiti nel residual stream utilizzando il dizionario del layer di lettura. Un gate di lettura appreso regola l'integrazione di questo stato con la baseline condizionata dal prompt.
Posizioni Carrier: Il modello appone $M$ posizioni carrier non linguistiche all'input. Queste posizioni partecipano alla standard self-attention e alle computazioni feed-forward, ma non vengono mai decodificate. Esse fungono da locazioni di lettura/scrittura per il J-thought.

2.2 Meccanismo Ricorrente

Il ciclo J-CoT opera come segue:

Inizializzazione: Il prompt e gli embedding carrier neutri vengono propagati al layer di lettura.
Lettura: Il precedente J-thought viene ricostruito nel layer di lettura e integrato tramite gate nelle attivazioni dei carrier.
Computazione: I carrier e il prompt propagano attraverso i livelli intermedi del Transformer (dal layer di lettura al layer di scrittura) utilizzando rappresentazioni latenti dense e non ristrette.
Scrittura: Al layer di scrittura, nuovi coefficienti vengono estratti dalle attivazioni dei carrier per formare il successivo J-thought.
Terminazione: La ricorrenza si interrompe quando il J-thought si stabilizza (bassa variazione nella norma di Frobenius) o viene raggiunto un budget massimo di cicli. Lo stato finale condiziona la decodifica autoregressiva della risposta.

2.3 Configurazioni

J-CoT-Zero: Una configurazione senza addestramento (training-free) che utilizza componenti di interfaccia fissi (embedding pre-addestrati medi, forza di lettura unitaria). Non richiede ottimizzazione specifica per J-CoT.
J-CoT-Train: Una variante addestrabile che ottimizza gli embedding dei carrier e il gate di lettura mantenendo congelati il Transformer sottostante e i dizionari J-lens.

3. Contributi Chiave

Framework J-CoT: Introduzione di un framework di ragionamento ricorrente che trasporta uno stato J-thought indicizzato al vocabolario attraverso i cicli, colmando il divario tra il ragionamento linguistico esplicito e la ricorrenza latente densa.
Meccanismo di Lettura-Scrittura Nativo del Modello: Sviluppo di un meccanismo che utilizza le coordinate dello spazio J per trasportare lo stato senza razionali decodificati o ricorrenza completa dello stato latente, permettendo al modello di preservare informazioni difficili da esprimere in linguaggio naturale pur mantenendo un'interfaccia strutturata.
Validazione Empirica: Valutazione completa attraverso ragionamento matematico, QA scientifico, generazione di codice e ragionamento su percorsi strutturati, dimostrando che J-CoT eguaglia o supera le forti baseline.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul backbone Qwen3-8B-Base (e scalati su modelli più grandi) su otto benchmark: GSM8K, MATH-500, AIME 2024, GPQA-Diamond, HumanEval+, MBPP+, LiveCodeBench e CRUXEval.

Performance vs Baseline:
- J-CoT-Train ha ottenuto i punteggi più alti in tutti i task valutati, superando la più forte baseline di ragionamento latente (SIM-Coconut) con una media di 2.7 punti percentuali (50.2% vs 47.5%).
- J-CoT-Zero (senza addestramento) ha eguagliato o superato SIM-Coconut in ogni benchmark, migliorando il punteggio medio al 47.9% senza alcuna ottimizzazione specifica per J-CoT.
- Entrambe le varianti J-CoT hanno superato significativamente la CoT linguistica standard e le baseline PS+.
Scaling: J-CoT mostra uno scaling positivo sia con la capacità del modello (da 7B a 405B parametri) che con la profondità del ragionamento (budget di cicli adattivi). I modelli più grandi beneficiano maggiormente di cicli di ragionamento aggiuntivi.
Spettro dell'Interfaccia: Un esperimento di interpolazione tra stati latenti densi ( $\lambda=0$ ), J-thoughts ( $\lambda=0.5$ ) ed stati linguistici espliciti ( $\lambda=1$ ) ha rivelato una tendenza non monotona. Le performance sono culminate nella configurazione J-CoT ( $\lambda=0.5$ ), suggerendo che essa offra un equilibrio ottimale tra la preservazione di percorsi di ragionamento alternativi (a differenza della CoT esplicita) e la riduzione della persistenza di percorsi non validi (a differenza degli stati latenti densi).
Ablation: Rimuovere la lettura del J-thought o collassare il J-thought in un singolo carrier ha degradato significativamente le performance, validando la necessità del design multi-carrier indicizzato al vocabolario.

5. Significato e Rivendicazioni

Il paper sostiene che J-CoT dimostri la validità delle interfacce ricorrenti native del modello come alternativa superiore sia agli stati intermedi completamente verbalizzati che a quelli completamente densi.

Ancoraggio Linguistico senza Verbalizzazione: I risultati supportano l'ipotesi che un sistema di coordinate indicizzato al vocabolario (spazio J) permetta l'estrazione e il riutilizzo di computazioni interne senza l'overhead della generazione di testo intermedio fluido.
Efficienza e Struttura: Evitando l'impegno verso una specifica interpretazione linguistica ad ogni passo, J-C0T permette al modello di trasportare in avanti computazioni incerte o distribuite in modo più efficace rispetto alla CoT esplicita, mentre l'indicizzazione del vocabolario fornisce un meccanismo di selezione assente nei metodi latenti densi.
Potenziale Training-Free: La forte performance di J-CoT-Zero suggerisce che il Transformer pre-addestrato contenga già un sistema di coordinate dello spazio J utilizzabile, richiedendo nessun addestramento aggiuntivo per sfruttare questa capacità ricorrente.

Gli autori concludono che J-CoT stimola ulteriori studi su tali interfacce, offrendo una via per un ragionamento più efficiente e strutturato nei large language models.