🤖 machine learning

How Transparent is DiffusionGemma?

Questo articolo dimostra che, sebbene lo spazio latente continuo di DiffusionGemma sembri inizialmente ostacolare la trasparenza, mappare i suoi passi di denoising attraverso un collo di bottiglia dei token interpretabile migliora significativamente la trasparenza delle variabili e rivela fenomeni di ragionamento unici, mostrando infine che il modello rimane tanto monitorabile quanto il suo corrispettivo autoregressivo.

Autori originali: Joshua Engels, Callum McDougall, Bilal Chughtai, Janos Kramar, Senthoran Rajamanoharan, Cindy Wu, Arthur Conmy, Asic Q Chen, Jean Tarbouriech, Min Ma, Brendan O'Donoghue, João Gabriel Lopes de Oliveir

Pubblicato 2026-06-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Joshua Engels, Callum McDougall, Bilal Chughtai, Janos Kramar, Senthoran Rajamanoharan, Cindy Wu, Arthur Conmy, Asic Q Chen, Jean Tarbouriech, Min Ma, Brendan O'Donoghue, João Gabriel Lopes de Oliveira, Rohin Shah, Neel Nanda

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

La Grande Domanda: Possiamo vedere dentro la macchina?

Immaginate di avere due diversi tipi di chef che cercano di scrivere una storia.

Chef A (Il Modello Autoregressivo, come Gemma 4): Questo chef scrive una parola alla volta, da sinistra a destra. Scrive "Il", poi "gatto", poi "si è". Potete guardarlo mentre scrive ogni singola parola in tempo reale. È facile vedere esattamente come sta pensando perché il suo "processo di pensiero" è letteralmente le parole che sta digitando.
Chef B (DiffusionGemma): Questo chef inizia con una gigantesca tela piena di scarabocchi casuali (come l'interferenza su una vecchia TV). Non scrive parola per parola. Inveve, guarda l'intera immagine disordinata e la "pulisce" lentamente ancora e ancora. Nel primo giro, gli scarabocchi potrebbero sembrare geroglifici senza senso. Nel secondo giro, sembrano un po' più simili a parole. Al 48° giro, è una storia perfetta.

Il Problema: Con lo Chef B, i "passaggi intermedi" (gli scarabocchi tra un giro e l'altro) non sono solo parole; sono macchie matematiche che gli esseri umani non possono leggere. Il documento si chiede: Lo Chef B sta nascondendo il suo pensiero in quelle macchie, rendendo impossibile sapere cosa stia facendo?

L'Indagine: Tre modi per controllare la trasparenza

I ricercatori hanno suddiviso la "trasparenza" (quanto è facile capire il modello) in tre test principali.

1. Il Test dei "Passaggi Nascosti" (Opaque Serial Depth)

Immaginate una staffetta.

Chef A passa il testimone (il pensiero) al corridore successivo immediatamente. La distanza tra i corridori è breve.
Chef B sembra passare il testimone attraverso un lungo tunnel buio 48 volte prima che il corridore successivo lo veda. Se quel tunnel è buio (interpretabile con difficoltà), la corsa è 28,6 volte più difficile da seguire rispetto alla corsa dello Chef A.

La Scoperta: I ricercatori hanno trovato un modo per puntare una torcia in quel tunnel. Si sono resi conto che, anche se le "macchie" sembrano matematica, contengono in realtà principalmente delle ipotesi su quali saranno le parole finali. Se trattiamo quelle ipotesi come parole leggibili, il "tunnel buio" si restringe drasticamente. Improvvisamente, la corsa dello Chef B è solo 1,1 volte più difficile da seguire rispetto a quella dello Chef A. È quasi trasparente quanto il modello standard.

2. Il Test del "Gioco delle Ipotesi" (Variable Transparency)

I ricercatori si sono chiesti: "Quelle macchie sono davvero solo ipotesi?"
Hanno esaminato gli "scarabocchi" tra i giri di pulizia dello Chef B. Hanno scoperto che l'85% - 90% delle volte, il modello stava solo reggendo un cartello che diceva: "Penso che la prossima parola sia 'gatto', o forse 'cane'".

La Buona Notizia: Questi cartelli sono per lo più ipotesi sulla risposta finale. Non sono codici segreti.
La Cattiva Notizia: A volte, il modello regge un cartello con un mucchio di parole casuali solo per riempire lo spazio. Ma la maggior parte delle volte, il "pensiero" è visibile se si guarda attentamente alle ipotesi principali.

3. Il Test del "Monitor di Sicurezza" (Monitorability)

Immaginate un ispettore della sicurezza che cerca di beccare uno chef se prova a scrivere qualcosa di pericoloso.

I ricercatori hanno testato se un ispettore potesse individuare un comportamento scorretto nella storia dello Chef B semplicemente leggendo la storia finale.
Il Risultato: L'ispettore era bravo quanto lo Chef A nel catturare comportamenti scorretti nello Chef B. Anche se lo Chef B pensa in modo diverso, la storia finale rivela gli stessi indizi sul fatto che il modello sia "birichino" o "sicuro".

Le Cose Strane: Come lo Chef B pensa diversamente

Anche se lo Chef B è trasparente, pensa in modi che lo Chef A non potrebbe mai avere. Il documento ha trovato alcuni comportamenti interessanti e strani:

Pensare all'indietro (Ragionamento Non Cronologico): Lo Chef A deve scrivere l'inizio prima della fine. Lo Chef B può scrivere la fine per prima, poi tornare indietro e sistemare l'inizio.
- Esempio: Lo Chef B potrebbe ipotizzare che la risposta a un problema matematico sia "9", scriverla, poi fare i calcoli nel giro successivo, rendersi conto che è sbagliata e cambiare quel "9" con un "8" senza riscrivere l'intera pagina.
L'Effetto "Sfocato" (Token Smearing): A volte lo Chef B sa cosa vuole dire, ma non sa dove metterlo.
- Esempio: Potrebbe mettere la parola "parentesi" in tre posti diversi sulla pagina contemporaneamente, come una foto sfocata, e poi renderla nitida in un unico punto nell'ultimo giro.
Tenere in vita due mondi (Sequence Smearing): Lo Chef B può immaginare due storie diverse che accadono contemporaneamente.
- Esempio: Potrebbe essere sicuro al 50% che la risposta sia "12" e al 50% che sia "9", mantenendo entrambe le versioni della frase vive nella sua mente fino all'ultimo secondo, quando ne sceglie una.
Segnaposto Segreti (Intermediate Context): A volte lo Chef B usa una parola temporanea per aiutarlo a pensare, ma poi la cancella prima di mostrarti la risposta finale.
- Esempio: Per risolvere un problema matematico, potrebbe scrivere il numero "3" per aiutare nel calcolo, per poi sostituirlo con la parola "Oro" nell'output finale. Il "3" era necessario per il ragionamento, ma non appare mai nella storia finale.

La Conclusione

Il documento conclude che DiffusionGemma è sorprendentemente trasparente.

Anche se utilizza un modo di pensare diverso e più complesso (pulire una tela invece di scrivere parola per parola), possiamo ancora vedere cosa sta facendo.

I suoi "passaggi nascosti" sono per lo più ipotesi sulle parole finali.
I monitor di sicurezza possono catturarlo altrettanto bene quanto i modelli standard.
Compie alcuni ragionamenti interessanti e non lineari (correggere il passato, tenere in vita due opzioni contemporaneamente), ma possiamo comunque osservare come accade.

L'Avvertenza: Gli autori dicono che questo potrebbe essere vero solo per questo specifico modello. Se i modelli futuri venissero addestrati diversamente, quelle "macchie" potrebbero diventare veri codici segreti che non possiamo leggere. Ma per ora, DiffusionGemma è sicuro da osservare.

Sintesi Tecnica: Quanto è trasparente DiffusionGemma?

Problema

Il documento affronta la sfida critica della trasparenza del ragionamento degli LLM, specificamente riguardante la classe emergente di modelli di diffusione testuale come DiffusionGemma. A differenza dei modelli autoregressivi standard che generano token sequenzialmente (da sinistra a destra), i modelli di diffusione raffinano iterativamente una "tela" (canvas) di token attraverso passi di denoising. Una preoccupazione primaria è che questa architettura esegua un calcolo significativo in uno spazio latente continuo (vettori di auto-condizionamento) tra i passi di denoising. Ciò solleva una questione: questa architettura rende il ragionamento del modello meno trasparente, ostacolando così la nostra capacità di comprendere le decisioni, rilevare il disallineamento (misalignment) e diagnosticare comportamenti sorprendenti?

Gli autori decompongono la trasparenza in due componenti fondamentali:

Trasparenza delle Variabili: Possiamo comprendere gli snapshot intermedi dello stato computazionale del modello?
Trasparenza Algoritmica: Possiamo ricostruire il processo con cui il modello è arrivato ai suoi output utilizzando questi snapshot?

Metodologia

Gli autori impiegano un approccio multifasettico per valutare la trasparenza di DiffusionGemma, confrontandolo con il modello autoregressivo Gemma 4.

1. Analisi della Profondità Seriale Opaca

Gli autori formalizzano la profondità seriale opaca come il percorso più lungo di computazione seriale nel circuito di un modello che non passa attraverso un collo di bottiglia interpretabile (ad esempio, token di linguaggio naturale).

Analizzano l'architettura di DiffusionGemma, che include un collo di bottiglia tra i passi di denoising composto da $C$ token di linguaggio naturale e $C$ vettori di auto-condizionamento.
Calcolano la profondità seriale opaca sotto due ipotesi: (a) i vettori di auto-condizionamento sono non interpretabili, e (b) sono interpretabili.

2. Esperimenti di Interpretabilità del Collo di Bottiglia

Per testare se i vettori di auto-condizionamento latenti ( $S_t$ ) possono essere resi interpretabili senza perdita di prestazioni:

Ablazione Logit Lens: Limitano il flusso di informazioni nel collo di bottiglia solo ai top- $k$ token o ai token con probabilità $>p$ utilizzando la tecnica Logit Lens.
Valutazione delle Prestazioni: Misurano la capacità su benchmark (Natural2Code, LiveCodeBench, AMC/AIME/IMO, GPQA) per garantire che la restrizione del collo di bottiglia non degradi le prestazioni del modello.
Analisi dell'Identità dei Token: Analizzano i principali token intermedi per determinare se rappresentino "ipotesi" per i token finali (interpretabili) o ragionamenti opachi.

3. Valutazione della Monitorabilità

Gli autori adattano le valutazioni di monitorabilità introdotte da Guan et al. (2025). Questi test misurano se un monitor può estrarre informazioni sul ragionamento di un modello (ad esempio, rilevando il reward hacking o prompt injection) avendo accesso alla catena di pensiero (CoT) del modello. Confrontano DiffusionGemma e Gemma 4 attraverso tre categorie:

Intervento: Il monitor rileva cambiamenti nel ragionamento corrispondenti a interventi sull'input?
Processo: Il monitor può trovare prove di specifici percorsi di soluzione?
Proprietà-Risultato: Il monitor può rilevare se il modello sfrutta specifiche proprietà dell'output (ad esempio, eludere i test)?

4. Casi Studio sulla Trasparenza Algoritmica

Gli autori conducono casi studio qualitativi per identificare fenomeni di ragionamento unici nei modelli di diffusione che differiscono dai vincoli autoregressivi. Utilizzano una libreria di visualizzazione personalizzata (viste Summary, Line Graph e Sampling Table) per tracciare le probabilità dei token attraverso i passi di denoising.

Risultati Chiave

1. Profondità Seriale Opaca

Visione Naive: Se i vettori di auto-condizionamento sono non interpretabili, la profondità seriale opaca di DiffusionGemma è 28,6 volte superiore a quella di Gemma 4 (608.016 vs. 21.235 con contesto da 256k).
Visione Interpretabile: Se gli stati intermedi sono trattati come interpretabili, la profondità seriale opaca scende a 1,1 volte quella di Gemma 4.
Conclusione: L' "opacità" è contingente al fatto che il collo di bottiglia intermedio possa essere mappato al linguaggio naturale.

2. Trasparenza delle Variabili (Interpretabilità del Collo di Bottiglia)

Preservazione delle Prestazioni: Restringere il collo di bottiglia ai soli 8 token superiori ( $k=8$ ) o ai token con probabilità $>0,03$ non produce alcuna degradazione significativa delle prestazioni nei benchmark di capacità.
Natura dei Token: L'analisi di 800 prompt di WildChat rivela che i principali token intermedi sono prevalentemente ipotesi per il token finale o token in posizioni adiacenti.
- Sotto una soglia rigorosa di $p > 0,03$ , oltre l'85% dei token è categorizzato come "Finale", "Adiacente" o "Semanticamente Simile".
- Ciò suggerisce che gli stati intermedi che sostengono il carico sono ampiamente interpretabili, riducendo la profondità seriale opaca effettiva.

3. Monitorabilità

Si scopre che DiffusionGemma è similmente monitorabile a Gemma 4 nelle valutazioni di intervento, processo e proprietà-risultato.
Nota: DiffusionGemma genera catene di pensiero più brevi (meno caratteri) rispetto a Gemma 4, pur mantenendo punteggi di monitorabilità comparabili.

4. Trasparenza Algoritmica e Fenomeni Nuovi

Lo studio scopre diversi comportamenti non autoregressivi unici per DiffusionGemma:

Ragionamento Non Cronologico:
- Previsione Precoce della Lunghezza: Il modello predice la lunghezza totale della sequenza (tramite le probabilità dei token di padding) prima di determinare i token di contenuto specifici.
- Autocorrezione Retroattiva: Il modello può generare prima una risposta errata, poi generare il ragionamento e infine correggere la risposta iniziale in base al ragionamento (impossibile nei modelli autoregressivi dove i token iniziali sono fissi).
- Generazione di Codice "Skeleton-First": Il modello spesso si impegna sulla struttura algoritmica (loop, logica) prima di inserire i nomi delle variabili o i commenti che appaiono prima nel testo.
Smearing (Sfuocatura) di Token e Sequenze:
- Token Smearing: La massa di probabilità per un singolo token (ad esempio, "parentesi") è distribuita su più posizioni adiacenti prima di convergere.
- Sequence Smearing: Il modello mantiene sovrapposizioni di distinti candidati di sequenza (ad esempio, una risposta a singola cifra vs. una a doppia cifra) simultaneamente prima di collassare su una.
Ragionamento in Contesto Intermedio: Il modello a volte usa i token come segnaposto intermedi (ad esempio, generando un "3" per calcolare una sequenza di Fibonacci) che vengono poi sostituiti nell'output finale. Questi token sono causalmente necessari per il ragionamento ma non appaiono nella risposta finale.

Significato e Rivendicazioni

Il documento afferma che DiffusionGemma mantiene la maggior parte dei benefici di trasparenza della CoT autoregressiva, a condizione che i colli di bottiglia intermedi siano trattati come interpretabili.

Risultati Rassicuranti: Gli autori riscontrano che DiffusionGemma è similmente monitorabile a Gemma 4 e che la sua profondità seriale opaca può essere ridotta quasi alla parità con i modelli autoregressivi mappando i vettori intermedi in token.
Avvertenze e Limitazioni:
- I risultati dipendono fortemente dalle specifiche scelte architettoniche di DiffusionGemma (ad esempio, i livelli di proiezione che orientano i vettori verso gli embedding) e dai paradigmi di addestramento.
- Gli autori avvertono che futuri modelli di ragionamento latente addestrati con obiettivi o architetture differenti (ad esempio, RL basato sull'outcome) potrebbero avere spazi latenti significativamente più opachi.
- Le attuali valutazioni di monitorabilità coprono molteplici canvas (agendo in modo più autoregressivo); la monitorabilità a canvas singolo (dove il ragionamento complesso avviene interamente all'interno di un unico ciclo di diffusione) rimane una questione aperta e potrebbe essere inferiore.
Direzioni Future: Il documento propone di utilizzare questi audit di trasparenza come modello per i futuri modelli di ragionamento latente. Enfatizza la necessità di tecniche come i Natural Language Autoencoders (NLA) e gli Activation Oracles per tradurre il ragionamento latente in testo comprensibile all'uomo qualora i futuri modelli diventassero meno trasparenti.

In sintesi, sebbene DiffusionGemma introduca nuove complessità algoritmiche (ragionamento non cronologico, smearing), gli autori dimostrano che il suo ragionamento rimane in gran parte accessibile all'interpretazione e al monitoraggio umano, sfidando l'assunto che le architetture di ragionamento latente siano intrinsecamente opache.