🤖 AI

Subliminal Clocks: Latent Time Modelling in Diffusion Language Models

Questo articolo dimostra che i Modelli di Linguaggio di Diffusione, nonostante la mancanza di un condizionamento esplicito sul timestep, codificano internamente una rappresentazione latente decodificabile del progresso di denoising all'interno dei loro residual streams, la quale può essere manipolata per controllare sistematicamente la confidenza e l'entropia del modello. Nello specifico, si fa riferimento alle attivazioni $h_{n,t}$ , dove $n$ indica l'indice del layer di trasformazione e $t$ rappresenta l'indice temporale (o timestep) nel processo di denoising. Si osserva inoltre che la divergenza KL non scala linearmente con la distanza tra $\hat{t}$ e $t$ , riflettendo una relazione più complessa tra l'errore di stima del timestep e la divergenza distribuzionale.

Autori originali: Maximo Rulli (Sapienza University of Rome), Thomas Fontanari (Sapienza University of Rome), Simone Petruzzi (Sapienza University of Rome), Federico Alvetreti (Sapienza University of Rome), Giorgio Str

Pubblicato 2026-07-03

📖 6 min di lettura🧠 Approfondimento

CC0 1.0

Autori originali: Maximo Rulli (Sapienza University of Rome), Thomas Fontanari (Sapienza University of Rome), Simone Petruzzi (Sapienza University of Rome), Federico Alvetreti (Sapienza University of Rome), Giorgio Strano (Sapienza University of Rome), Donato Crisostomi (Sapienza University of Rome), Giorgos Nikolaou (EPFL), Tommaso Mencattini (EPFL), Andrea Santilli (Independent researcher), Emanuele Rodolà (Sapienza University of Rome), Simone Scardapane (Sapienza University of Rome), Alessio Devoto (Independent researcher)

Articolo originale dedicato al pubblico dominio sotto CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un Modello di Linguaggio di Diffusione (DLM) come un maestro scultore che lavora in una stanza buia. A differenza di uno scrittore tradizionale che costruisce una storia una parola alla volta da sinistra a destra, questo scultore parte da un blocco di pietra completamente ricoperto di argilla (rappresentata dai token [MASK]). Il suo compito è quello di rimuovere l'argilla, rivelando le parole nascoste sottostanti, uno strato alla volta, finché la statua finale non viene rivelata.

Il grande mistero che questo articolo risolve è: lo scultore sa quanta argilla è rimasta?

Nei modelli di scrittura tradizionali, il computer sa esattamente quante parole ha scritto. Ma in questi modelli di "scultura", l'articolo si chiede se il modello possieda un "orologio" interno o un senso di progresso, anche se non gli è stato esplicitamente insegnato a contare.

Ecco cosa hanno scoperto i ricercatori, spiegato in modo semplice:

1. L'Orologio Subliminale

I ricercatori hanno scoperto che, anche se al modello non viene detto "Sei al 50%", esso tiene segretamente traccia del proprio progresso. È come uno scultore che non ha un orologio ma può sentire il peso della pietra nelle sue mani e intuire istintivamente: "Sono a metà dell'opera".

Hanno trovato un segnale nascosto all'interno del cervello del modello (specificamente nei suoi "residual streams", che sono come i percorsi del pensiero interno del modello). Questo segnale funge da orologio latente. Dice al modello esattamente quanta "argilla" (i token mascherati) è stata rimossa e quanta ne rimane.

2. Leggere la Mente (Probing)

Per dimostrare che questo orologio esiste, i ricercatori hanno costruito un semplice "decodificatore" (un probe). Hanno osservato i pensieri interni del modello in diverse fasi del processo.

Per analizzare questi pensieri, i ricercatori hanno esaminato le attivazioni interne del modello, indicate con la variabile $h$ . È fondamentale chiarire cosa rappresentano gli indici di questa variabile per evitare confusione:

$n$ indica la posizione del token all'interno della sequenza di testo (ad esempio, la prima parola, la seconda, ecc.).
$t$ indica il tempo o il passo corrente del processo di denoising (ovvero, a che punto siamo nella rimozione dell'argilla).
Il Risultato: Il decodificatore riusciva a leggere accuratamente l'orologio interno del modello basandosi su $h_n^t$ . Poteva dire, semplicemente guardando l'attivazione del modello, se quest'ultimo si trovasse all'inizio (molta argilla), nel mezzo, o alla fine (quasi nessuna argilla rimasta).
L'Analogia: È come essere in grado di guardare la postura di una persona e sapere istantaneamente se ha appena iniziato una maratona o se sta per tagliare il traguardo, anche se non ha detto una parola.

3. Manipolare l'Orologio (Steering)

La parte più eccitante è che i ricercatori non si sono limitati a leggere l'orologio; lo hanno ricablato. Hanno scoperto una specifica direzione nel cervello del modello che corrisponde al "tempo" o al "progresso".

L'Esperimento: Hanno artificialmente spinto l'orologio interno del modello in avanti o all'indietro.
- Spingere in Avanti: Hanno detto al modello: "Hai quasi finito!" (anche se non era vero). Il modello è diventato immediatamente più sicuro di sé, ha parlato con meno esitazione (minore entropia) e si è comportato come se fosse pronto a terminare.
- Spingere all'Indietro: Hanno detto al modello: "Hai appena iniziato!" (anche se era quasi alla fine). Il modello è diventato confuso, meno sicuro di sé e ha iniziato a mettere in dubbio le proprie scelte.
La Relazione con la Divergenza KL: Quando i ricercatori hanno manipolato l'orologio interno (spostandolo da $t$ a $\hat{t}$ ), hanno misurato l'impatto sulla distribuzione delle probabilità del modello utilizzando la divergenza KL. Hanno scoperto che questa divergenza non scala linearmente con la distanza temporale $|\hat{t} - t|$ . Invece, la relazione è più complessa: la divergenza KL tende a crescere in modo non lineare, spesso accelerando man mano che la manipolazione temporale diventa più significativa o si avvicina a certi punti critici del processo di denoising. Questo indica che l'impatto della "bugia" temporale sul comportamento del modello non è uniforme, ma dipende in modo sofisticato da quanto lontano si sposta l'orologio rispetto al tempo reale.
La Conclusione: Questo dimostra che l'orologio non è solo un'osservazione passiva; è un meccanismo di controllo. Se cambi il senso del tempo del modello, ne cambi il comportamento, con effetti misurabili e non banali sulla sua certezza statistica.

4. La Forma del Tempo

I ricercatori hanno anche esaminato la geometria di questo "orologio". Hanno scoperto che il modello non rappresenta il tempo come una nuvola disordinata e caotica. Al contrario, organizza il tempo in una curva molto pulita e fluida (come una parabola).

L'Analogia: Immaginate la comprensione del tempo del modello come il binario di una montagna russa. Mentre il processo di denoising avanza, lo stato interno del modello scivola fluidamente lungo questo binario. I ricercatori hanno scoperto che quasi tutta l'informazione su "quanto lontano si è arrivati" si adatta su questo singolo binario a bassa dimensionalità.

5. Il Meccanismo di Autocorrezione

Uno dei risultati più interessanti è che il modello è abbastanza intelligente da correggere gli errori.

Se i ricercatori hanno manomesso l'orologio nei primi strati del modello (l'inizio del processo di pensiero), il modello spesso si "autocorregge" mentre l'informazione si muove attraverso gli strati più profondi. Realizza: "Aspetta, mi è stato detto che sono alla fine, ma in realtà sono ancora a metà", e adegua il proprio stato interno verso la verità.
Tuttavia, se hanno manomesso l'orologio negli strati finali, il modello non riesce a correggersi e il comportamento cambia permanentemente.

Riassunto

Questo articolo rivela che i Modelli di Linguaggio di Diffusione possiedono un senso interno, nascosto, di "quanto lavoro resta da fare".

Hanno un orologio: Codificano il loro progresso nei loro stati cerebrali interni ( $h_n^t$ ).
Possiamo leggerlo: Possiamo misurare questo progresso con precisione.
Possiamo controllarlo: Modificando questo orologio interno, possiamo rendere il modello più o meno sicuro di sé, influenzando la sua distribuzione di probabilità in modo non lineare.
È strutturato: Questo "tempo" è organizzato in una forma geometrica pulita e prevedibile all'interno del cervello del modello.

Essenzialmente, il modello è come una persona che cammina in un tunnel e sa esattamente quanto dista dalla luce, anche se nessuno gli ha comunicato la distanza. I ricercatori hanno trovato la parte del cervello che contiene quella conoscenza e hanno dimostrato di poter girare la manopola per cambiare come la persona percepisce il viaggio.

Sintesi Tecnica: Orologi Subliminali: Modellazione del Tempo Latente nei Modelli di Linguaggio a Diffusione

Problema

I Modelli di Linguaggio a Diffusione (DLM) sono emersi come un'alternativa promettente ai modelli autoregressivi, generando testo de-noisando progressivamente i token mascherati anziché predire sequenzialmente. A differenza dei modelli di diffusione standard che sono esplicitamente condizionati su una variabile di timestep $t$ , i DLM tipicamente non ricevono un input esplicito di timestep durante l'inferenza. Ciò solleva una domanda fondamentale sulla loro meccanica interna: i DLM rappresentano internamente il progresso del processo di denoising e, se sì, come viene codificata e utilizzata questa informazione?

Sebbene la frazione di token non mascherati ( $\tau_t$ ) serva come un proxy osservabile del progresso del denoising, rimane poco chiaro se le rappresentazioni interne del modello (residual stream) codifichino un segnale latente corrispondente a tale progresso e se la manipolazione di questo segnale influenzi causalmente la generazione.

Metodologia

Gli autori investigano questo fenomeno utilizzando due modelli di diffusione mascherata su larga scala: LLaDA-1.5 e Dream. Il loro approccio è strutturato attorno a tre domande di ricerca (RQ) affrontate tramite probing, steering causale e analisi geometrica.

1. Probing per il Tempo Latente (RQ1)

Per determinare se il progresso del denoising sia codificato, gli autori addestrano MLP probe sul residual stream degli stati nascosti dei modelli.

Input: Stati nascosti $h_{t,l,n}^j$ da specifici layer $l$ e posizioni dei token $j$ . Qui, $t$ indica il passo di denoising corrente (timestep), mentre $n$ identifica l'indice del campione all'interno del batch di inferenza o addestramento, permettendo di distinguere le attivazioni tra diverse sequenze di input contemporanee.
Target: Il progresso empirico del denoising $\tau_t$ , definito come la frazione di token non mascherati al passo $t$ .
Setup: I probe sono addestrati separatamente per ogni layer e per diversi subset di token ([MASK], non-[MASK] e tutti i token) per testare la localizzazione del segnale.

2. Steering Causale (RQ2)

Per testare l'importanza causale del segnale identificato, gli autori impiegano lo steering del vettore di attivazione media.

Estrazione del Segnale: Calcolano i vettori di attivazione media $\mu_{t,l}$ per ogni passo di denoising $t$ e layer $l$ , mediando gli stati nascosti tra gli esempi.
Intervento: Durante l'inferenza, sostituiscono l'attivazione del layer corrente con una versione perturbata: $\tilde{h}_{t,l}^j = h_{t,l}^j - \mu_{t,l} + \mu_{\hat{t},l}$ , dove $\hat{t}$ è un target di denoising progressivo. Questo sposta lo stato interno del modello verso la rappresentazione di un diverso livello di progresso.
Controllo: Confrontano queste perturbazioni mirate contro perturbazioni casuali campionate dalla matrice di covarianza empirica con norme corrispondenti.
Metriche: Misurano gli effetti a valle sull'entropia, sulla confidenza (massima probabilità) e sulla divergenza KL tra le distribuzioni di token originali e quelle guidate (steered).

3. Caratterizzazione Geometrica (RQ3)

Gli autori analizzano la struttura del segnale recuperato:

Dimensionalità: Effettuano un'Analisi delle Componenti Principali (PCA) sui vettori medi per determinare la dimensionalità effettiva della rappresentazione di $\tau$ .
Allineamento Cross-Layer: Calcolano le similitudini del coseno tra i vettori medi dello stesso passo di denoising attraverso diversi layer per valutare se esiste una rappresentazione unificata a livello di modello.
Componenti Intra-Layer: Esaminano come il segnale è rappresentato all'interno di specifiche componenti del layer (Self-Attention, MLP gate, MLP up-projection, ecc.).

Risultati Chiave

1. Esistenza di un Segnale di Denoising Latente

Accuratezza del Probe: Gli MLP probe possono predire in modo affidabile $\tau_t$ dalle attivazioni del residual stream in tutti i layer, raggiungendo un $R^2 > 0.5$ nella maggior parte dei layer. Il segnale è presente sia nei token [MASK] che in quelli non-[MASK], sebbene sia leggermente più forte nei token [MASK].
Conclusione: I DLM codificano internamente un segnale relativo all'attuale passo di denoising, anche senza un input esplicito di timestep.

2. Impatto Causale sulla Generazione

Modulazione Predittiva: Guidare il modello verso un $\hat{t}$ più alto (maggior progresso) aumenta la confidenza del modello e diminuisce l'entropia. Al contrario, guidarlo verso un $\hat{t}$ più basso diminuisce la confidenza e aumenta l'entropia.
Divergenza KL: La divergenza tra le distribuzioni pulite e quelle guidate aumenta con la distanza $|\hat{t} - t|$ , ma non segue una relazione lineare; l'effetto sulla divergenza KL è più marcato per grandi discrepanze tra il timestep corrente e quello target.
Specificità: Questi effetti sono specifici della direzione $\tau$ ; perturbazioni casuali della stessa magnitudo non producono trend coerenti in entropia o confidenza.
Correzione della Profondità: Quando le perturbazioni vengono iniettate nei primi layer, il modello compensa progressivamente tali perturbazioni man mano che il calcolo procede attraverso i layer più profondi, ripristinando il segnale al suo valore originale. Tuttavia, lo steering estremo (es. $\hat{t}=100$ ) è più difficile da correggere e può portare al collasso della generazione (token EOS prematuri).

3. Geometria Strutturata a Bassa Dimensionalità

Bassa Dimensionalità: La varianza dei vettori medi è catturata da un numero molto piccolo di componenti principali (spesso $<3$ ), con la prima componente che spiega oltre il 90% della varianza.
Struttura del Manifold: La traiettoria dei vettori medi attraverso i passi di denoising forma un manifold strutturato e a bassa dimensionalità che assomiglia a una parabola. Questa geometria è coerente tra i layer in LLaDA ed è organizzata in blocchi specifici in Dream.
Consistenza Cross-Layer: In LLaDA, la maggior parte dei layer mantiene una rappresentazione altamente correlata dello stesso passo $\tau$ , suggerendo una base condivisa a livello di modello. In Dream, la rappresentazione è organizzata in distinti blocchi computazionali.
Anticorrelazione delle Componenti: All'interno di un layer, l'output della self-attention e l'output dell'MLP (specificamente i vettori post-MLP e post-attention) mostrano una forte anticorrelazione. Essi condividono una direzione comune ma puntano in direzioni opposte, suggerendo un meccanismo in cui il modello può "annullare" o raffinare il segnale durante l'elaborazione.

Significato e Rivendicazioni

Il paper sostiene di fornire la prima prova sistematica che i Modelli di Linguaggio a Diffusione modellano internamente un "orologio" latente che rappresenta il progresso del denoising, nonostante la mancanza di input espliciti di timestep.

Insight Meccanicistico: Il lavoro rivela che la frazione di token non mascherati non è solo una metrica esterna, ma è attivamente tracciata e rappresentata all'interno del residual stream del modello.
Controllabilità: Il segnale identificato è causalmente rilevante; lo steering di questo segnale permette una modulazione prevedibile di confidenza ed entropia, dimostrando che la "nozione" di progresso del modello è un sottospazio manipolabile.
Regolarità Strutturale: La scoperta di un manifold parabolico a bassa dimensionalità condiviso tra i layer suggerisce che i DLM elaborano il tempo di denoising in modo altamente strutturato e geometrico, distinto dalle rappresentazioni lineari spesso trovate nei modelli autoregressivi per altri concetti.
Meccanismo di Correzione: L'osservazione che le perturbazioni precoci vengono corrette dai layer più profondi implica un meccanismo robusto per mantenere l'integrità della traiettoria di denoising.

Gli autori concludono che, sebbene il segnale sia funzionalmente rilevante e strutturalmente organizzato, la specifica circuitazione che computa o aggiorna questa rappresentazione rimane una questione aperta per ricerche future. Avvertono che il segnale è intrecciato con le distribuzioni dei token (ad esempio, influenzando la probabilità di EOS) piuttosto che essere un contatore puramente agnostico rispetto al contenuto.