🤖 AI

Subliminal Clocks: Latent Time Modelling in Diffusion Language Models

Dit artikel toont aan dat Diffusion Language Models, ondanks het ontbreken van expliciete tijdstap-conditionering, intern een decodeerbare latente representatie van de denoising-progressie coderen binnen hun residual streams, die gemanipuleerd kan worden om de modelvertrouwen en entropie systematisch te controleren. Hierbij verwijst de activatie h naar de hidden state op stap t van het denoising-proces voor de n-de token in de sequentie. De KL-divergentie schaalt niet lineair met de afstand van \hat{t}-t.

Oorspronkelijke auteurs: Maximo Rulli (Sapienza University of Rome), Thomas Fontanari (Sapienza University of Rome), Simone Petruzzi (Sapienza University of Rome), Federico Alvetreti (Sapienza University of Rome), Giorgio Str

Gepubliceerd 2026-07-03

📖 6 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Maximo Rulli (Sapienza University of Rome), Thomas Fontanari (Sapienza University of Rome), Simone Petruzzi (Sapienza University of Rome), Federico Alvetreti (Sapienza University of Rome), Giorgio Strano (Sapienza University of Rome), Donato Crisostomi (Sapienza University of Rome), Giorgos Nikolaou (EPFL), Tommaso Mencattini (EPFL), Andrea Santilli (Independent researcher), Emanuele Rodolà (Sapienza University of Rome), Simone Scardapane (Sapienza University of Rome), Alessio Devoto (Independent researcher)

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Diffusion Language Model (DLM) voor als een meesterbeeldhouwer die werkt in een donkere kamer. In tegenstelling tot een traditionele schrijver die een verhaal woord voor woord van links naar rechts opbouwt, begint deze beeldhouwer met een blok steen dat volledig bedekt is met klei (vertegenwoordigd door [MASK] tokens). Hun taak is om de klei weg te hakken, waardoor de verborgen woorden eronder tevoorschijn komen, laag voor laag, totdat het uiteindelijke beeld is onthuld.

Het grote mysterie dat dit artikel oplost is: Weet de beeldhouwer hoeveel klei er nog over is?

Bij traditionele schrijfmodellen weet de computer precies hoeveel woorden hij heeft geschreven. Maar bij deze "beeldhouwmodellen" vraagt dit artikel zich af of het model over een interne "klok" beschikt of een gevoel van voortgang heeft, ook al is het niet expliciet geleerd om te tellen.

Dit is wat de onderzoekers ontdekten, eenvoudig uitgelegd:

1. De "Subliminale Klok"

De onderzoekers ontdekten dat, hoewel het model niet verteld wordt "Je bent voor 50% klaar", het stiekem zijn eigen voortgang bijhoudt. Het is als een beeldhouwer die geen horloge heeft, maar het gewicht van de steen in zijn handen kan voelen en instinctief weet: "Ik ben halverwege."

Ze vonden een verborgen signaal in de hersenen van het model (specifiek in de "residual streams", die als de interne denkpaden van het model fungeren). Om dit signaal nauwkeurig te beschrijven, gebruiken de onderzoekers de activatievector $h$ . Hierin is het belangrijk om de indices te begrijpen:

$t$ (tijd/stap): Dit indexnummer verwijst naar de huidige stap in het denoising-proces. Het geeft aan hoe ver het model is in het proces van het verwijderen van de "klei" (de ruis of [MASK] tokens). Een laag $t$ betekent dat er nog veel ruis is, een hoog $t$ betekent dat het beeld bijna duidelijk is.
$n$ (positie): Dit indexnummer verwijst naar de specifieke positie van een token binnen de sequentie (bijvoorbeeld het eerste, tweede of derde woord in de zin).

Het signaal werkt als een latente klok. Het vertelt het model, voor elke positie $n$ op elk tijdstip $t$ , precies hoeveel van de "klei" is verwijderd en hoeveel er nog over is.

2. Gedachtenlezen (Probing)

Om te bewijzen dat deze klok bestaat, bouwden de onderzoekers een eenvoudige "decoder" (een probe). Ze keken naar de interne gedachten van het model (de vectoren $h_{n,t}$ ) in verschillende stadia van het proces.

Het resultaat: De decoder kon de interne klok van het model nauwkeurig aflezen. Het kon, puur door naar de activatie van het model te kijken, bepalen of het model aan het begin stond (veel klei, laag $t$ ), in het midden, of aan het einde (bijna geen klei meer over, hoog $t$ ).
De analogie: Het is alsof je iemands houding kunt lezen en direct weet of die persoon net een marathon is gestart of dat hij bijna de finishlijn nadert, zelfs als diegene geen woord heeft gezegd.

3. De Klok Hacken (Steering)

Het meest opwindende deel is dat de onderzoekers de klok niet alleen afgelezen hebben; ze hebben hem herbedraad. Ze vonden een specifieke richting in de hersenen van het model die overeenkomt met "tijd" of "voortgang" (de dimensie $t$ in de activatie $h$ ).

Vooruit duwen: Ze zeiden tegen het model: "Je bent bijna klaar!" (door $t$ kunstmatig te verhogen in de vector $h$ ). Het model werd onmiddellijk zelfverzekerder, sprak met minder aarzeling (lagere entropie) en gedroeg zich alsof het klaar was om af te ronden.
Terug duwen: Ze zeiden tegen het model: "Je bent net begonnen!" (door $t$ kunstmatig te verlagen). Het model werd verward, minder zelfverzekerd en begon aan zijn eigen keuzes te twijfelen.
De les: Dit bewijst dat de klok niet slechts een passieve observatie is; het is een controlemechanisme. Als je het tijdsgevoel van het model verandert, verander je hoe het zich gedraagt. De afwijking in het modelgedrag, gemeten via de KL-divergentie, schaalt echter niet lineair met de afstand tussen de gemanipuleerde tijd $\hat{t}$ en de werkelijke tijd $t$ . In plaats daarvan toont de relatie een niet-lineair patroon, wat suggereert dat de impact van de manipulatie complexer is dan een eenvoudige evenredige toename.

4. De Vorm van de Tijd

De onderzoekers keken ook naar de geometrie van deze "klok". Ze ontdekten dat het model tijd niet representeert als een rommelige, chaotische wolk. In plaats daarvan organiseert het tijd in een zeer nette, gladde curve (zoals een parabool).

De analogie: Stel je de tijdsbeleving van het model voor als een achtbaanbaan. Terwijl het denoising-proces vordert, glijdt de interne staat van het model soepel langs deze baan. De onderzoekers ontdekten dat bijna alle informatie over "hoe ver we zijn" (de waarde van $t$ ) past op deze enkele, laag-dimensionale baan binnen de activatievectoren.

5. Het Zelfcorrigerend Mechanisme

Een van de coolste bevindingen is dat het model slim genoeg is om fouten te herstellen.

Als de onderzoekers met de klok knoeiden in de vroege lagen van het model (het "begin" van het denkproces), zou het model zichzelf vaak "corrigeren" terwijl de informatie door de diepere lagen bewoog. Het zou beseffen: "Wacht, ik kreeg te horen dat ik bij de finish ben, maar ik zit eigenlijk nog in het midden," en het zou zijn interne staat weer aanpassen naar de waarheid.
Echter, als ze met de klok knoeiden in de allerlaatste lagen, kon het model dit niet meer corrigeren en veranderde het gedrag permanent.

Samenvatting

Dit artikel onthult dat Diffusion Language Models een verborgen, intern gevoel hebben van "hoeveel werk er nog moet gebeuren".

Ze hebben een klok: Ze coderen hun voortgang (index $t$ ) voor elke tokenpositie (index $n$ ) in hun interne activatievectoren $h$ .
We kunnen het lezen: We kunnen deze voortgang nauwkeurig meten.
We kunnen het controleren: Door deze interne klok bij te stellen, kunnen we het model meer of minder zelfverzekerd maken.
Het is gestructureerd: Deze "tijd" is georganiseerd in een nette, voorspelbare geometrische vorm binnen de hersenen van het model.

In essentie is het model als iemand die door een tunnel loopt en precies weet hoe ver hij nog van het licht verwijderd is, zelfs als niemand hem de afstand heeft verteld. De onderzoekers hebben het deel van de hersenen gevonden dat die kennis bevat en hebben laten zien dat ze aan de knop kunnen draaien om te veranderen hoe die persoon over de reis denkt.

Technische Samenvatting: Subliminale Klokken: Latente Tijdmodellering in Diffusie Taalmodellen

Probleemstelling

Diffusie Taalmodellen (DLM's) zijn een veelbelovende alternatieve methode voor autoregressieve modellen, waarbij tekst wordt gegenereerd door gemaskeerde tokens progressief te de-noisen in plaats van ze sequentieel te voorspellen. In tegenstelling tot de standaard diffusiemodellen, die expliciet geconditioneerd zijn op een tijdstapvariabele $t$ , ontvangen DLM's tijdens inferentie doorgaans geen expliciete tijdstap-input. Dit roept een fundamentele vraag op over hun interne mechanica: Representeren DLM's intern de voortgang van het de-noising proces, en zo ja, hoe is deze informatie gecodeerd en benut?

Hoewel de fractie niet-gemaskeerde tokens ( $\tau_t$ ) dient als een observeerbare proxy voor de de-noising voortgang, blijft het onduidelijk of de interne representaties van het model (residual streams) een latent signaal coderen dat overeenkomt met deze voortgang, en of het manipuleren van dit signaal causaal effect heeft op de generatie.

Methodologie

De auteurs onderzoeken dit fenomeen aan de hand van twee grootschalige gemaskeerde diffusiemodellen: LLaDA-1.5 en Dream. Hun aanpak is gestructureerd rond drie onderzoeksvragen (RQs) die worden geadresseerd via probing, causale sturing en geometrische analyse.

1. Probing voor Latente Tijd (RQ1)

Om te bepalen of de de-noising voortgang gecodeerd is, trainen de auteurs MLP-probes op de hidden states van de residual streams van de modellen.

Input: Hidden states $h_{t,l,n}^j$ van specifieke lagen $l$ en tokenposities $j$ . Hierbij staat de index $t$ voor de huidige de-noising stap in het iteratieve proces, en $n$ voor de specifieke sample of voorbeeld binnen de batch.
Target: De empirische de-noising voortgang $\tau_t$ , gedefinieerd als de fractie niet-gemaskeerde tokens op stap $t$ .
Setup: Probes worden afzonderlijk getraind voor elke laag en voor verschillende token-subsets ([MASK], niet-[MASK], en alle tokens) om de lokalisatie van het signaal te testen.

2. Causale Sturing (RQ2)

Om de causale belangrijkheid van het geïdentificeerde signaal te testen, gebruiken de auteurs mean activation vector steering.

Signaalextractie: Ze berekenen gemiddelde activatievectoren $\mu_{t,l}$ voor elke de-noising stap $t$ en laag $l$ door de hidden states over verschillende voorbeelden te middelen.
Interventie: Tijdens inferentie vervangen ze de huidige laag-activatie door een geperturbeerde versie: $\tilde{h}_{t,l}^j = h_{t,l}^j - \mu_{t,l} + \mu_{\hat{t},l}$ , waarbij $\hat{t}$ een doel-de-noising stap is. Dit verschuift de interne staat van het model naar de representatie van een ander voortgangsniveau.
Controle: Ze vergelijken deze gerichte perturbaties met willekeurige perturbaties gesampled uit de empirische covariantie-matrix met overeenkomstige normen.
Metrieken: Ze meten de downstream effecten op entropie, betrouwbaarheid (maximaal waarschijnlijkheid) en KL-divergentie tussen de originele en de gestuurde token-distributies.

3. Geometrische Karakterisering (RQ3)

De auteurs analyseren de structuur van het herstelde signaal:

Dimensionaliteit: Ze voeren een Principale Component Analyse (PCA) uit op de gemiddelde vectoren om de effectieve dimensionaliteit van de $\tau$ -representatie te bepalen.
Cross-Layer Alignment: Ze berekenen de cosinus-similariteit tussen de gemiddelde vectoren van dezelfde de-noising stap over verschillende lagen om te beoordelen of er een uniforme, model-brede representatie bestaat.
Intra-Layer Componenten: Ze onderzoeken hoe het signaal binnen specifieke laag-componenten (Self-Attention, MLP gate, MLP up-projection, etc.) wordt gerepresenteerd.

Belangrijkste Resultaten

1. Bestaan van een Latent De-noising Signaal

Probe Nauwkeurigheid: MLP-probes kunnen $\tau_t$ betrouwbaar voorspellen vanuit de residual stream activaties over alle lagen, waarbij ze een $R^2 > 0,5$ bereiken in de meeste lagen. Het signaal is aanwezig in zowel [MASK] als niet-[MASK] tokens, hoewel het iets sterker is in [MASK] tokens.
Conclusie: DLM's coderen intern een signaal dat gerelateerd is aan de huidige de-noising stap, zelfs zonder expliciete tijdstap-conditionering.

2. Causale Impact op Generatie

Voorspelbare Modulatie: Het sturen van het model naar een hogere $\hat{t}$ (meer voortgang) verhoogt de betrouwbaarheid van het model en verlaagt de entropie. Omgekeerd verlaagt het sturen naar een lagere $\hat{t}$ de betrouwbaarheid en verhoogt het de entropie.
KL-Divergentie: De divergentie tussen de schone en de gestuurde distributies neemt toe met de afstand $|\hat{t} - t|$ , maar deze relatie is niet lineair.
Specificiteit: Deze effecten zijn specifiek voor de $\tau$ -richting; willekeurige perturbaties van dezelfde grootte produceren geen coherente trends in entropie of betrouwbaarheid.
Dieptecorrectie: Wanneer perturbaties in vroege lagen worden geïnjecteerd, compenseert het model deze progressief naarmate de berekening door diepere lagen vordert, waardoor het signaal wordt hersteld naar zijn schone waarde. Echter, extreme sturing (bijv. $\hat{t}=100$ ) is moeilijker te corrigeren en kan leiden tot generatie-instorting (voortijdige EOS-tokens).

3. Gestructureerde Laag-Dimensionele Geometrie

Lage Dimensionaliteit: De variantie van de gemiddelde vectoren wordt gevangen door een zeer klein aantal hoofdcomponenten (vaak $<3$ ), waarbij de eerste component meer dan 90% van de variantie verklaart.
Manifold Structuur: Het traject van de gemiddelde vectoren over de de-noising stappen vormt een gestructureerde, laag-dimensionale manifold die lijkt op een parabool. Deze geometrie is consistent over de lagen in LLaDA en georganiseerd in specifieke blokken in Dream.
Cross-Layer Consistentie: In LLaDA behouden de meeste lagen een hoog gecorreleerde representatie van dezelfde $\tau$ -stap, wat suggereert dat er een gedeelde model-brede basis bestaat. In Dream is de representatie georganiseerd in duidelijke computationele blokken.
Component Anti-correlatie: Binnen een laag vertonen de self-attention output en de MLP output (specifiek de post-MLP en post-attention vectoren) een sterke anti-correlatie. Ze delen een gemeenschappelijke richting maar wijzen in tegengestelde richtingen, wat suggereert dat er een mechanisme is waarbij het model het signaal kan "annuleren" of verfijnen tijdens de verwerking.

Betekenis en Claims

Het artikel beweert de eerste systematische bewijsvoering te leveren dat Diffusion Language Models intern een latente "klok" modelleren die de de-noising voortgang representeert, ondanks het ontbreken van expliciete tijdstap-inputs.

Mechanistisch Inzicht: Het werk onthult dat de fractie niet-gemaskeerde tokens niet alleen een externe metriek is, maar ook actief wordt bijgehouden en gerepresenteerd binnen de residual stream van het model.
Controleerbaarheid: Het geïdentificeerde signaal is causaal relevant; het sturen ervan maakt een voorspelbare modulatie van de betrouwbaarheid en entropie van het model mogelijk, wat aantoont dat de "opvatting" van het model over voortgang een manipuleerbare subspace is.
Structurele Regelmaat: De ontdekking van een laag-dimensionale, parabolische manifold die gedeeld wordt over de lagen suggereert dat DLM's de de-noising tijd op een zeer gestructureerde, geometrische wijze verwerken, verschillend van de lineaire representaties die vaak in autoregressieve modellen voor andere concepten worden gevonden.
Correctiemechanisme: De observatie dat vroege perturbaties worden gecorrigeerd door diepere lagen impliceert een robuust intern mechanisme om de integriteit van het de-noising traject te handhaven.

De auteurs concluderen dat hoewel het signaal functioneel relevant en structureel georganiseerd is, de specifieke circuitry die deze representatie berekent of bijwerkt een openstaande vraag blijft voor toekomstig onderzoek. Ze waarschuwen dat het signaal verstrengeld is met token-distributies (bijv. het beïnvloeden van de EOS-waarschijnlijkheid) in plaats van een puur inhouds-agnostische teller te zijn.