🤖 AI

Subliminal Clocks: Latent Time Modelling in Diffusion Language Models

Diese Arbeit zeigt auf, dass Diffusions-Sprachmodelle trotz des Fehlens einer expliziten Zeitschritt-Bedingung intern eine dekodierbare latente Repräsentation des Entrauschungsfortschritts innerhalb ihrer Residualströme kodieren, welche manipuliert werden kann, um die Modellkonfidenz und Entropie systematisch zu steuern. Dabei skaliert die KL-Divergenz nicht linear mit dem Abstand von $\hat{t}-t$ . Der Index $t$ bezeichnet den aktuellen Entrauschungsschritt und $n$ die Schichtnummer im Netzwerk, um die Aktivierungskontexte eindeutig zu identifizieren.

Ursprüngliche Autoren: Maximo Rulli (Sapienza University of Rome), Thomas Fontanari (Sapienza University of Rome), Simone Petruzzi (Sapienza University of Rome), Federico Alvetreti (Sapienza University of Rome), Giorgio Str

Veröffentlicht 2026-07-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC0 1.0

Ursprüngliche Autoren: Maximo Rulli (Sapienza University of Rome), Thomas Fontanari (Sapienza University of Rome), Simone Petruzzi (Sapienza University of Rome), Federico Alvetreti (Sapienza University of Rome), Giorgio Strano (Sapienza University of Rome), Donato Crisostomi (Sapienza University of Rome), Giorgos Nikolaou (EPFL), Tommaso Mencattini (EPFL), Andrea Santilli (Independent researcher), Emanuele Rodolà (Sapienza University of Rome), Simone Scardapane (Sapienza University of Rome), Alessio Devoto (Independent researcher)

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Diffusions-Sprachmodell (DLM) wie einen Meisterskulptor vor, der in einem dunklen Raum arbeitet. Im Gegensatz zu einem traditionellen Autor, der eine Geschichte Wort für Wort von links nach rechts aufbaut, beginnt dieser Bildhauer mit einem Steinblock, der vollständig mit Ton bedeckt ist (dargestellt durch [MASK]-Token). Seine Aufgabe ist es, den Ton Schicht für Schicht abzutragen, um die darunter verborgenen Wörter freizulegen, bis die fertige Statue enthüllt wird.

Das große Rätsel, das dieses Paper löst, ist: Weiß der Bildhauer, wie viel Ton noch übrig ist?

Bei traditionellen Schreibmodellen weiß der Computer genau, wie viele Wörter er bereits geschrieben hat. Aber bei diesen „skulpturierenden“ Modellen fragt das Paper, ob das Modell eine interne „Uhr“ oder ein Gefühl für den Fortschritt besitzt, obwohl ihm das Zählen nicht explizit beigebracht wurde.

Hier ist das, was die Forscher herausgefunden haben, einfach erklärt:

1. Die „subliminale Uhr“

Die Forscher entdeckten, dass das Modell – obwohl ihm nicht gesagt wird „Du bist zu 50 % fertig“ – im Geheimen seinen eigenen Fortschritt verfolgt. Es ist wie ein Bildhauer, der keine Armbanduhr hat, aber das Gewicht des Steins in seinen Händen spüren kann und instinktiv weiß: „Ich bin auf der Hälfte.“

Sie fanden ein verborgenes Signal im Gehirn des Modells (speziell in seinen „Residual Streams“, die wie die internen Gedankenpfade des Modells funktionieren). Dieses Signal fungiert als eine latente Uhr. Sie sagt dem Modell genau, wie viel des „Tons“ (der maskierten Token) entfernt wurde und wie viel noch übrig ist. Um dies präzise zu beschreiben: Die Forscher analysierten die Aktivierungszustände des Modells, bezeichnet als $h$ . Dabei steht der Index $t$ für den aktuellen Schritt im Denoising-Prozess (also den aktuellen Zeitpunkt oder den Grad der Fertigstellung), während der Index $n$ die Position eines spezifischen Tokens innerhalb der Sequenz repräsentiert. Durch die Untersuchung von $h_{n,t}$ konnten sie nachweisen, dass der Fortschritt $t$ in den internen Repräsentationen kodiert ist, unabhängig von der konkreten Wortposition $n$ .

2. Gedankenlesen (Probing)

Um zu beweisen, dass diese Uhr existiert, bauten die Forscher einen einfachen „Decoder“ (eine Sonde). Sie untersuchten die internen Gedanken des Modells in verschiedenen Stadien des Prozesses.

Das Ergebnis: Der Decoder konnte die interne Uhr des Modells präzise ablesen. Er konnte allein durch das Betrachten der Aktivierung des Modells feststellen, ob sich das Modell ganz am Anfang (viel Ton), in der Mitte oder ganz am Ende (fast kein Ton mehr übrig) befand.
Die Analogie: Es ist, als könnte man an der Körperhaltung einer Person sofort erkennen, ob sie gerade erst einen Marathon begonnen hat oder kurz vor dem Ziel steht, selbst wenn die Person kein Wort gesagt hat.

3. Die Uhr hacken (Steering)

Der spannendste Teil ist, dass die Forscher die Uhr nicht nur gelesen, sondern sie umprogrammiert haben. Sie fanden eine spezifische Richtung im Gehirn des Modells, die mit „Zeit“ oder „Fortschritt“ korrespondiert.

Das Experiment: Sie drängten die interne Uhr des Modells künstlich vorwärts oder rückwärts.
- Vorwärtsdrängen: Sie sagten dem Modell: „Du bist fast fertig!“ (auch wenn dies nicht der Fall war). Das Modell wurde sofort selbstbewusster, sprach mit weniger Zögern (geringerer Entropie) und verhielt sich so, als wäre es bereit, abzuschließen.
- Rückwärtsdrängen: Sie sagten dem Modell: „Du fängst gerade erst an!“ (obwohl es sich eigentlich schon am Ende befand). Das Modell wurde verwirrt, unsicherer und begann, seine eigenen Entscheidungen zu hinterfragen.
Die Erkenntnis: Dies beweist, dass die Uhr nicht nur eine passive Beobachtung ist, sondern ein Kontrollmechanismus. Wenn man das Zeitgefühl des Modells verändert, ändert man auch sein Verhalten. Die Forscher stellten dabei fest, dass die Divergenz zwischen der manipulierten und der tatsächlichen Zeit (gemessen als KL-Divergenz) nicht linear mit der Distanz zwischen der manipulierten Zeit $\hat{t}$ und der tatsächlichen Zeit $t$ skaliert. Stattdessen folgt die Beziehung einem komplexeren Muster, was darauf hindeutet, dass die Sensitivität des Modells gegenüber Zeitmanipulationen je nach Stadium des Prozesses variiert.

4. Die Form der Zeit

Die Forscher untersuchten auch die Geometrie dieser „Uhr“. Sie fanden heraus, dass das Modell Zeit nicht als chaotische Wolke darstellt. Stattdessen ordnet es die Zeit in eine sehr ordentliche, glatte Kurve (wie eine Parabel) ein.

Die Analogie: Stellen Sie sich das Verständnis des Modells von Zeit wie eine Achterbahnstrecke vor. Während der Denoising-Prozess voranschreitet, gleitet der interne Zustand des Modells sanft entlang dieser Strecke. Die Forscher fanden heraus, dass fast alle Informationen darüber, „wie weit wir fortgeschritten sind“, auf diese eine, niedrigdimensionale Strecke passen.

5. Der selbstkorrigierende Mechanismus

Eine der coolsten Entdeckungen ist, dass das Modell schlau genug ist, Fehler zu korrigieren.

Wenn die Forscher die Uhr in den frühen Schichten des Modells (dem „Anfang“ des Denkprozesses) manipulierten, korrigierte sich das Modell oft selbst, während die Information durch die tieferen Schichten floss. Es realisierte: „Warte, mir wurde gesagt, ich sei am Ziel, aber ich bin eigentlich noch in der Mitte“, und passte seinen internen Zustand wieder an die Wahrheit an.
Wenn sie jedoch die Uhr in den allerletzten Schichten manipulierten, konnte das Modell dies nicht mehr korrigieren, und das Verhalten änderte sich dauerhaft.

Zusammenfassung

Dieses Paper zeigt auf, dass Diffusions-Sprachmodelle über ein verborgenes, internes Gefühl dafür verfügen, „wie viel Arbeit noch zu erledigen ist“.

Sie haben eine Uhr: Sie kodieren ihren Fortschritt (repräsentiert durch den Schritt-Index $t$ in den Aktivierungen $h_{n,t}$ ) in ihren internen Gehirnzuständen.
Wir können sie lesen: Wir können diesen Fortschritt präzise messen.
Wir können sie steuern: Indem wir diese interne Uhr manipulieren, können wir das Modell selbstbewusster oder unsicherer machen.
Sie ist strukturiert: Diese „Zeit“ ist in einer ordentlichen, vorhersehbaren geometrischen Form innerhalb des Gehirns des Modells organisiert.

Im Wesentlichen ist das Modell wie eine Person, die durch einen Tunnel geht und genau weiß, wie weit sie noch vom Licht entfernt ist, auch wenn ihr niemand die Entfernung genannt hat. Die Forscher haben den Teil des Gehirns gefunden, der dieses Wissen hält, und zeigten, dass sie den Regler drehen können, um das Gefühl der Person über die Reise zu verändern.

Technisches Resümee: Subliminale Uhren: Latente Zeitmodellierung in Diffusions-Sprachmodellen

Problemstellung

Diffusions-Sprachmodelle (Diffusion Language Models, DLMs) haben sich als vielversprechende Alternative zu autoregressiven Modellen herausgestellt, da sie Text durch progressives Entrauschen maskierter Token generieren, anstatt sie sequenziell vorherzusagen. Im Gegensatz zu Standard-Diffusionsmodellen, die explizit auf eine Zeitschrittvariable $t$ konditioniert sind, erhalten DLMs während der Inferenz typischerweise keinen expliziten Zeitschritt-Input. Dies wirft eine grundlegende Frage bezüglich ihrer internen Mechanik auf: Repräsentieren DLMs den Fortschritt des Entrauschungsprozesses intern, und wenn ja, wie werden diese Informationen kodiert und genutzt?

Obwohl der Anteil der unmaskierten Token ( $\tau_t$ ) als beobachtbarer Stellvertreter für den Entrauschungsfortschritt dient, bleibt unklar, ob die internen Repräsentationen der Modelle (Residual Streams) ein latentes Signal kodieren, das dem Fortschritt entspricht, und ob die Manipulation dieses Signals den Generierungsprozess kausal beeinflusst.

Methodik

Die Autoren untersuchen dieses Phänomen anhand zweier groß angelegter maskierter Diffusionsmodelle: LLaDA-1.5 und Dream. Ihr Ansatz ist strukturiert um drei Forschungsfragen (RQs), die durch Probing, kausales Steering und geometrische Analyse adressiert werden.

1. Probing für die latente Zeit (RQ1)

Um festzustellen, ob der Entrauschungsfortschritt kodiert wird, trainieren die Autoren MLP-Probes auf den Hidden States des Residual Streams der Modelle.

Input: Hidden States $h_{t,l,n}^j$ aus spezifischen Layern $l$ und Token-Positionen $j$ . Dabei steht der Index $t$ für den aktuellen Entrauschungsschritt (Diffusion Step) im Generierungsprozess und $n$ für die Stichprobe (Sample) innerhalb des Batches oder der Evaluationsmenge, um die Aktivierungen über verschiedene Instanzen hinweg zu unterscheiden.
Target: Der empirische Entrauschungsfortschritt $\tau_t$ , definiert als der Anteil der unmaskierten Token zum Zeitpunkt $t$ .
Setup: Die Probes werden separat für jeden Layer und für verschiedene Token-Teilmengen ([MASK], Nicht-[MASK] und alle Token) trainiert, um die Lokalisierung des Signals zu testen.

2. Kausales Steering (RQ2)

Um die kausale Bedeutung des identifizierten Signals zu testen, verwenden die Autoren Mean Activation Vector Steering.

Signalextraktion: Sie berechnen mittlere Aktivierungsvektoren $\mu_{t,l}$ für jeden Entrauschungsschritt $t$ und Layer $l$ , indem sie die Hidden States über die Beispiele hinweg mitteln.
Intervention: Während der Inferenz ersetzen sie die aktuelle Layer-Aktivierung durch eine perturbierte Version: $\tilde{h}_{t,l}^j = h_{t,l}^j - \mu_{t,l} + \mu_{\hat{t},l}$ , wobei $\hat{t}$ ein Ziel-Entrauschungsschritt ist. Dies verschiebt den internen Zustand des Modells in Richtung der Repräsentation eines anderen Fortschrittsniveaus.
Kontrolle: Sie vergleichen diese gezielten Perturbationen mit zufälligen Perturbationen, die aus der empirischen Kovarianzmatrix mit angepassten Normen gezogen wurden.
Metriken: Sie messen die nachgeschalteten Effekte auf Entropie, Konfidenz (Maximalwahrscheinlichkeit) und KL-Divergenz zwischen den ursprünglichen und den gesteuerten Token-Verteilungen.

3. Geometrische Charakterisierung (RQ3)

Die Autoren analysieren die Struktur des extrahierten Signals:

Dimensionalität: Sie führen eine Hauptkomponentenanalyse (PCA) der Mittelwertvektoren durch, um die effektive Dimensionalität der $\tau$ -Repräsentation zu bestimmen.
Cross-Layer-Alignment: Sie berechnen die Kosinus-Ähnlichkeiten zwischen den Mittelwertvektoren desselben Entrauschungsschritts über verschiedene Layer hinweg, um zu bewerten, ob eine einheitliche, modellweite Repräsentation existiert.
Intra-Layer-Komponenten: Sie untersuchen, wie das Signal innerhalb spezifischer Layer-Komponenten (Self-Attention, MLP-Gate, MLP-Up-Projektion usw.) repräsentiert wird.

Kernergebnisse

1. Existenz eines latenten Entrauschungssignals

Probe-Genauigkeit: MLP-Probes können $\tau_t$ zuverlässig aus den Residual-Stream-Aktivierungen über alle Layer hinweg vorhersagen und erreichen in den meisten Layern ein $R^2 > 0,5$ . Das Signal ist sowohl in [MASK]- als auch in Nicht-[MASK]-Tokens vorhanden, wenngleich es in [MASK]-Tokens etwas stärker ausgeprägt ist.
Schlussfolgerung: DLMs kodieren intern ein Signal, das mit dem aktuellen Entrauschungsschritt zusammenhängt, selbst ohne explizite Zeitschritt-Konditionierung.

2. Kausaler Einfluss auf die Generierung

Vorhersehbare Modulation: Das Steuern des Modells hin zu einem höheren $\hat{t}$ (mehr Fortschritt) erhöht die Konfidenz des Modells und verringert die Entropie. Umgekehrt führt das Steuern hin zu einem niedrigeren $\hat{t}$ zu einer geringeren Konfidenz und einer höheren Entropie.
KL-Divergenz: Die Divergenz zwischen den sauberen und den gesteuerten Verteilungen nimmt mit dem Abstand $|\hat{t} - t|$ zu, folgt jedoch keinem linearen Verlauf. Stattdessen zeigt die Beziehung eine nicht-lineare Dynamik, die von der spezifischen Position im Entrauschungsprozess abhängt.
Spezifität: Diese Effekte sind spezifisch für die $\tau$ -Richtung; zufällige Perturbationen derselben Magnitude erzeugen keine kohärenten Trends in Entropie oder Konfidenz.
Tiefenkorrektur: Wenn Perturbationen in frühen Layern injiziert werden, kompensiert das Modell diese progressiv im Verlauf der weiteren Berechnungen durch tiefere Layer, wodurch das Signal auf seinen ursprünglichen Wert zurückgeführt wird. Extreme Steuerung (z. B. $\hat{t}=100$ ) ist jedoch schwerer zu korrigieren und kann zu einem Zusammenbruch der Generierung (vorzeitige EOS-Tokens) führen.

3. Strukturierte, niedrigdimensionale Geometrie

Niedrige Dimensionalität: Die Varianz der Mittelwertvektoren wird durch eine sehr geringe Anzahl von Hauptkomponenten erfasst (oft $<3$ ), wobei die erste Komponente über 90 % der Varianz erklärt.
Manifold-Struktur: Die Trajektorie der Mittelwertvektoren über die Entrauschungsschritte bildet eine strukturierte, niedrigdimensionale Mannigfaltigkeit (Manifold), die einer Parabel ähnelt. Diese Geometrie ist konsistent über die Layer in LLaDA und organisiert in spezifischen Blöcken in Dream.
Cross-Layer-Konsistenz: In LLaDA behalten die meisten Layer eine hochkorrelierte Repräsentation desselben $\tau$ -Schritts bei, was auf eine gemeinsame, modellweite Basis hindeutet. In Dream ist die Repräsentation in distinkten Rechenblöcken organisiert.
Komponenten-Antikorrelation: Innerhalb eines Layers weisen der Self-Attention-Output und der MLP-Output (speziell die Post-MLP- und Post-Attention-Vektoren) eine starke Antikorrelation auf. Sie teilen eine gemeinsame Richtung, zeigen aber in entgegengesetzte Wege, was auf einen Mechanismus hindeutet, bei dem das Modell das Signal während der Verarbeitung "auslöschen" oder verfeinern kann.

Bedeutung und Behauptungen

Das Paper behauptet, den ersten systematischen Beleg dafür zu liefern, dass Diffusions-Sprachmodelle intern eine latente "Uhr" modellieren, die den Entrauschungsfortschritt darstellt, obwohl sie über keinen expliziten Zeitschritt-Input verfügen.

Mechanistischer Einblick: Die Arbeit zeigt auf, dass der Anteil der unmaskierten Token nicht nur eine externe Metrik ist, sondern aktiv verfolgt und innerhalb des Residual Streams des Modells repräsentiert wird.
Kontrollierbarkeit: Das identifizierte Signal ist kausal relevant; das Steuern dieses Signals ermöglicht eine vorhersagbare Modulation der Konfidenz und Entropie des Modells, was zeigt, dass die "Vorstellung" des Modells über den Fortschritt ein manipulierbarer Subraum ist.
Strukturelle Regelmäßigkeit: Die Entdeckung einer niedrigdimensionalen, parabolischen Mannigfaltigkeit, die über die Layer hinweg geteilt wird, deutet darauf hin, dass DLMs die Entrauschungszeit auf eine hochstrukturierte, geometrische Weise verarbeiten, die sich von den linearen Repräsentationen unterscheidet, die man oft bei autoregressiven Modellen für andere Konzepte findet.
Korrekturmechanismus: Die Beobachtung, dass frühe Perturbationen durch tiefere Layer korrigiert werden, impliziert einen robusten internen Mechanismus zur Aufrechterhaltung der Integrität der Entrauschungstrajektorie.

Die Autoren kommen zu dem Schluss, dass das Signal zwar funktional relevant und strukturell organisiert ist, die spezifische Schaltung (Circuitry), die diese Repräsentation berechnet oder aktualisiert, jedoch eine offene Frage für zukünftige Arbeiten bleibt. Sie geben zu bedenken, dass das Signal mit Token-Verteilungen verflochten ist (z. B. die Wahrscheinlichkeit von EOS beeinflusst) und kein rein inhaltsagnostischer Zähler ist.