🤖 AI

Subliminal Clocks: Latent Time Modelling in Diffusion Language Models

Cet article démontre que les modèles de langage de diffusion, malgré l'absence de conditionnement explicite par pas de temps, encodent de manière interne une représentation latente décodable du progrès de débruitage au sein de leurs flux résiduels, laquelle peut être manipulée pour contrôler systématiquement la confiance et l'entropie du modèle. Dans ce contexte, les activations sont notées $h_{n,t}$ , où $n$ désigne l'indice de la couche du réseau et $t$ représente l'indice du pas de temps de débruitage. La divergence KL ne varie pas linéairement avec la distance entre $\hat{t}$ et $t$ .

Auteurs originaux : Maximo Rulli (Sapienza University of Rome), Thomas Fontanari (Sapienza University of Rome), Simone Petruzzi (Sapienza University of Rome), Federico Alvetreti (Sapienza University of Rome), Giorgio Str

Publié 2026-07-03

📖 6 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Maximo Rulli (Sapienza University of Rome), Thomas Fontanari (Sapienza University of Rome), Simone Petruzzi (Sapienza University of Rome), Federico Alvetreti (Sapienza University of Rome), Giorgio Strano (Sapienza University of Rome), Donato Crisostomi (Sapienza University of Rome), Giorgos Nikolaou (EPFL), Tommaso Mencattini (EPFL), Andrea Santilli (Independent researcher), Emanuele Rodolà (Sapienza University of Rome), Simone Scardapane (Sapienza University of Rome), Alessio Devoto (Independent researcher)

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Modèle de Langage de Diffusion (MLD) comme un maître sculpteur travaillant dans une pièce obscure. Contrairement à un écrivain traditionnel qui construit une histoire mot après mot, de gauche à droite, ce sculpteur commence avec un bloc de pierre entièrement recouvert d'argile (représenté par des jetons [MASK]). Son travail consiste à enlever l'argile par couches successives, révélant les mots cachés en dessous, une couche à la fois, jusqu'à ce que la statue finale soit révélée.

Le grand mystère que ce papier résout est le suivant : Le sculpteur sait-il quelle quantité d'argile il reste ?

Dans les modèles d'écriture traditionnels, l'ordinateur sait exactement combien de mots il a écrits. Mais dans ces modèles de « sculpture », le papier demande si le modèle possède une « horloge » interne ou un sens du progrès, même s'il ne lui a pas explicitement appris à compter.

Voici ce que les chercheurs ont découvert, expliqué simplement :

1. L'« Horloge Subliminale »

Les chercheurs ont découvert que, même si on ne dit pas au modèle « Tu en es à 50 % », celui-ci garde secrètement la trace de son propre progrès. C'est comme un sculpteur qui n'a pas de montre mais qui peut sentir le poids de la pierre dans ses mains et savoir instinctivement : « Je suis à la moitié ».

Ils ont trouvé un signal caché dans le cerveau du modèle (plus précisément dans ses « flux résiduels », qui sont comme les voies de pensée internes du modèle). Ce signal agit comme une horloge latente. Il indique au modèle exactement quelle quantité d'« argile » (les jetons masqués) a été retirée et combien il en reste.

2. Lire l'esprit (Sondage)

Pour prouver que cette horloge existe, les chercheurs ont construit un « décodeur » simple (une sonde). Ils ont observé les pensées internes du modèle à différentes étapes du processus.

Le résultat : Le décodeur pouvait lire avec précision l'horloge interne du modèle. Il pouvait dire, simplement en regardant l'activation du modèle, si celui-ci était au tout début (beaucoup d'argile), au milieu, ou à la toute fin (presque plus d'argile).
L'analogie : C'est comme être capable de lire la posture d'une personne et de savoir instantanément si elle vient de commencer un marathon ou si elle est sur le point de franchir la ligne d'arrivée, même si elle n'a pas prononcé un mot.

3. Pirater l'horloge (Pilotage)

La partie la plus excitante est que les chercheurs n'ont pas seulement lu l'horloge ; ils l'ont recâblée. Ils ont trouvé une direction spécifique dans le cerveau du modèle qui correspond au « temps » ou au « progrès ».

L'expérience : Ils ont artificiellement poussé l'horloge interne du modèle vers l'avant ou vers l'arrière.
- Pousser vers l'avant : Ils ont dit au modèle : « Tu as presque fini ! » (même si ce n'était pas le cas). Le modèle est immédiatement devenu plus confiant, a parlé avec moins d'hésitation (entropie plus faible) et a agi comme s'il était prêt à terminer.
- Pousser vers l'arrière : Ils ont dit au modèle : « Tu viens de commencer ! » (même s'il était proche de la fin). Le modèle est devenu confus, moins confiant, et a commencé à remettre en question ses propres choix.
La conclusion : Cela prouve que l'horloge n'est pas seulement une observation passive ; c'est un mécanisme de contrôle. Si vous changez le sens du temps du modèle, vous changez son comportement. Notez que l'impact de cette manipulation sur la distribution de sortie (mesuré par la divergence KL) ne suit pas une progression linéaire simple par rapport à l'écart entre le temps perçu et le temps réel ; la relation est plus complexe et non linéaire.

4. La Forme du Temps

Les chercheurs ont également examiné la géométrie de cette « horloge ». Ils ont découvert que le modèle ne représente pas le temps comme un nuage désordonné et chaotique. Au lieu de cela, il organise le temps en une courbe très nette et lisse (comme une parabole).

L'analogie : Imaginez la compréhension du temps par le modèle comme la piste d'une montagne russe. À mesure que le processus de débruitage progresse, l'état interne du modèle glisse de manière fluide le long de cette piste. Les chercheurs ont découvert que presque toute l'information sur « à quel point nous en sommes » tient sur cette seule piste de faible dimension.

5. Le Mécanisme d'Autocorrection

L'une des découvertes les plus fascinantes est que le modèle est assez intelligent pour corriger ses erreurs.

Si les chercheurs manipulaient l'horloge dans les premières couches du modèle (le « début » du processus de pensée), le modèle « se corrigeait » souvent au fur et à mesure que l'information passait à travers les couches plus profondes. Il réalisait : « Attends, on m'a dit que je suis à la ligne d'arrivée, mais je suis en fait encore au milieu », et il ajustait son état interne pour revenir à la vérité.
Cependant, s'ils manipulaient l'horloge dans les toutes dernières couches, le modèle ne pouvait pas se corriger, et le comportement changeait de façon permanente.

Clarification technique sur les activations

Pour comprendre comment cette horloge est mesurée, il est utile de regarder la variable d'activation interne, notée $h$ . Cette variable possède deux indices clés qui définissent le contexte de la pensée du modèle :

$n$ (l'indice de position) : Il représente la position spécifique d'un jeton (mot ou partie de mot) dans la séquence générée. Par exemple, le 5ème mot de la phrase.
$t$ (l'indice de temps ou d'étape) : Il représente l'étape actuelle du processus de débruitage (la « sculpture »). Il indique à quel moment du processus de génération le modèle se trouve, allant du début (beaucoup de bruit/masques) à la fin (texte clair).

Ainsi, l'activation $h_{n,t}$ capture l'état de pensée du modèle concernant le mot à la position $n$ , à l'étape de progression $t$ . C'est en analysant ces activations à travers différentes valeurs de $t$ que les chercheurs ont pu isoler le signal de l'horloge interne.

Résumé

Ce papier révèle que les Modèles de Langage de Diffusion possèdent un sens interne caché de « la quantité de travail qu'il reste à accomplir ».

Ils ont une horloge : Ils encodent leur progression dans leurs états cérébraux internes.
Nous pouvons la lire : Nous pouvons mesurer ce progrès avec précision.
Nous pouvons la contrôler : En ajustant cette horloge interne, nous pouvons rendre le modèle plus ou moins confiant.
C'est structuré : Ce « temps » est organisé selon une forme géométrique nette et prévisible dans le cerveau du modèle.

Essentiellement, le modèle est comme une personne marchant dans un tunnel qui sait exactement à quelle distance elle se trouve de la lumière, même si personne ne lui a indiqué la distance. Les chercheurs ont trouvé la partie du cerveau qui détient cette connaissance et ont montré qu'ils pouvaient tourner le cadran pour changer la façon dont la personne ressent son voyage.

Résumé technique : Horloges subliminales : Modélisation du temps latent dans les modèles de langage de diffusion

Énoncé du problème

Les modèles de langage de diffusion (DLM) sont apparus comme une alternative prometteuse aux modèles autorégressifs, générant du texte en débruitant progressivement des jetons masqués plutôt qu'en les prédisant séquentiellement. Contrairement aux modèles de diffusion standards qui sont explicitement conditionnés sur une variable de pas de temps $t$ , les DLM ne reçoivent généralement pas d'entrée explicite de pas de temps lors de l'inférence. Cela soulève une question fondamentale concernant leurs mécanismes internes : les DLM représentent-ils en interne la progression du processus de débruitage et, si oui, comment cette information est-elle encodée et utilisée ?

Bien que la fraction de jetons non masqués ( $\tau_t$ ) serve de proxy observable de la progression du débruitage, il reste incertain si les représentations internes du modèle (flux résiduels) encodent un signal latent correspondant à cette progression, et si la manipulation de ce signal affecte causalement la génération.

Méthodologie

Les auteurs étudient ce phénomène en utilisant deux modèles de diffusion masqués à grande échelle : LLaDA-1.5 et Dream. Leur approche est structurée autour de trois questions de recherche (RQ) abordées par sondage, pilotage causal et analyse géométrique.

1. Sondage pour le temps latent (RQ1)

Pour déterminer si la progression du débruitage est encodée, les auteurs entraînent des sondes MLP sur les états cachés du flux résiduel des modèles.

Entrée : États cachés $h_{t,l,n}^j$ provenant de couches $l$ spécifiques et de positions de jetons $j$ . Ici, $t$ désigne l'étape de débruitage (le pas de temps dans le processus de diffusion) et $n$ représente l'indice de l'échantillon dans le lot d'entraînement ou d'inférence.
Cible : La progression empirique du débruitage $\tau_t$ , définie comme la fraction de jetons non masqués à l'étape $t$ .
Configuration : Les sondes sont entraînées séparément pour chaque couche et pour différents sous-ensembles de jetons ([MASK], non-[MASK] et tous les jetons) afin de tester la localisation du signal.

2. Pilotage causal (RQ2)

Pour tester l'importance causale du signal identifié, les auteurs emploient le pilotage par vecteur d'activation moyenne.

Extraction du signal : Ils calculent les vecteurs d'activation moyenne $\mu_{t,l}$ pour chaque étape de débruitage $t$ et couche $l$ en faisant la moyenne des états cachés sur les exemples.
Intervention : Lors de l'inférence, ils remplacent l'activation de la couche actuelle par une version perturbée : $\tilde{h}_{t,l}^j = h_{t,l}^j - \mu_{t,l} + \mu_{\hat{t},l}$ , où $\hat{t}$ est un pas de débruitage cible. Cela déplace l'état interne du modèle vers la représentation d'un niveau de progression différent.
Contrôle : Ils comparent ces perturbations ciblées à des perturbations aléatoires échantillonnées à partir de la matrice de covariance empirique avec des normes identiques.
Métriques : Ils mesurent les effets en aval sur l'entropie, la confiance (probabilité maximale) et la divergence KL entre les distributions de jetons originales et pilotées.

3. Caractérisation géométrique (RQ3)

Les auteurs analysent la structure du signal récupéré :

Dimensionnalité : Ils effectuent une analyse en composantes principales (PCA) sur les vecteurs moyens pour déterminer la dimensionnalité effective de la représentation de $\tau$ .
Alignement inter-couches : Ils calculent les similitudes cosinus entre les vecteurs moyens du même pas de débruitage à travers différentes couches pour évaluer s'il existe une représentation unifiée au niveau du modèle.
Composantes intra-couches : Ils examinent comment le signal est représenté dans des composants spécifiques de la couche (Auto-attention, porte MLP, up-projection MLP, etc.).

Résultats clés

1. Existence d'un signal de débruitage latent

Précision des sondes : Les sondes MLP peuvent prédire de manière fiable $\tau_t$ à partir des activations du flux résiduel à travers toutes les couches, atteignant un $R^2 > 0,5$ dans la plupart des couches. Le signal est présent à la fois dans les jetons [MASK] et non-[MASK], bien qu'un peu plus fort dans les jetons [MASK].
Conclusion : Les DLM encodent en interne un signal lié à l'étape de débruitage actuelle, même sans conditionnement explicite sur le pas de temps.

2. Impact causal sur la génération

Modulation prévisible : Piloter le modèle vers un $\hat{t}$ plus élevé (plus de progression) augmente la confiance du modèle et diminue l'entropie. Inversement, piloter vers un $\hat{t}$ plus faible diminue la confiance et augmente l'entropie.
Divergence KL : La divergence entre les distributions propres et pilotées augmente avec la distance $|\hat{t} - t|$ , mais cette relation n'est pas linéaire.
Spécificité : Ces effets sont spécifiques à la direction $\tau$ ; les perturbations aléatoires de même magnitude ne produisent pas de tendances cohérentes en termes d'entropie ou de confiance.
Correction de profondeur : Lorsque les perturbations sont injectées dans les couches précoces, le modèle compense progressivement ces dernières au fur et à mesure que le calcul progresse à travers les couches plus profondes, restaurant le signal à sa valeur propre. Cependant, un pilotage extrême (par exemple, $\hat{t}=100$ ) est plus difficile à corriger et peut entraîner un effondrement de la génération (jetons EOS prématurés).

3. Géométrie structurée de faible dimension

Faible dimensionnalité : La variance des vecteurs moyens est capturée par un très petit nombre de composantes principales (souvent $<3$ ), la première composante expliquant plus de 90 % de la variance.
Structure de variété (Manifold) : La trajectoire des vecteurs moyens à travers les étapes de débruitage forme une variété structurée et de faible dimension ressemblant à une parabole. Cette géométrie est cohérente à travers les couches dans LLaDA et organisée en blocs spécifiques dans Dream.
Cohérence inter-couches : Dans LLaDA, la plupart des couches maintiennent une représentation hautement corrélée du même pas $\tau$ , suggérant une base partagée au niveau du modèle. Dans Dream, la représentation est organisée en blocs de calcul distincts.
Anticorrélation des composantes : Au sein d'une couche, la sortie de l'auto-attention et la sortie du MLP (spécifiquement les vecteurs post-MLP et post-attention) présentent une forte anticorrélation. Ils partagent une direction commune mais pointent dans des directions opposées, suggérant un mécanisme où le modèle peut "annuler" ou affiner le signal pendant le traitement.

Signification et affirmations

L'article affirme fournir la première preuve systématique que les modèles de langage de diffusion modélisent en interne une "horloge" latente représentant la progression du débruitage, malgré l'absence d'entrées explicites de pas de temps.

Aperçu mécaniste : Ce travail révèle que la fraction de jetons non masqués n'est pas seulement une métrique externe mais est activement suivie et représentée au sein du flux résiduel du modèle.
Contrôlabilité : Le signal identifié est causalement pertinent ; piloter ce signal permet une modulation prévisible de la confiance et de l'entropie du modèle, démontant que la "notion" de progression du modèle est un sous-espace manipulable.
Régularité structurelle : La découverte d'une variété parabolique de faible dimension partagée à travers les couches suggère que les DLM traitent le temps de débruitage de manière très structurée et géométrique, distincte des représentations linéaires souvent trouvées dans les modèles autorégressifs pour d'autres concepts.
Mécanisme de correction : L'observation selon laquelle les perturbations précoces sont corrigées par les couches plus profondes implique un mécanisme interne robuste pour maintenir l'intégrité de la trajectoire de débruitage.

Les auteurs concluent que, bien que le signal soit fonctionnellement pertinent et structurellement organisé, le circuit spécifique qui calcule ou met à jour cette représentation reste une question ouverte pour des travaux futurs. Ils avertissent que le signal est entrelacé avec les distributions de jetons (par exemple, influençant la probabilité de l'EOS) plutôt que d'être un compteur purement agnostique au contenu.