🤖 AI

Subliminal Clocks: Latent Time Modelling in Diffusion Language Models

Este artículo demuestra que los Modelos de Lenguaje de Difusión, a pesar de carecer de un condicionamiento explícito por paso de tiempo, codifican internamente una representación latente decodificable del progreso de la eliminación de ruido dentro de sus flujos residuales, la cual puede ser manipulada para controlar sistemáticamente la confianza y la entropía del modelo. En este contexto, la variable de activación $h$ utiliza índices donde $n$ representa el paso de tiempo de la difusión y $t$ denota la posición temporal dentro de la secuencia de entrada; sin embargo, la divergencia KL no escala linealmente con la distancia de $\hat{t}-t$ .

Autores originales: Maximo Rulli (Sapienza University of Rome), Thomas Fontanari (Sapienza University of Rome), Simone Petruzzi (Sapienza University of Rome), Federico Alvetreti (Sapienza University of Rome), Giorgio Str

Publicado 2026-07-03

📖 6 min de lectura🧠 Análisis profundo

CC0 1.0

Autores originales: Maximo Rulli (Sapienza University of Rome), Thomas Fontanari (Sapienza University of Rome), Simone Petruzzi (Sapienza University of Rome), Federico Alvetreti (Sapienza University of Rome), Giorgio Strano (Sapienza University of Rome), Donato Crisostomi (Sapienza University of Rome), Giorgos Nikolaou (EPFL), Tommaso Mencattini (EPFL), Andrea Santilli (Independent researcher), Emanuele Rodolà (Sapienza University of Rome), Simone Scardapane (Sapienza University of Rome), Alessio Devoto (Independent researcher)

Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un Modelo de Lenguaje de Difusión (DLM) como un maestro escultor trabajando en una habitación oscura. A diferencia de un escritor tradicional que construye una historia palabra por palabra de izquierda a derecha, este escultor comienza con un bloque de piedra completamente cubierto de arcilla (representado por tokens [MASK]). Su trabajo es ir quitando la arcilla, revelando las palabras ocultas debajo, capa por capa, hasta que la estatua final sea revelada.

El gran misterio que este artículo resuelve es: ¿Sabe el escultor cuánta arcilla queda?

En los modelos de escritura tradicionales, la computadora sabe exactamente cuántas palabras ha escrito. Pero en estos modelos de "escultura", el artículo pregunta si el modelo tiene un "reloj" interno o un sentido del progreso, a pesar de que no se le enseñó explícitamente a contar.

Aquí está lo que los investigadores descubrieron, explicado de forma sencilla:

1. El "Reloj Subliminal"

Los investigadores descubrieron que, aunque no se le dice al modelo "estás al 50%", este lleva la cuenta de su propio progreso en secreto. Es como un escultor que no tiene un reloj pero puede sentir el peso de la piedra en sus manos e instintivamente saber: "Estoy a la mitad".

Encontraron una señal oculta dentro del cerebro del modelo (específicamente en sus "flujos residuales", que son como las vías de pensamiento internas del modelo). Esta señal actúa como un reloj latente. Le dice al modelo exactamente cuánta "arcilla" (los tokens enmascarados) se ha quitado y cuánta queda.

Para entender cómo funciona esto técnicamente, los investigadores analizaron las activaciones internas del modelo, denotadas como $h$ . Es crucial aclarar qué significan los índices de esta variable para evitar confusiones:

$n$ representa la posición específica de una palabra (token) dentro de la secuencia de texto que el modelo está procesando.
$t$ representa el paso de tiempo o la etapa actual del proceso de difusión (es decir, cuánta "arcilla" o ruido ha sido eliminada hasta ese momento).

Al observar cómo cambia $h$ a medida que varía $t$ , los investigadores pudieron rastrear el progreso temporal del modelo independientemente de la posición de la palabra $n$ .

2. Leer la mente (Sondeo)

Para demostrar que este reloj existe, los investigadores construyeron un "decodificador" simple (una sonda). Observaron los pensamientos internos del modelo en diferentes etapas del proceso.

El Resultado: El decodificador podía leer con precisión el reloj interno del modelo. Podía decir, simplemente mirando la activación del modelo, si este se encontraba al puro principio (mucha arcilla), en el medio, o al puro final (casi nada de arcilla queda).
La Analogía: Es como ser capaz de mirar la postura de una persona y saber instantáneamente si acaba de empezar un maratón o si está a punto de cruzar la línea de meta, incluso si no ha dicho una sola palabra.

3. Hackear el reloj (Direccionamiento)

La parte más emocionante es que los investigadores no solo leyeron el reloj; ellos lo recablearon. Encontraron una dirección específica en el cerebro del modelo que corresponde al "tiempo" o al "progreso".

El Experimento: Empujaron artificialmente el reloj interno del modelo hacia adelante o hacia atrás.
- Empujar hacia adelante: Le dijeron al modelo: "¡Ya casi terminas!" (aunque no fuera así). El modelo inmediatamente se volvió más seguro, habló con menos vacilación (menor entropía) y actuó como si estuviera listo para terminar.
- Empujar hacia atrás: Le dijeron al modelo: "¡Apenas estás empezando!" (aunque estuviera cerca del final). El modelo se volvió confundido, menos seguro y empezó a dudar de sus propias elecciones.
La Conclusión: Esto demuestra que el reloj no es solo una observación pasiva; es un mecanismo de control. Si cambias el sentido del tiempo del modelo, cambias cómo se comporta. Cabe destacar que la divergencia KL (una medida de la diferencia entre distribuciones) no escala linealmente con la distancia entre el tiempo manipulado ( $\hat{t}$ ) y el tiempo real ( $t$ ), lo que indica una relación más compleja en cómo el modelo procesa estas discrepancias temporales.

4. La forma del tiempo

Los investigadores también observaron la geometría de este "reloj". Descubrieron que el modelo no representa el tiempo como una nube desordenada y caótica. En cambio, organiza el tiempo en una curva muy limpia y suave (como una parábola).

La Analogía: Imagina la comprensión del tiempo del modelo como la vía de una montaña rusa. A medida que el proceso de eliminación de ruido avanza, el estado interno del modelo se desliza suavemente a lo largo de esta vía. Los investigadores descubrieron que casi toda la información sobre "qué tan avanzado estamos" cabe en esta única vía de baja dimensión.

5. El mecanismo de autocorrección

Uno de los hallazgos más geniales es que el modelo es lo suficientemente inteligente como para corregir errores.

Si los investigadores manipularon el reloj en las capas iniciales del modelo (el "principio" del proceso de pensamiento), el modelo a menudo se "corregía" a sí mismo a medida que la información pasaba por las capas más profundas. Se daba cuenta de: "Espera, me dijeron que estoy en la línea de meta, pero en realidad todavía estoy en la mitad", y ajustaba su estado interno de vuelta a la verdad.
Sin embargo, si manipularon el reloj en las capas finales, el modelo no podía corregirlo y el comportamiento cambiaba permanentemente.

Resumen

Este artículo revela que los Modelos de Lenguaje de Difusión tienen un sentido interno oculto de "cuánto trabajo queda por hacer".

Tienen un reloj: Codifican su progreso en sus estados mentales internos.
Podemos leerlo: Podemos medir este progreso con precisión.
Podemos controlarlo: Al ajustar este reloj interno, podemos hacer que el modelo sea más o menos seguro de sí mismo.
Está estructurado: Este "tiempo" se organiza en una forma geométrica limpia y predecible dentro del cerebro del modelo.

Esencialmente, el modelo es como una persona que camina a través de un túnel y sabe exactamente qué tan lejos está de la luz, incluso si nadie le ha dicho la distancia. Los investigadores encontraron la parte del cerebro que contiene ese conocimiento y demostraron que podían girar la perilla para cambiar cómo la persona se siente respecto al viaje.

Resumen Técnico: Relojes Subliminales: Modelado de Tiempo Latente en Modelos de Lenguaje de Difusión

Declaración del Problema

Los Modelos de Lenguaje de Difusión (DLM, por sus siglas en inglés) han surgido como una alternativa prometedora a los modelos autorregresivos, generando texto mediante el denoise (eliminación de ruido) progresivo de tokens enmascarados en lugar de predecirlos secuencialmente. A diferencia de los modelos de difusión estándar que están explícitamente condicionados por una variable de paso de tiempo $t$ , los DLM típicamente no reciben una entrada de paso de tiempo explícita durante la inferencia. Esto plantea una pregunta fundamental sobre su mecánica interna: ¿Representan los DLM internamente el progreso del proceso de denoise, y si es así, cómo se codifica y utiliza esta información?

Si bien la fracción de tokens no enmascarados ( $\tau_t$ ) sirve como un proxy observable del progreso del denoise, sigue sin estar claro si las representaciones internas del modelo (flujos residuales) codifican una señal latente correspondiente a este progreso, y si la manipulación de esta señal afecta causalmente la generación.

Metodología

Los autores investigan este fenómeno utilizando dos modelos de difusión enmascarada a gran escala: LLaDA-1.5 y Dream. Su enfoque se estructura en torno a tres preguntas de investigación (RQ) abordadas mediante sondeo (probing), control causal (causal steering) y análisis geométrico.

1. Sondeo para el Tiempo Latente (RQ1)

Para determinar si el progreso del denoise está codificado, los autores entrenan sondas MLP en los estados ocultos del flujo residual de los modelos.

Entrada: Estados ocultos $h_{t,l,n}^j$ de capas $l$ específicas y posiciones de token $j$ . Aquí, el índice $t$ representa el paso de denoise actual en la secuencia de inferencia, y $n$ denota la muestra individual dentro del lote de entrenamiento o evaluación.
Objetivo: El progreso de denoise empírico $\tau_t$ , definido como la fracción de tokens no enmascarados en el paso $t$ .
Configuración: Las sondas se entrenan por separado para cada capa y para diferentes subconjuntos de tokens ([MASK], no-[MASK] y todos los tokens) para probar la localización de la señal.

2. Control Causal (RQ2)

Para probar la importancia causal de la señal identificada, los autores emplean el control mediante vector de activación media.

Extracción de la señal: Computan vectores de activación media $\mu_{t,l}$ para cada paso de denoise $t$ y capa $l$ , promediando los estados ocultos a través de los ejemplos.
Intervención: Durante la inferencia, reemplazan la activación de la capa actual con una versión perturbada: $\tilde{h}_{t,l}^j = h_{t,l}^j - \mu_{t,l} + \mu_{\hat{t},l}$ , donde $\hat{t}$ es un paso de denoise objetivo. Esto desplaza el estado interno del modelo hacia la representación de un nivel de progreso diferente.
Control: Comparan estas perturbaciones dirigidas contra perturbaciones aleatorias muestreadas de la matriz de covarianza empírica con normas coincidentes.
Métricas: Miden los efectos descendentes en la entropía, la confianza (probabilidad máxima) y la divergencia KL entre las distribuciones de tokens originales y las controladas.

3. Caracterización Geométrica (RQ3)

Los autores analizan la estructura de la señal recuperada:

Dimensionalidad: Realizan un Análisis de Componentes Principales (PCA) sobre los vectores medios para determinar la dimensionalidad efectiva de la representación de $\tau$ .
Alineación entre Capas: Computan las similitudes de coseno entre los vectores medios del mismo paso de denoise en diferentes capas para evaluar si existe una representación unificada a nivel de modelo.
Componentes Intra-capa: Examinan cómo se representa la señal dentro de componentes específicos de la capa (Auto-Atención, puerta MLP, up-proyección de MLP, etc.).

Resultados Clave

1. Existencia de una Señal de Denoise Latente

Precisión de la Sonda: Las sondas MLP pueden predecir de forma fiable $\tau_t$ a partir de las activaciones del flujo residual en todas las capas, logrando un $R^2 > 0.5$ en la mayoría de las capas. La señal está presente tanto en los tokens [MASK] como en los no-[MASK], aunque es ligeramente más fuerte en los tokens [MASK].
Conclusión: Los DLM codifican internamente una señal relacionada con el paso de denoise actual, incluso sin una entrada de paso de tiempo explícita.

2. Impacto Causal en la Generación

Modulación Predictible: Dirigir el modelo hacia un $\hat{t}$ más alto (más progreso) aumenta la confianza del modelo y disminuye la entropía. Por el contrario, dirigirlo hacia un $\hat{t}$ más bajo disminuye la confianza y aumenta la entropía.
Divergencia KL: La divergencia entre las distribuciones limpias y las controladas aumenta a medida que crece la distancia $|\hat{t} - t|$ , reflejando un mayor desvío de la trayectoria de generación original, pero no sigue una relación estrictamente lineal.
Especificidad: Estos efectos son específicos de la dirección $\tau$ ; las perturbaciones aleatorias de la misma magnitud no producen tendencias coherentes en la entropía o la confianza.
Corrección de Profundidad: Cuando las perturbaciones se inyectan en las capas tempranas, el modelo compensa progresivamente estas perturbaciones a medida que el cómputo avanza a través de las capas más profundas, restaurando la señal a su valor limpio. Sin embargo, el control extremo (por ejemplo, $\hat{t}=100$ ) es difícil de corregir y puede llevar al colapso de la generación (tokens EOS prematuros).

3. Geometría de Baja Dimensión Estructurada

Baja Dimensionalidad: La varianza de los vectores medios es capturada por un número muy pequeño de componentes principales (a menudo $<3$ ), donde el primer componente explica más del 90% de la varianza.
Estructura de Manifold: La trayectoria de los vectores medios a través de los pasos de denoise forma un manifold estructurado y de baja dimensión con forma de parábola. Esta geometría es consistente entre las capas en LLaDA y está organizada en bloques específicos en Dream.
Consistencia entre Capas: En LLaDA, la mayoría de las capas mantienen una representación altamente correlacionada del mismo paso de $\tau$ , lo que sugiere una base compartida a nivel de modelo. En Dream, la representación está organizada en distintos bloques computacionales.
Anticorrelación de Componentes: Dentro de una capa, la salida de la auto-atención y la salida de la MLP (específicamente los vectores post-MLP y post-atención) exhiben una fuerte anticorrelación. Comparten una dirección común pero apuntan en direcciones opuestas, lo que sugiere un mecanismo donde el modelo puede "cancelar" o refinar la señal durante el procesamiento.

Significado y Reivindicaciones

El artículo afirma proporcionar la primera evidencia sistemática de que los Modelos de Lenguaje de Difusión modelan internamente un "reloj" latente que representa el progreso del denoise, a pesar de carecer de entradas de paso de tiempo explícitas.

Perspectiva Mecanicista: El trabajo revela que la fracción de tokens no enmascarados no es solo una métrica externa, sino que es rastreada y representada activamente dentro del flujo residual del modelo.
Controlabilidad: La señal identificada es causalmente relevante; el control de la misma permite la modulación predecible de la confianza y la entropía del modelo, demostrando que la "noción" de progreso del modelo es un subespacio manipulable.
Regularidad Estructural: El descubrimiento de un manifold parabólico de baja dimensión compartido entre las capas sugiere que los DLM procesan el tiempo de denoise de una manera altamente estructurada y geométrica, distinta de las representaciones lineales que suelen encontrarse en los modelos autorregresivos para otros conceptos.
Mecanismo de Corrección: La observación de que las perturbaciones tempranas son corregidas por las capas más profundas implica un mecanismo interno robusto para mantener la integridad de la trayectoria de denoise.

Los autores concluyen que, si bien la señal es funcionalmente relevante y estructuralmente organizada, la circuitería específica que computa o actualiza esta representación sigue siendo una pregunta abierta para trabajos futuros. Advierten que la señal está entrelazada con las distribuciones de tokens (por ejemplo, influyendo en la probabilidad de EOS) en lugar de ser un contador puramente agnóstico al contenido.