What Is the Minimum Architecture for Prolepsis? Early Irrevocable Commitment Across Tasks in Small Transformers

Resumen Técnico: Prolepsis en Transformadores Pequeños

1. El Problema y el Contexto

El artículo aborda una pregunta fundamental en la interpretabilidad mecánica de los LLMs: ¿Cuándo se compromete un transformador con una decisión y qué le impide corregirla?

• Antecedentes: Lindsey et al. (2025) descubrieron en el modelo propietario Claude 3.5 Haiku un "sitio de planificación" donde el modelo decide anticipadamente la rima de un poema antes de generar las palabras finales. Este fenómeno se detectó mediante características de Transcodificadores Cruzados (CLT), una técnica de aprendizaje de diccionarios dispersos.
• La Brecha: Dado que el hallazgo original se realizó en un modelo cerrado con herramientas propietarias, no existía verificación independiente en modelos de código abierto. Además, no estaba claro si este mecanismo de "compromiso temprano" era específico de la planificación o un patrón arquitectónico más amplio, ni qué profundidad de red era necesaria para sostenerlo.

2. Metodología

Los autores realizaron una verificación independiente y una expansión del concepto utilizando modelos de código abierto que caben en hardware de consumo (una sola GPU de 16 GB VRAM).

• Modelos y Herramientas:
  • Modelos: Gemma 2 2B (26 capas) y Llama 3.2 1B (16 capas).
  • Herramienta Principal: Transcodificadores Cruzados (CLT) de código abierto (mntss), que descomponen el flujo residual en características monosemánticas interpretables.
  • Hardware: GPU de consumidor (16 GB VRAM), demostrando que la investigación avanzada no requiere infraestructura masiva.
• Tareas Experimentales:
  1. Planificación de Rimas: El modelo debe completar una línea de poesía manteniendo una rima específica. Se utiliza un protocolo de supresión e inyección: se suprimen las características CLT del grupo de rima natural y se inyecta una característica de un grupo alternativo en diferentes posiciones de los tokens.
  2. Recuerdo de Hechos: Se utiliza el dataset CounterFact (Transluce) para probar la recuperación de conocimientos factuales (ej. cambiar "París" por "Berlín").
• Protocolo de Descubrimiento: Escaneo exhaustivo de millones de características CLT para encontrar aquellas que codifican terminaciones fonéticas (rimas) y palabras específicas, cruzando referencias con el diccionario CMU.

3. Contribuciones Clave

El paper presenta seis contribuciones principales:

1. Primera replicación independiente: Confirma el hallazgo del "sitio de planificación" de Lindsey et al. en modelos abiertos (Gemma y Llama) usando CLTs.
2. Invisibilidad de la planificación: Demuestra que la planificación es invisible para los seis métodos estándar de interpretación de flujo residual (vectores de dirección, steering, patching causal). Solo es visible mediante la descomposición de características dispersas (CLT).
3. Identificación de cabezas de enrutamiento: Descubre que la decisión planificada viaja a la salida a través de cabezas de atención específicas (ej. L21:H5 en Gemma), llenando un vacío en la comprensión de cómo se propagan las decisiones.
4. Umbral de profundidad mínima: Establece que la "búsqueda" de una solución requiere $\le$ 16 capas, pero el "compromiso" irrevocable requiere más de 16 capas.
5. Prolepsis como motivo arquitectónico: Identifica que este patrón (compromiso temprano + propagación sostenida sin corrección) no es exclusivo de la planificación, sino que también ocurre en el recuerdo de hechos, aunque a diferentes profundidades de la red.
6. Reproducibilidad total: Todos los experimentos se ejecutan en una sola GPU de consumo.

4. Resultados Principales

• Q1: ¿Se puede observar la planificación sin CLT?
  • No. Se probaron seis métodos estándar (vectores de contraste, probes de máxima activación, etc.) y todos fallaron (0% de éxito). La planificación no se codifica como una dirección en el flujo residual, sino como activaciones de características dispersas.
• Q2: ¿Se replica la localización del sitio de planificación?
  • Sí. En Gemma y Llama, al inyectar una característica de rima alternativa, la probabilidad de generar esa palabra salta drásticamente (de $\sim 10^{-8}$ a $\sim 0.45$) solo en la posición del "sitio de planificación" (el último token antes de generar la salida). La geometría del pico es idéntica a la observada en modelos propietarios.
• Q3: ¿Cómo viaja la decisión a la salida?
  • A través de cabezas de enrutamiento de atención. En Gemma, la cabeza L21:H5 domina, disociándose del plan natural y conectando el sitio de planificación con la salida. En Llama, el enrutamiento es más distribuido pero sigue el mismo principio. Este mecanismo es invisible para los gráficos de atribución tradicionales.
• Q4: ¿Cuál es la profundidad mínima?
  • Llama (16 capas): Realiza la búsqueda (las palabras de rima aparecen en capas intermedias) pero no puede comprometerse; la señal se disipa antes de la salida.
  • Gemma (26 capas): Puede comprometerse. La señal se mantiene desde las capas medias hasta la salida.
  • Conclusión: La capacidad de compromiso depende de la profundidad de capas, no del número de parámetros. Se necesitan >16 capas para sostener una decisión irrevocable.
• Q5: ¿Es específico de la planificación?
  • No. El recuerdo de hechos muestra el mismo motivo de "prolepsis": compromiso temprano y propagación sin corrección. Sin embargo, hay una separación de capas:
    • Planificación: Enrutamiento en capas medias (ej. capas 5-11 en Llama).
    • Hechos: Enrutamiento en capas tardías (ej. capas 9-15 en Llama).
    • Cero superposición: Las cabezas recurrentes para planificación y para hechos son disjuntas.

5. Definición de "Prolepsis"

El término Prolepsis (del griego: anticipación) se define como un motivo estructural en el que:

1. El transformador se compromete con una decisión en capas tempranas.
2. Cabezas de enrutamiento de atención sostienen ese compromiso a través de la red.
3. Irrevocabilidad: Ninguna capa subsiguiente corrige la decisión, incluso si es incorrecta.

6. Significado e Implicaciones

• Arquitectura vs. Entrenamiento: La prolepsis es un fenómeno arquitectónico, no un artefacto de entrenamiento específico. El "molde" es compartido, pero los sustratos (cabezas de atención y profundidad) varían según la tarea.
• Seguridad y Control: La irrevocabilidad temprana tiene implicaciones críticas para la seguridad. Si un modelo se compromete en las primeras capas, es extremadamente difícil redirigirlo en las capas posteriores, incluso con intervenciones fuertes. Esto sugiere que los mecanismos de alineación que dependen de la "deliberación" en capas profundas podrían ser ineficaces si el modelo ya tomó una decisión irrevocable antes.
• Límites de la Metodología: El estudio revela que los CLTs actuales solo desarrollan características discretas para dominios de alta frecuencia y fonológicamente distintivos (como la poesía). No se encontraron características específicas para dominios como la programación o la cocina, lo que limita la aplicabilidad de esta técnica de localización a otros tipos de planificación.

En resumen, el paper demuestra que los transformadores pequeños implementan un mecanismo de compromiso anticipado e irrevocable que depende estrictamente de la profundidad de la red y que es fundamentalmente diferente al mecanismo de recuperación de hechos, requiriendo herramientas de interpretabilidad específicas (CLT) para ser observado.