💬 NLP

A Shared Subcircuit Lets LLMs Count Down Across Tasks

Este artículo identifica un "subcircuito de cuenta regresiva" compartido en Llama-3.1-70B-Instruct que permite a los modelos de lenguaje rastrear los tokens restantes a través de diversas tareas, revelando un mecanismo generalizable para estimar el tiempo hasta la meta que se transfiere a través de diferentes modelos y contextos.

Autores originales: Jacob Dunefsky, Wes Gurnee, Emmanuel Ameisen

Publicado 2026-07-15

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jacob Dunefsky, Wes Gurnee, Emmanuel Ameisen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás jugando un juego en el que tienes que escribir una oración, pero hay una regla estricta: debe tener exactamente 10 palabras de largo, y la última palabra tiene que ser "telescope" (telescopio). Si escribes 9 palabras, pierdes. Si escribes 11, pierdes.

Durante mucho tiempo, pensamos que los Grandes Modelos de Lenguaje (LLM) —los cerebros de IA súper inteligentes detrás de los chatbots— simplemente adivinaban su camino a través de estas tareas. Pero un nuevo estudio sugiere que algo mucho más organizado está sucediendo dentro de la máquina. Los investigadores descubrieron que la IA tiene un pequeño "subcircuito de cuenta regresiva" especializado que actúa como un cronómetro integrado, contando hacia atrás las palabras restantes hasta alcanzar la línea de meta.

El cronómetro oculto

Los investigadores comenzaron instruyendo a un modelo específico, Llama-3.1-70B-Instruct, para que escribiera oraciones de una longitud fija. Querían saber cómo el modelo sabía cuándo detenerse. Al observar dentro del "cerebro" del modelo (específicamente mirando cómo procesa la información capa por capa), descubrieron un grupo específico de tres cabezales de atención (piensa en ellos como pequeños trabajadores especializados) en la capa 18 que son responsables de esta cuenta regresiva.

Estos tres trabajadores —etiquetados como L18H24, L18H28 y L18H30— no solo adivinan. En realidad, miden la distancia entre donde se encuentra la oración en este momento y donde debe terminar.

Un trabajador se activa temprano en la oración.
Otro entra en acción durante la mitad.
El tercero se activa justo al final.

Juntos, crean una señal de "cuenta regresiva" fluida que se fortalece a medida que el modelo se acerca al número de palabras objetivo. Es como tener tres relojes de alarma diferentes configurados para sonar en distintos momentos, asegurando que el modelo sepa exactamente cuánto tiempo (o en este caso, cuántas palabras) le queda.

La magia del conteo "implícito"

Aquí es donde se pone realmente genial. Podrías pensar que esta cuenta regresiva solo funciona si le dices explícitamente a la IA: "Escribe una oración de 10 palabras". Pero los investigadores descubrieron que el modelo es más inteligente que eso.

Probaron el modelo con instrucciones que no daban un número en absoluto. En su lugar, le dieron un patrón. Por ejemplo, le mostraron una lista de secuencias de ADN o códigos base64, todos exactamente de la misma longitud. Cuando se le pidió que continuara la lista, el modelo no necesitó un número; simplemente "dedujo" el patrón. Infirió la longitud objetivo a partir de los ejemplos anteriores y utilizó ese mismo subcircuito de cuenta regresiva para detenerse en el lugar correcto.

El estudio sugiere que el modelo almacena esta información de longitud "invisible" justo al final de las cadenas anteriores (como una nota oculta que dice "La siguiente debería tener esta longitud"). Cuando el modelo ve el final de una cadena, lee esa nota y comienza su cuenta regresiva para la siguiente.

Una herramienta universal a través de modelos y tareas

Los investigadores no se detuvieron ahí. Utilizaron una técnica llamada "sondeo no supervisado" para ver dónde más se escondía esta herramienta de cuenta regresiva en la naturaleza. Escanearon cantidades masivas de texto, incluyendo artículos de noticias, registros de chat y código, buscando lugares donde estos trabajadores específicos se estuvieran activando.

Encontraron el subcircuito de cuenta regresiva apareciendo en todo tipo de lugares sorprendentes:

Tweets incrustados: El modelo se dio cuenta de que estaba leyendo un tweet y contó hacia atrás hasta el límite de 280 caracteres, aunque el texto no decía "tweet".
Tablas ASCII: Al formatear una tabla, el modelo contaba los espacios para asegurarse de que cada columna tuviera el mismo ancho.
Haikus: Rastreaba el conteo de sílabas para la estructura de 5-7-5.
Hashes SHA: Sabía exactamente cuándo terminaba un código de 64 caracteres.

Esto sugiere que el modelo no solo está memorizando reglas para tareas específicas; tiene un "motor de cuenta regresiva" de propósito general que reutiliza para casi cualquier cosa que requiera rastrear una longitud.

¿Un plano compartido?

Quizás el hallazgo más fascinante es que esto no es solo una peculiaridad del modelo Llama. Los investigadores compararon la "geometría" interna (la forma de los datos) de este subcircuito de cuenta regresiva con un modelo diferente, Claude 3.5 Haiku, que fue estudiado en una tarea distinta (ajustar el texto para que quepa en una línea).

Descubrieron que ambos modelos utilizan exactamente la misma forma matemática para almacenar y procesar la información de longitud. Es como si dos fabricantes de automóviles diferentes, trabajando en fábricas distintas, hubieran decidido usar exactamente el mismo diseño de motor para sus coches. Esto sugiere que este "motivo de cuenta regresiva" podría ser un bloque de construcción fundamental que muchos modelos de IA descubren por su cuenta cuando necesitan realizar un seguimiento del tiempo o el espacio.

Lo que esto significa (y lo que no)

El artículo es cuidadoso al decir que han realizado ingeniería inversa de este comportamiento específico. Demostraron que si manipulas las señales en estos cabezales específicos, el modelo deja de contar correctamente. Han medido las señales y han observado los patrones.

Sin embargo, no afirman haber resuelto el misterio de cómo piensa la IA en general. Simplemente están mostrando que, para el trabajo específico de "saber cuándo detenerse", la IA utiliza una herramienta muy específica, reutilizable y sorprendentemente universal. Es una pieza pequeña pero poderosa del rompecabezas, que muestra que incluso en el mundo complejo y caótico de la IA, existen subrutinas organizadas y ordenadas que ayudan a la máquina a dar sentido al mundo.

Así que, la próxima vez que veas a una IA escribir un haiku perfecto o formatear una tabla sin que se le diga exactamente cuántos espacios usar, recuerda: en algún lugar profundo, tres pequeños trabajadores en la capa 18 están contando silenciosamente el tiempo, asegurándose de que todo termine de la manera correcta.

Resumen Técnico: Un subcircuito compartido permite que los LLM realicen la cuenta regresiva a través de diversas tareas

Declaración del Problema

Los modelos de lenguaje de gran tamaño (LLM) realizan con frecuencia tareas que requieren el seguimiento de conteos de tokens en relación con un objetivo específico, como escribir una oración de una longitud determinada, formatear tablas ASCII o finalizar secuencias de ADN en el codón correcto. Aunque los LLM demuestran competencia en estas tareas, los mecanismos internos que permiten rastrear el "tiempo restante" hasta alcanzar una longitud objetivo no se comprenden completamente. Específicamente, no está claro si los modelos poseen un mecanismo generalizable de cuenta regresiva que opere en diferentes contextos (objetivos explícitos vs. implícitos) y si este mecanismo es compartido entre diferentes modelos.

Metodología

Los autores emplearon un enfoque de interpretabilidad mecánica de abajo hacia arriba (bottom-up), centrándose en el modelo Llama-3.1-70B-Instruct. La metodología procedió en tres etapas:

Localización Causal mediante Patching:
- Tarea: Se le asignó al modelo un prompt de "planificación de oraciones": escribir una oración de una longitud especificada ( $N$ ) que termine en una palabra específica.
- Técnica: Los autores realizaron residual stream patching. Construyeron prompts "fuente" (longitud objetivo $n_{src}$ ) y prompts "destino" (longitud objetivo $n_{dst}$ , donde $n_{dst} > n_{src}$ ). Las activaciones del token de longitud objetivo y del token de unidad de longitud del prompt fuente se transfirieron (patched) al prompt de destino en varias capas.
- Objetivo: Identificar las capas y los tokens específicos donde la información de longitud es causalmente suficiente para determinar la longitud de salida.
Identificación de Cabezales de Atención (Attention Heads):
- Una vez identificada la capa crítica, los autores analizaron las normas de salida de los cabezales de atención en esa capa, observando específicamente el flujo de información desde el token de la unidad de longitud hacia los tokens descendentes.
- Examinaron la geometría de las representaciones (claves y consultas/queries) utilizadas por estos cabezales para determinar cómo comparan la posición actual frente a la longitud objetivo.
Probing No Supervisado y Generalización:
- Longitud Implícita: Los autores investigaron escenarios donde la longitud objetivo no se declara explícitamente, sino que se infiere del contexto (por ejemplo, cadenas repetidas de longitud idéntica en Base64 o secuencias de ADN). Utilizaron patching para verificar si los delimitadores finales en estas cadenas almacenaban causalmente la información de la longitud objetivo.
- Análisis Geométrico: Compararon los colectores geométricos (manifolds) del subcircuito identificado en Llama-3.1-70B contra un subcircuito de "ajuste de línea" (line-wrapping) previamente identificado en Claude 3.5 Haiku mediante PCA y similitud de coseno.
- Descubrimiento No Supervisado: Utilizando las activaciones de salida de los "cabezales de cuenta regresiva" identificados, construyeron sondas lineales (linear probes). Estas sondas se ejecutaron en un corpus extenso y no etiquetado (The Pile y el conjunto de datos LMSYS-1M chat) para encontrar ejemplos diversos de alta activación donde el modelo estaba contando regresivamente de forma implícita.

Contribuciones Clave y Resultados

1. Identificación del Subcircuito de Cuenta Regresiva

El estudio aisló con éxito un subcircuito específico en Llama-3.1-70B-Instruct responsable de rastrear los tokens restantes:

Localización: La información de longitud se traslada al "token de unidad de longitud" comenzando alrededor de la Capa 4 y se utiliza causalmente hasta la Capa 18.
Cabezales Específicos: Se identificaron tres cabezales de atención en la Capa 18 (L18H24, L18H28, L18H30) como los "cabezales de cuenta regresiva".
Mecanismo: Estos cabezales exhiben un patrón de campos receptivos superpuestos. L18H28 se activa temprano, L18H24 en la mitad y L18H30 cerca del final. Su norma de salida combinada alcanza su pico inmediatamente antes de la longitud objetivo, lo que indica un mecanismo de cuenta regresiva continua en lugar de un pico repentino en el objetivo.

2. Almacenamiento de Longitud Implícita y Universalidad

Los autores demostraron que este subcircuito funciona incluso cuando la longitud objetivo no se proporciona explícitamente en el prompt:

Almacenamiento Implícito: En configuraciones de "cadenas repetidas" (por ejemplo, múltiples cadenas Base64 de la misma longitud), el modelo infiere la longitud objetivo a partir del contexto. Los experimentos de patching confirmaron que los delimitadores finales de estas cadenas almacenan causalmente la información de la longitud objetivo implícita.
Similitud de Representación: El análisis de similitud de coseno reveló que las activaciones de las claves para longitudes implícitas (en delimitadores) y longitudes explícitas (en tokens de prompt) residen en colectores similares. La relación entre la longitud implícita y la explícita es altamente lineal ( $0.93 \le r^2 \le 0.97$ ), lo que sugiere una representación unificada de la información de longitud.
Motivo Transversal entre Modelos: La estructura geométrica del subcircuito de cuenta regresiva (colectores curvos para claves y consultas con propiedades de alineación específicas) resultó ser idéntica al subcircuito de "ajuste de línea" identificado previamente en Claude 3.5 Haiku. Esto sugiere que el motivo es compartido entre diferentes modelos y tareas.

3. Descubrimiento No Supervisado de Aplicaciones Diversas

Utilizando el probing no supervisado con las salidas de los cabezales de cuenta regresiva, los autores identificaron una amplia variedad de tareas donde este subcircito está activo, incluyendo:

Tweets Incrustados: Predecir el final de un tuit de 280 caracteres incrustado en un texto de noticias.
Secuencias de ADN: Finalizar secuencias en el codón correcto basándose en secuencias previas.
Hashes SHA-256: Detectar el final de una cadena hexadecimal de 64 caracteres.
Generación de Haikus: Rastrear el conteo de sílabas y los saltos de línea.
Tablas ASCII: Alinear celdas a un ancho específico.
Lanzamientos de Moneda y Redondeo: Rastrear conteos de caracteres o dígitos en secuencias generadas.

Significado y Reivindicaciones

El artículo sostiene que la ingeniería inversa de un subcircuito a partir de una tarea única y estrecha (planificación de oraciones) permite a los investigadores comprender cómo comportamientos específicos se generalizan a un amplio espectro de tareas e incluso a través de diferentes modelos.

Generalización: El trabajo demuestra que un solo subcircuito se reutiliza tanto para el conteo explícito (especificado en el prompt) como para el conteo implícito (inferido por el contexto).
Mecanismos Compartidos: La identificación del mismo motivo geomético en Llama-3.1 y Claude 3.5 Haiku sugiere que ciertos primitivos computacionales para rastrear tiempo/longitud son fundamentales y compartidos entre los modelos de frontera.
Enfoque Metodológico: Los autores proponen un flujo de trabajo "de abajo hacia arriba" para la interpretabilidad mecánica: aislar un subcircuito en una tarea controlada, realizar ingeniería inversa de su geometría y luego utilizar el probing no supervisado para mapear su uso a través de todo el espacio operativo del modelo. Sugieren que este enfoque podría automatizarse, de manera similar al análisis de diccionarios de características, para descubrir sistemáticamente otros comportamientos generalizados en los LLM.

Los autores mantienen la modestia, señalando que, si bien han identificado un motivo compartido, el trabajo se centra en las intervenciones causales y la geometría del procesamiento de la longitud, más que en pretender haber resuelto todos los aspectos de la planificación o la generalización de los LLM.