🤖 machine learning

Repeated-Token Counting Reveals a Dissociation Between Representations and Outputs

Este artículo demuestra que el fracaso de los modelos de lenguaje grandes para contar tokens repetidos no se debe a una incapacidad para representar internamente la cantidad correcta, sino a un mecanismo específico de la MLP activado por el formato que sobrescribe la representación precisa con una respuesta fija incorrecta durante la generación de la salida.

Autores originales: Sohan Venkatesh

Publicado 2026-05-12

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Sohan Venkatesh

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un bibliotecario muy inteligente y bien leído (el modelo de IA). Le pides a este bibliotecario que cuente cuántas veces aparece la palabra "manzana" en una lista larga. Esperarías que lo hiciera bien, pero en su lugar dice con confianza: "Hay 8 manzanas", aunque claramente hay 10.

Durante mucho tiempo, la gente pensó que el bibliotecario simplemente era malo contando. Asumieron que el cerebro del bibliotecario no tenía un "contador" integrado, por lo que no podía llevar la cuenta de los números.

Este artículo dice que esa suposición es incorrecta.

Aquí tienes una explicación sencilla de lo que realmente descubrieron los investigadores, usando algunas analogías cotidianas:

1. El bibliotecario sí sabe la respuesta

Los investigadores miraron profundamente dentro del cerebro del bibliotecario (las capas internas del modelo) en cada paso individual del proceso de pensamiento. Descubrieron que el número correcto (10) estaba escrito de forma clara y perfecta desde el primer paso hasta el último.

La analogía: Imagina que el bibliotecario camina por un pasillo sosteniendo una pizarra en la mano. En cada paso de la caminata, la pizarra dice claramente "10". La información está ahí, fuerte y clara. El bibliotecario no está confundido; en realidad sabe la respuesta.

2. El escriba de letreros "defectuoso"

Entonces, si el bibliotecario sabe que la respuesta es 10, ¿por qué dice "8"?

Los investigadores encontraron un "defecto" específico en medio del pasillo. Aproximadamente en el 90% del proceso de pensamiento, hay un trabajador específico (una parte del código informático llamada bloque MLP) que ve el formato de la lista (palabras separadas por espacios) y decide ignorar la pizarra.

La analogía: Imagina que el bibliotecario camina por el pasillo sosteniendo el letrero "10". De repente, un trabajador específico (llamémosle "Fred-Formato") salta hacia afuera. Fred ve que la lista está escrita con espacios (como "manzana manzana manzana"). Tiene una regla preprogramada: "Si veo una lista de palabras con espacios, debo cambiar el letrero para que diga '8'".
Fred toma la pizarra, borra el "10" y escribe "8" en ella.
Aunque el cerebro del bibliotecario aún sabe que es 10 (la señal original sigue ahí en el fondo), la salida final ahora es "8" porque Fred la sobrescribió.

3. No se trata de las palabras, sino del formato

Este defecto solo ocurre con palabras (como "manzana" o "gato"), no con números (como "1" o "2").

La analogía: Si le das al bibliotecario una lista de números ("1 1 1 1..."), a Fred-Formato no le importa. Solo reacciona a las palabras. El bibliotecario cuenta los números perfectamente. Pero si le das palabras, Fred se activa.
Además, si cambias el formato para usar comas en lugar de espacios (por ejemplo, "manzana, manzana, manzana"), Fred no salta. La regla del "8" no se activa y el bibliotecario lo hace bien. Esto demuestra que el problema no es la capacidad de contar; es una reacción específica a cómo se ve la lista.

4. El problema de "enrutamiento", no de "representación"

El artículo hace una gran distinción entre dos tipos de fallos:

Fallo de representación: El bibliotecario no sabe contar. (Este artículo dice que esto NO está ocurriendo).
Fallo de enrutamiento: El bibliotecario sabe contar, pero la señal es secuestrada antes de llegar a la boca. (Esto es lo que está ocurriendo).
La analogía: Es como una estación de radio que reproduce la canción correcta (la cuenta), pero un DJ en la cabina (el bloque MLP) decide cortar la música y reproducir una canción diferente (el número incorrecto) justo antes de que salga a los altavoces. La música está bien; el enrutamiento está roto.

5. Los modelos más grandes tienen un defecto diferente

Los investigadores también observaron modelos más grandes y inteligentes. Estos modelos suelen obtener la cuenta correcta, pero fallan si introduces sigilosamente un "plátano" en la lista de manzanas.

El defecto: Estos modelos más grandes ven el plátano. Su sistema de atención lo nota. Pero, al igual que los modelos más pequeños, no logran permitir que esa información cambie la respuesta final. Ven la anomalía pero no pueden "enrutar" esa nueva información hacia la salida final.

La conclusión

El artículo concluye que estos modelos de IA no son "malos en matemáticas". En realidad, son muy buenos siguiendo los números internamente. El problema es que una parte específica de su cerebro se activa por la forma en que está escrita la lista (espacios frente a comas, palabras frente a números) y fuerza una respuesta incorrecta sobre la salida final, sobrescribiendo la correcta que ya estaba ahí.

Para solucionar esto, no necesitamos enseñar a la IA a contar (ya lo sabe). Necesitamos arreglar al "policía de tráfico" (el mecanismo de enrutamiento) que actualmente está bloqueando que la respuesta correcta salga.

Resumen Técnico: El Conteo de Tokens Repetidos Revela una Disociación entre Representaciones y Salidas

Enunciado del Problema
Los modelos de lenguaje grandes (LLM) exhiben fallos sistemáticos y reproducibles al contar tokens repetidos, a pesar de demostrar un rendimiento sólido en benchmarks de razonamiento más amplios. Por ejemplo, cuando se les pide contar diez palabras repetidas (por ejemplo, "manzana"), los modelos a menudo generan una respuesta incorrecta, confiable y determinista (por ejemplo, "8" o "14") con cero varianza bajo decodificación codiciosa. Las atribuciones comunes para este fallo sugieren una falta de representaciones internas de conteo o limitaciones en el seguimiento de conteos dentro del estado del modelo. Este artículo desafía dicha atribución, proponiendo en su lugar que el fallo no reside en la representación, sino en el enrutamiento de la información hacia la salida.

Metodología
Los autores emplean técnicas de interpretabilidad mecánica en cinco modelos decodificadores únicamente ajustados por instrucciones: Llama-3.2 (1B, 3B) y Qwen2.5 (1.5B, 3B, 7B). La configuración experimental involucra tres condiciones:

P1 (Línea base): Contar diez tokens idénticos.
P2 (Anomalía): Contar nueve tokens idénticos con un intruso (por ejemplo, "banana").
P3 (Control): Contar diez tokens únicos.

El estudio utiliza:

Sondas Lineales: Entrenamiento de sondas de regresión Ridge en la corriente residual en cada capa para decodificar el conteo de tokens, probando si el conteo correcto es linealmente decodificable incluso cuando la salida es incorrecta.
Lente de Logits: Proyección de estados ocultos a través de la última normalización de capa y la matriz de desincrustación en cada capa para observar cuándo el modelo "se compromete" con un token de dígito específico.
Descomposición MLP vs. Atención: Aislamiento de las contribuciones de las subcapas de atención y los bloques MLP para determinar qué componente escribe o borra valores específicos en la corriente residual.
Intervenciones Causales: Ablación cero de bloques MLP específicos para probar la implicación causal.
Variación de Formato y Token: Prueba de delimitadores separados por espacios frente a separados por comas y sustitución de tokens de palabras por tokens de dígitos para analizar la sensibilidad al formato y la especificidad del tipo de token.

Resultados Clave

Disociación Representación-Conducta:
Las sondas lineales revelan que el conteo correcto es linealmente decodificable con una precisión casi perfecta ( $R^2 > 0.99$ ) desde la primera capa del transformador en adelante, incluso en modelos que generan conteos incorrectos. Crucialmente, el conteo se codifica más limpiamente en la condición donde el modelo falla (tokens repetidos) que en la condición donde tiene éxito (tokens únicos). Esto confirma que el modelo posee la representación interna correcta pero falla en expresarla.
El Fallo de Enrutamiento (Sobrescritura MLP):
El fallo es causado por un bloque específico de Red Neuronal de Perceptrón Multicapa (MLP), activado por el formato, ubicado aproximadamente entre el 88–93% de la profundidad de la red (por ejemplo, Capa 14 en Llama-1B, Capa 22/26 en Llama-3B, Capa 22 en Qwen-1.5B).
- Este bloque MLP recibe un estado de corriente residual que codifica correctamente el conteo (o un estado cercano a él), pero lo sobrescribe con un entero fijo e incorrecto (por ejemplo, "8" o "14").
- La entrada del MLP es invariante al conteo; se activa independientemente de la longitud real de la secuencia (por ejemplo, para $n=8$ a $n=15$ ), lo que indica que responde a una firma de formato específica en lugar de realizar un cálculo.
- La ablación causal de este bloque MLP no restaura la respuesta correcta; en su lugar, desplaza el fallo a un valor incorrecto diferente (por ejemplo, de "8" a "16"), lo que sugiere que el prior está parcialmente distribuido a través de múltiples bloques.
Especificidad de Formato y Token:
- Sensibilidad al Formato: En modelos más grandes (Llama-3B, Qwen-3B), cambiar el delimitador de espacios a comas suprime el activador del MLP, permitiendo que el conteo correcto pase. En modelos más pequeños (Llama-1B), el prior es invariante al formato.
- Tipo de Token: El prior se activa para tokens alfabéticos repetidos (palabras) pero no para tokens de dígitos repetidos. Los modelos que fallan al contar palabras repetidas correctamente cuentan dígitos repetidos (por ejemplo, "1", "1", "1") sin error, demostrando que el fallo es una asociación aprendida entre el formato de "lista de palabras repetidas" y una salida incorrecta específica, no una incapacidad general para estimar la longitud de la secuencia.
Detección de Anomalías vs. Conteo:
Los modelos más grandes (Qwen-3B, 7B) que resuelven la tarea de conteo P1 aún fallan en la tarea de detección de anomalías P2 (contar 9 manzanas y 1 banana). El análisis mecánico muestra que, aunque los mecanismos de atención detectan la anomalía (la banana recibe una atención alta), esta señal no se enruta hacia la salida para corregir el conteo. Esto representa un segundo tipo de fallo de enrutamiento donde la señal de detección existe pero no se convierte en una corrección conductual.

Significado y Afirmaciones
El artículo argumenta que el fallo de conteo en estos modelos es un fallo de enrutamiento, no un fallo de representación. La circuitería interna codifica correctamente el conteo, pero un circuito "prior" específico intercepta y sobrescribe esta información basándose en pistas de formato de nivel superficial (tokens de palabras repetidas).

Los autores afirman que confundir fallos de representación con fallos de enrutamiento conduce a intervenciones incorrectas (por ejemplo, reentrenar para mejorar capacidades de conteo cuando la capacidad ya existe). En su lugar, las intervenciones deben dirigirse a los circuitos específicos responsables de la supresión de señales. El estudio demuestra que los fallos conductuales en modelos capaces a menudo son fallos de expresión, y que identificar la ruta de enrutamiento específica es un prerrequisito necesario para cualquier intervención exitosa. Este trabajo establece un fenómeno general donde la verdad interna y la salida conductual pueden divergir completamente, haciendo necesaria el análisis mecánico para distinguir entre ambas.