💬 NLP

From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks

El estudio revela que los modelos de lenguaje grandes fallan en tareas de conteo de caracteres no por falta de representación interna, sino porque circuitos negativos en las capas finales suprimen activamente la información correcta en favor de respuestas incorrectas.

Autores originales: Ayan Datta, Mounika Marreddy, Alexander Mehler, Zhixue Zhao, Radhika Mamidi

Publicado 2026-04-03

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Ayan Datta, Mounika Marreddy, Alexander Mehler, Zhixue Zhao, Radhika Mamidi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

🍎 ¿Cuántas "p" tiene la palabra "manzana"? El misterio de los cerebros artificiales

Imagina que tienes un genio artificial (un Modelo de Lenguaje o LLM) que puede escribir poemas, resolver problemas de física complejos y conversar como un humano. Es un "superhéroe" de la inteligencia. Pero, si le preguntas algo muy simple como "¿Cuántas veces aparece la letra 'p' en la palabra 'apple'?", este genio a menudo falla estrepitosamente.

Este estudio investiga por qué falla un cerebro tan avanzado en una tarea tan básica. Y la respuesta es sorprendente: no es que no sepa la respuesta, es que decide no decirla.

1. El Detective y la Huella Digital (La Investigación)

Los autores del estudio usaron una técnica de "detective" para ver qué pasa dentro de la cabeza del modelo mientras piensa. Imagina que el modelo es una fábrica de ensamblaje de información:

La Entrada (El inicio): Cuando el modelo lee la palabra "apple", sus primeras capas (los trabajadores novatos) sí cuentan las letras correctamente. Tienen la información exacta en sus manos. Es como si un contador anotara en un papel: "Aquí hay dos 'p'".
El Viaje (El medio): Esta información viaja a través de la fábrica. Los trabajadores intermedios también parecen entenderlo.
El Problema (El final): Sin embargo, justo antes de que el modelo escriba la respuesta final, ocurre algo extraño. Un pequeño grupo de "supervisores" en la última planta de la fábrica tira el papel del contador a la basura y escribe una respuesta al azar o una respuesta que suena "más probable" pero que es incorrecta (como decir "1" siempre).

2. La Analogía del Orador Nervioso

Piensa en el modelo como un orador muy inteligente que está dando un discurso:

Sabe la verdad: El orador tiene los datos correctos en su mente. Sabe que la respuesta es "2".
El pánico final: Justo cuando va a hablar, su cerebro entra en pánico. Piensa: "Espera, la gente suele decir '1' en estas situaciones, suena más natural. Mejor digo '1' para no parecer raro".
El resultado: Aunque sabe que es "2", dice "1".

El estudio descubrió que el error no es que el modelo no pueda calcular (como si fuera una calculadora rota), sino que tiene un mecanismo interno que suprime activamente la respuesta correcta en favor de respuestas más simples o comunes que ha aprendido durante su entrenamiento.

3. ¿Más grande es mejor? (El tamaño no lo soluciona)

Un hallazgo clave es que hacer el modelo más grande no arregla el problema.

Si tomas un modelo pequeño (como un niño de 3 años) y lo conviertes en un gigante (como un adulto de 9 años), sigue fallando de la misma manera.
Incluso si le das "clases" especiales para que aprenda a seguir instrucciones (lo que se llama "entrenamiento de instrucción"), sigue cometiendo el mismo error.
Es como si le dieras a un niño un abrigo más grande y más dinero, pero si tiene miedo de hablar, seguirá callado. El problema no es de capacidad, es de comportamiento.

4. El "Circuito Negativo"

Los investigadores encontraron que hay un pequeño grupo de componentes en las últimas capas del modelo que actúan como un freno de emergencia.

Imagina que el modelo tiene un camino de luz que lleva a la respuesta correcta.
Pero justo al final del camino, hay un interruptor que apaga esa luz y enciende otra luz (la respuesta incorrecta) porque "suena mejor" estadísticamente.
A esto lo llamaron "circuitos negativos". Son como guardias de seguridad que, en lugar de dejar pasar al invitado correcto (la respuesta verdadera), lo detienen y dejan pasar a un impostor.

🎯 Conclusión: ¿Qué aprendemos de esto?

Este estudio nos dice algo muy importante sobre la Inteligencia Artificial actual:

No es tonto, es confuso: Los modelos tienen la información correcta guardada en su memoria interna, pero no confían en ella al final.
El entrenamiento tiene un efecto secundario: Al entrenar a estos modelos con millones de textos humanos, aprenden patrones de "lo que suele decirse" en lugar de "lo que es verdad". En tareas simples como contar letras, el patrón de "lo usual" gana a la lógica.
El futuro: Para que la IA sea realmente fiable, no basta con hacerla más grande. Necesitamos diseñar modelos que no solo encuentren la verdad, sino que tengan el "valor" de decirla al final, sin que un mecanismo interno la suprima.

En resumen: El modelo sabe contar, pero tiene miedo de decirlo. Y hasta que no le enseñemos a confiar en sus propios cálculos, seguirá fallando en las tareas más simples.

Resumen Técnico: De la Codificación Temprana a la Supresión Tardía

1. El Problema

Los Grandes Modelos de Lenguaje (LLMs) actuales muestran un rendimiento excepcional en benchmarks complejos, pero fallan sistemáticamente en tareas simbólicas elementales, como el conteo de caracteres dentro de una palabra (ej. "¿Cuántas 'p' hay en 'apple'?"). A pesar de que este fenómeno ha sido documentado, las razones internas de estos fallos permanecen poco exploradas. La pregunta central es: ¿Falla el modelo porque no puede representar la información de los caracteres, o porque no puede utilizar esa información correctamente durante la generación?

2. Metodología

Los autores diseñan una tarea de conteo de caracteres controlada y minimalista para aislar el razonamiento a nivel de token de confusores lingüísticos de alto nivel.

Datos y Configuración: Se utiliza un conjunto de datos derivado de WordNet y Wiktionary con 10,000 palabras. Se evalúan modelos de tres familias recientes (LLaMA 3.2, Qwen 2.5, Gemma 2) en sus variantes base e instrucción-tuned, con tamaños que van desde 2B hasta 9B parámetros.
Técnicas de Interpretabilidad:
1. Probing (Sondeo): Se entrenan clasificadores lineales en las representaciones ocultas (residual stream) de cada capa para determinar si la frecuencia de una letra puede ser decodificada linealmente. Se prueban tres niveles: token individual, token final de la palabra y token final del prompt.
2. Logit Lens: Se proyectan los estados ocultos intermedios al espacio de vocabulario para rastrear cómo evolucionan las probabilidades de las respuestas correctas a lo largo de las capas.
3. Activación Patching (Parcheo de Activaciones): Se utiliza una técnica de causalidad (intercambio de intervenciones) donde se reemplazan las activaciones de una entrada "corrupta" (con la letra o palabra incorrecta) por las de una entrada "limpia". Esto permite identificar qué componentes (capas, cabezas de atención, MLPs) son causalmente responsables de restaurar o suprimir la respuesta correcta.
4. Métricas: Se emplean métricas de diferencia de logits ( $\Delta$ ) para medir la preferencia por la respuesta correcta y un "gap de probabilidad" ( $\Delta_p$ ) para cuantificar la supresión activa de la respuesta correcta frente a la predicción observada.

3. Contribuciones Clave

El estudio identifica un fenómeno consistente y estructural en la arquitectura de los LLMs modernos:

Codificación Exitosa Temprana: Los modelos sí codifican la información de conteo de caracteres de manera fiable en las capas tempranas y medias. Los sondeos muestran una precisión superior al 80-90% en las representaciones residuales, indicando que la información está presente y es componible.
Supresión Tardía (Circuitos Negativos): El fallo no se debe a la ausencia de información, sino a su supresión activa en las capas finales. Se identifican "circuitos negativos" (subredes específicas) en las capas penúltimas y finales (especialmente en los bloques MLP y, en algunos casos, en las cabezas de atención finales) que atenúan deliberadamente la señal correcta.
Estrategias Degeneradas: En lugar de realizar un conteo real, el modelo tiende a adoptar estrategias heurísticas simples (ej. "siempre predecir 1" en Qwen, o una distribución casi uniforme en LLaMA) que tienen una probabilidad de éxito mayor en el entrenamiento, pero que anulan la señal correcta codificada previamente.
Falta de Especialización en Atención: No se encontraron cabezas de atención específicas dedicadas a enrutar la información de conteo de caracteres desde el inicio hasta el final. La información parece fragmentada y débilmente coordinada.

4. Resultados Principales

Rendimiento General: La precisión de los modelos en la tarea de conteo es cercana a la línea base aleatoria (~33%), a pesar de que la información correcta está disponible internamente.
Análisis por Capas:
- Capas Tempranas/Medias: Alta precisión en el sondeo (el modelo "sabe" la respuesta).
- Capas Finales: El Logit Lens revela que la probabilidad de la respuesta correcta cae drásticamente en las últimas capas, mientras que aumenta la probabilidad de respuestas incorrectas (degeneradas).
- Componentes Críticos: En Qwen, la supresión proviene de los MLP de la penúltima capa y las cabezas de atención/MLP de la última capa. En LLaMA, la supresión es casi exclusiva del MLP de la última capa.
Efecto de la Escala y el Ajuste (Scaling & Post-training):
- Escalar los modelos de 2B/3B a 7B/9B no mejora el problema; los patrones de supresión se mantienen o incluso se fortalecen.
- El ajuste fino por instrucción (Instruction Tuning) no resuelve el fallo. Aunque cambia ligeramente la estrategia de respuesta (ej. alternar entre "1" y "2"), la precisión sigue siendo baja y la supresión mecánica en las capas finales persiste.
Mecanismo de Decodificación Competitiva: Los resultados sugieren que el paso hacia adelante (forward pass) de los LLMs implementa una forma de decodificación competitiva donde hipótesis correctas e incorrectas coexisten, y la salida final se determina tanto por la amplificación de señales como por la supresión activa de las correctas.

5. Significado e Implicaciones

Fragilidad Sistémica: Los errores en tareas simbólicas no son solo un problema de capacidad de representación o de falta de datos, sino un problema de interferencia estructurada dentro del grafo de computación del modelo.
Limitaciones de la Escalabilidad: El simple aumento de parámetros o el entrenamiento por instrucciones no corrige estos defectos mecánicos, lo que explica por qué modelos masivos como GPT-4 siguen fallando en estas tareas sin ayudas externas (como chain-of-thought).
Nuevas Direcciones de Diseño: Para mejorar la robustez, las futuras arquitecturas de LLMs deben garantizar que la información codificada no solo se almacene, sino que sea reliablemente utilizada en la salida. Esto podría requerir nuevas estrategias de entrenamiento o modificaciones arquitectónicas que prevengan la formación de "circuitos negativos" que supriman señales simbólicas precisas.

En conclusión, el paper demuestra que los LLMs modernos "ven" la respuesta correcta en sus capas intermedias, pero su arquitectura de salida está aprendida para ignorarla en favor de heurísticas más simples y probables, revelando una debilidad fundamental en su razonamiento simbólico.