Disentangling Recall and Reasoning in Transformer Models through Layer-wise Attention and Activation Analysis

Mediante análisis causal de circuitos neuronales en modelos Transformer, este estudio demuestra empíricamente que la recuperación de hechos y el razonamiento lógico dependen de mecanismos internos distintos pero interconectados, permitiendo su alteración selectiva sin afectar la otra capacidad.

Lo esencial

Imagina que un modelo de lenguaje (como el que usas para chatear o escribir) es como una gran biblioteca inteligente con un equipo de trabajadores internos. Durante mucho tiempo, los científicos pensaron que estos trabajadores mezclaban todo: cuando la biblioteca necesitaba recordar un dato (como "¿Quién fue el primer presidente de EE. UU.?") o cuando necesitaba resolver un acertijo complejo (como "Si A es mayor que B, y B es mayor que C, ¿quién es el mayor?"), todos los empleados trabajaban juntos en el mismo caos.

Pero este nuevo estudio, realizado por investigadores de instituciones como el Instituto Indio de Ciencia y LinkedIn, decidió hacer una autopsia detallada de cómo funciona esta "mente" digital para ver si realmente hay dos tipos de trabajo diferentes.

Aquí tienes la explicación sencilla, usando analogías:

1. El Experimento: Dos tipos de pruebas

Para ver qué hace cada parte del cerebro de la IA, los investigadores diseñaron dos tipos de pruebas:

• La prueba de "Memoria" (Recall): Preguntas directas como "¿Cuál es la capital de Francia?". Aquí, la IA solo tiene que buscar en sus archivos y sacar la respuesta guardada. Es como pedirle a un bibliotecario que busque un libro específico en el estante.
• La prueba de "Razonamiento" (Reasoning): Acertijos lingüísticos (basados en olimpiadas de lingüística) donde la IA debe aprender reglas nuevas y aplicarlas. Por ejemplo, ver palabras en un idioma que nunca ha visto antes y deducir cómo funcionan. Aquí, no puede "recordar" la respuesta porque nunca la ha visto; tiene que pensar y conectar los puntos. Es como pedirle al bibliotecario que escriba un nuevo libro basándose en pistas sueltas.

2. El Descubrimiento: La fábrica en capas

Al observar cómo se activan los "trabajadores" (las capas y neuronas) dentro de la IA, descubrieron algo fascinante: la fábrica está organizada por pisos.

• Los pisos bajos (Capas tempranas): Los Archivistas.
  Las primeras capas de la IA son como los archivistas de la biblioteca. Son expertos en recuperar información guardada. Cuando la IA necesita recordar un hecho, estos trabajadores se activan con fuerza. Si los "apagas" (interrumpes su trabajo), la IA olvida los hechos (se equivoca al decir la capital de Francia), pero sigue siendo capaz de resolver acertijos lógicos.

  • Analogía: Es como si apagaras el sistema de búsqueda de la biblioteca; nadie encuentra los libros, pero el equipo de detectives sigue trabajando.

• Los pisos altos (Capas profundas): Los Detectives.
  Las capas más profundas son como los detectives o ingenieros. Son los que toman la información y la mezclan para crear nuevas conclusiones. Cuando la IA necesita razonar, estos trabajadores toman el control. Si los "apagas", la IA sigue recordando hechos perfectamente, pero se vuelve tonta para resolver problemas lógicos.

  • Analogía: Es como si apagaras al equipo de detectives; siguen sabiendo dónde están los libros, pero no pueden resolver ningún crimen.

3. La Magia: Circuitos separados

Lo más increíble es que estos dos equipos no comparten el mismo espacio de trabajo.

• Hay "neuronas" (trabajadores individuales) que solo se despiertan para recordar.
• Hay otras neuronas que solo se despiertan para razonar.
• Incluso los "ojos" de la IA (las cabezas de atención) se especializan: algunos miran solo a los nombres propios para recordar, y otros miran a la estructura de la frase para razonar.

4. ¿Por qué importa esto?

Antes, pensábamos que la IA era una "caja negra" donde todo se mezclaba. Ahora sabemos que tiene circuitos separados.

• Seguridad: Si queremos que la IA no alucine (inventar cosas), podemos intentar mejorar sus "archivistas" para que recuerden mejor los hechos.
• Confianza: Si la IA da una respuesta lógica, podemos saber exactamente qué parte de su cerebro trabajó para llegar a esa conclusión, lo que hace que sea más transparente y confiable.

En resumen

Este estudio nos dice que la Inteligencia Artificial no es un solo cerebro que hace todo al azar. Es más bien como una empresa bien organizada:

• Un departamento de Archivos (capas bajas) que se encarga de la memoria.
• Un departamento de Investigación (capas altas) que se encarga de pensar y deducir.

Y lo mejor: si quieres que la IA sea mejor recordando, arregla el departamento de Archivos. Si quieres que sea mejor pensando, arregla el departamento de Investigación. ¡No tienes que arreglar todo el edificio!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Disentangling Recall and Reasoning in Transformer Models through Layer-wise Attention and Activation Analysis" (Desenredando la Memoria y el Razonamiento en Modelos Transformer mediante Análisis de Activación y Atención por Capas), presentado en español.

---

Resumen Técnico: Desenredando la Memoria y el Razonamiento en Modelos Transformer

1. Planteamiento del Problema

Los Modelos de Lenguaje (LLMs) basados en arquitecturas Transformer demuestran dos capacidades fundamentales:

• Recuerdo (Recall): La recuperación de hechos memorizados durante el preentrenamiento.
• Razonamiento (Reasoning): La realización de inferencias composicionales de múltiples pasos.

Aunque estas capacidades se evalúan frecuentemente de manera conjunta, no está claro si dependen de circuitos internos superpuestos o separables. La falta de comprensión sobre si estos procesos comparten mecanismos o son funcionalmente distintos limita el desarrollo de sistemas de IA confiables, interpretables y científicamente fundamentados. El objetivo de este trabajo es aplicar la interpretabilidad mecánica para determinar si el recuerdo y el razonamiento surgen de subredes computacionales distintas dentro del modelo.

2. Metodología

Los autores diseñaron un pipeline de análisis mecánico riguroso centrado en el modelo Qwen2.5-7B-Instruct (28 capas), utilizando el framework nnsight para rastrear activaciones completas.

• Diseño del Dataset (Controlado):

  • Tareas de Razonamiento: Se utilizaron acertijos lingüísticos del International Linguistic Olympiad (IOL) y corpora relacionados. Estas tareas requieren inducción de reglas e inferencia simbólica en idiomas desconocidos o de bajos recursos, imposibilitando el mero recuerdo factual.
  • Tareas de Recuerdo: Se generaron consultas sintéticas contrafactuales que modifican entidades o relaciones manteniendo la sintaxis, aislando así la recuperación de asociaciones factuales almacenadas.
  • El dataset final contiene 60 preguntas equilibradas (30 de recuerdo, 30 de razonamiento).

• Análisis Mecánico:

  • Rastreo de Activaciones: Se capturaron estados ocultos, distribuciones de atención y salidas de MLP en todas las capas.
  • Métricas: Se calcularon normas de estado oculto, entropía de atención, magnitud de MLP y dispersión de activación.
  • Pruebas Estadísticas: Se utilizó la prueba U de Mann-Whitney para significancia, con tamaños del efecto (Cohen's d) y correcciones para comparaciones múltiples (FDR para capas/cabezas; Bonferroni para neuronas).
  • Intervención Causal: Se aplicó parcheo de activación (activation patching) y ablación selectiva (poner a cero o reemplazar activaciones) en componentes identificados para probar su necesidad causal.

• Hipótesis Probadas:

  1. H1 (Especialización por Capas): Capas tempranas vs. profundas.
  2. H2 (Especialización por Cabezas): Diferencias en el impacto causal de las cabezas de atención.
  3. H3 (Patrones de Neuronas): Firmas de activación dependientes de la tarea.
  4. H4 (Generalidad Arquitectónica): Consistencia entre familias de modelos.
  5. H5 (Intervención Selectiva): La perturbación de un circuito afecta solo a su función correspondiente.

3. Contribuciones y Hallazgos Clave

El estudio revela una división funcional jerárquica y causal dentro del modelo:

• Especialización por Capas (H1):

  • Capas Tempranas (0–6): Predominantemente soportan el recuerdo factual. Se caracterizan por menor entropía y mayor magnitud de activación.
  • Capas Medias (7–16): Muestran activaciones mixtas.
  • Capas Profundas (17–27): Concentran los cálculos vinculados a la inferencia multi-paso y el razonamiento composicional.
  • Validación: Esta jerarquía se mantuvo estable bajo validación cruzada de 5 pliegues.

• Diferenciación a Nivel de Cabezas de Atención (H2):

  • El 74% de las cabezas de atención muestran preferencias de tarea significativas.
  • Las cabezas especializadas en recuerdo se agrupan en capas superficiales y se enfocan estrechamente en tokens de entidades.
  • Las cabezas especializadas en razonamiento emergen en capas profundas y atienden ampliamente a marcadores relacionales o estructurales.
  • Se identificaron 239 cabezas especializadas en recuerdo y 219 en razonamiento.

• Selectividad de Neuronas MLP (H3):

  • Aproximadamente un tercio de las neuronas MLP cumplen criterios estrictos de especificidad de tarea.
  • Se forman "hubs" densos en capas específicas: alrededor de la capa 4 (recuerdo) y la capa 22 (razonamiento).
  • Muchas neuronas exhiben patrones de activación casi binarios: se activan fuertemente para una tarea y permanecen silenciosas para la otra.

• Resultados de Intervención Selectiva (H5 - Evidencia Causal):

  • Ablación de Circuitos de Recuerdo: Al desactivar capas/cabezas/neuronas de recuerdo, la precisión factual cayó un 15% ± 3%, mientras que el rendimiento en razonamiento permaneció inalterado (variación < 3%).
  • Ablación de Circuitos de Razonamiento: La intervención en componentes de razonamiento causó una caída del 14% ± 4% en tareas de acertijos lingüísticos, sin afectar significativamente el recuerdo.
  • Las ablaciones de control aleatorias solo produjeron cambios menores (~2%).

4. Significado e Impacto

• Evidencia Causal: El trabajo proporciona evidencia causal, más allá de correlaciones, de que el recuerdo y el razonamiento son procesos computacionales parcialmente distintos pero complementarios.
• Interpretabilidad: Demuestra que los modelos Transformer organizan la información en sub-sistemas modulares específicos (memoria vs. inferencia), lo que permite una atribución más clara de las salidas del modelo.
• Aplicaciones Futuras: Estos hallazgos son cruciales para:
  • Distinguir entre razonamiento genuino y alucinación.
  • Desarrollar sistemas de IA más confiables y alineados.
  • Guiar el diseño de arquitecturas futuras que separen explícitamente la memoria de la lógica.
• Generalización: Aunque el estudio se centró en Qwen2.5-7B, los autores sugieren que estos patrones de especialización son consistentes en otras familias de modelos (LLaMA, Mistral), lo que se planea verificar en trabajos futuros.

En conclusión, el artículo establece los fundamentos mecánicos para entender cómo los LLMs separan internamente la recuperación de datos de la inferencia lógica, ofreciendo una hoja de ruta para la ingeniería de modelos más transparentes y robustos.