💬 NLP

Mechanistic evaluation of Transformers and state space models

Este artículo emplea intervenciones causales para revelar que, si bien los Transformers y los SSM pueden lograr una precisión similar en tareas de recuperación asociativa, dependen de mecanismos fundamentalmente diferentes —específicamente, los modelos Transformer y Based utilizan inducción en contexto, mientras que la mayoría de los SSM dependen de computaciones de estado de una sola capa, siendo Mamba el único que logra la inducción a través de convoluciones cortas en lugar de su componente SSM central.

Autores originales: Aryaman Arora, Neil Rathi, Nikil Roashan Selvam, Róbert Csordás, Dan Jurafsky, Christopher Potts

Publicado 2026-02-02

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Aryaman Arora, Neil Rathi, Nikil Roashan Selvam, Róbert Csordás, Dan Jurafsky, Christopher Potts

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a jugar un juego de memoria. El juego es sencillo: le muestras al robot una lista de parejas, como "Manzana = Roja", "Plátano = Amarillo" y "Uva = Morado". Luego, le preguntas: "¿Cuál es el color del Plátano?". El robot debe volver a mirar la lista, encontrar "Plátano" y recordar que está vinculado a "Amarillo".

En el mundo de la IA, esto se llama Recuerdo Asociativo. El artículo que compartiste es una inmersión profunda en cómo diferentes tipos de cerebros de IA (arquitecturas) resuelven este juego. Los investigadores no solo se fijaron en quién obtenía la puntuación más alta; pusieron a los robots bajo un microscopio para ver exactamente qué estaba sucediendo dentro de sus "cabezas" mientras jugaban.

Aquí está la historia de sus hallazgos, desglosada en conceptos simples.

Los dos contendientes principales

El artículo compara dos tipos principales de arquitecturas de IA:

Transformers: Los campeones actuales de la IA (como los que impulsan la mayoría de los chatbots). Utilizan un mecanismo llamado "Atención", que es como tener un reflector que puede escanear instantáneamente toda la lista de parejas para encontrar la respuesta.
Modelos de Espacio de Estados (SSM): Los nuevos, más rápidos y eficientes desafiantes (como Mamba y DeltaNet). Están diseñados para ser más ligeros y rápidos que los Transformers, pero se ha sospechado que son peores en tareas de memoria.

El gran descubrimiento: No se trata solo de la puntuación

Normalmente, si una IA obtiene un 99% en un examen, asumimos que aprendió la lección. Pero este artículo argumenta que obtener la respuesta correcta no significa que hayas aprendido la forma correcta.

Los investigadores utilizaron una técnica de "cirugía" especial llamada Intervención Causal. Imagina que tienes un robot que resuelve el juego de memoria perfectamente. Luego, cambias secretamente la palabra "Plátano" por "Coche" en la memoria del robot después de que haya leído la lista, pero antes de que dé la respuesta.

Si el robot de repente dice "Amarillo es el color de un Coche", significa que realmente estaba recordando el vínculo (Inducción).
Si el robot simplemente adivina o falla, significa que no estaba almacenando el vínculo de una manera flexible; solo estaba mirando su entorno inmediato.

Lo que encontraron

1. La diferencia entre "Inducción" y "Recuperación Directa"

Transformers y modelos "Based": Estos modelos aprendieron a jugar de la manera "inteligente". Crearon un mapa mental donde almacenaron la conexión entre el objeto y su valor (por ejemplo, "Plátano" está pegado a "Amarillo") mientras leían la lista. Cuando se les hace una pregunta, buscan en este mapa almacenado. Los investigadores llaman a esto Inducción.
La mayoría de los SSM (como H3 y Hyena): Estos modelos fallaron el juego. No pudieron descifrar cómo almacenar los vínculos.
Mamba y DeltaNet: Estos modelos obtuvieron puntuaciones altas, ¡pero hicieron trampa! No construyeron un mapa mental. En su lugar, usaron un "atajo". Cuando surgía la pregunta "¿Plátano?", miraban inmediatamente al token justo antes de él o usaban un truco muy específico y rígido para agarrar la respuesta. No aprendieron la regla general de "asociar" cosas; simplemente aprendieron a agarrar la respuesta de un lugar específico.

2. El arma secreta: La "Convolución Corta"

Los investigadores descubrieron que los modelos que sí tuvieron éxito (Mamba y Based) tenían un arma secreta: una herramienta de memoria diminuta y de corto plazo llamada convolución corta.

Analogía: Imagina leer un libro. Una "convolución larga" es como leer todo el capítulo para entender una frase. Una "convolución corta" es como echar un vistazo a la palabra que acabas de leer y a la anterior.
El hallazgo: Mamba usa este "vistazo" (convolución corta) para vincular "Plátano" con "Amarillo" mientras lee. Sin esta herramienta específica, Mamba olvida por completo cómo jugar al juego. Resulta que Mamba no está usando su "cerebro" principal (la parte del SSM) para hacer el trabajo de memoria; está usando esta pequeña herramienta de "vistazo" para hacer el trabajo pesado.

3. El giro: El juego del "Árbol" (ATR)

Para ver si estos hallazgos eran solo una casualidad del juego simple, los investigadores inventaron una versión más difícil llamada Recuerdo de Árbol Asociativo (ATR).

El cambio: En el juego simple, "Plátano" y "Amarillo" siempre estaban uno al lado del otro. En el juego del "Árbol", podían estar lejos, separados por otras palabras, como un árbol genealógico. "Juan tenía un perro. El perro persiguió a un gato. El gato vio a un pájaro. ¿Qué tenía Juan?".
El resultado:
- Transformers y Based: Siguieron usando su mapa de "Inducción". Manejaron la distancia fácilmente.
- Mamba (con el atajo): Siguió usando su herramienta de "vistazo" y lo hizo bien.
- Mamba (sin el atajo): ¡Aquí está la sorpresa! Cuando los investigadores eliminaron la herramienta de "convolución corta" de Mamba, Mamba falló el juego simple pero tuvo éxito en el difícil juego del "Árbol".
- ¿Por qué? Sin el atajo, Mamba se vio obligado a aprender el mapa de "Inducción" (de la misma manera que los Transformers) para resolver el problema más difícil. Esto demostró que Mamba es capaz de aprender la forma inteligente, pero solo lo hace cuando es absolutamente necesario.

La conclusión

El artículo concluye que la precisión es una mentirosa.

Dos modelos de IA pueden obtener la misma puntuación en un examen, pero uno puede ser un genio que entiende las reglas (Inducción), mientras que el otro puede ser un tramposo que simplemente memorizó la clave de respuestas para ese examen específico (Recuperación Directa).

Los Transformers son como bibliotecarios que organizan libros en estanterías para poder encontrar cualquier conexión más tarde.
Mamba (en su forma estándar) es como una persona que solo recuerda lo último que vio, a menos que use una "nota adhesiva" específica (convolución corta) para ayudarle.
La lección: Para entender verdaderamente la IA, no podemos limitarnos a mirar las puntuaciones de las pruebas. Tenemos que mirar bajo el capó para ver cómo piensa la máquina. Esta "evaluación mecanicista" es la nueva herramienta que los autores proponen para dejar de ser engañados por puntuaciones altas que esconden una comprensión débil.

Resumen Técnico: Evaluación Mecanicista de Transformers y Modelos de Espacio de Estados

Planteamiento del Problema

Aunque los Modelos de Espacio de Estados (SSM) ofrecen una alternativa eficiente y subcuadrática a los Transformers para el modelado de lenguaje, presentan deficiencias en tareas de recuperación —específicamente, la copia de información del contexto— que los benchmarks estándar suelen no capturar. Trabajos previos han utilizado tareas sintéticas como la Recuperación Asociativa (AR) para identificar estas brechas de rendimiento, pero la dependencia de métricas conductuales (por ejemplo, la precisión en la tarea) aporta poca información sobre por qué ciertas arquitecturas fallan o tienen éxito. El problema central es la falta de una comprensión mecanicista sobre cómo diferentes arquitecturas implementan la recuperación en contexto y si aprenden soluciones robustas y generalizables (como la inducción) o si dependen de heurísticas frágiles dependientes de la posición.

Metodología

Los autores proponen un marco de evaluación mecanicista utilizando intervenciones causales para analizar cómo los modelos resuelven tareas de recuperación.

Tareas:
- Recuperación Asociativa (AR): Una tarea sintética donde se presenta al modelo una secuencia de pares clave-valor seguida de una clave de consulta (query key), requiriendo que el modelo produzca el valor correspondiente.
- Recuperación de Árbol Asociativo (ATR): Una nueva tarea de recuperación jerárquica generada mediante una Gramática Libre de Contexto Probabilística (PCFG). A diferencia de AR, donde las claves y los valores son adyacentes, ATR requiere asociar tokens no adyacentes basados en estructuras de árbol latentes, imitando más de cerca la recuperación del lenguaje natural del mundo real.
Métricas Mecanicistas (Intervenciones de Intercambio):
- Los autores emplean intervenciones de intercambio (Geiger et al., 2021; 2024) en los componentes internos del modelo.
- Procedimiento: Corrompen un token específico en la entrada (por ejemplo, la clave) para degradar el rendimiento. Luego, intervienen en estados ocultos específicos (en la posición de la clave, el valor o la consulta) dentro de capas específicas, reemplazando la representación corrompida con una representación "limpia" de una entrada contrafáctica.
- Métrica: Miden la medida en que esta intervención restaura la verosimilitud de la respuesta correcta. Una alta restauración en el valor indica un mecanismo de inducción (almacenar asociaciones en el valor para su posterior recuperación). Una alta restauración en la consulta o la clave indica una recuperación directa (computar la asociación inmediatamente en la consulta o en una capa específica).
Arquitecturas Evaluadas:
- Transformers (Atención)
- SSMs: Mamba, DeltaNet, H3, Hyena
- Modelos Híbridos: Based, BaseConv, DeltaNet
Estudios de Ablación:
- Eliminación y modificación sistemática de convoluciones cortas (variando los tamaños de kernel $d_{conv}$ ) en Mamba y Based para determinar su necesidad para la asociación.

Contribuciones Clave y Resultados

1. Mecanismos Divergentes para una Precisión Similar

Las métricas conductuales muestran que los Transformers, Based y Mamba logran una alta precisión en AR, mientras que otros SSMs (H3, Hyena) fallan. Sin embargo, el análisis mecanicista revela diferencias fundamentales:

Transformers y Based: Aprenden un mecanismo de inducción. Almacenan las asociaciones clave-valor en el token de valor durante el paso hacia adelante (forward pass), permitiendo que una capa subsiguiente recupere la respuesta. Esta es una solución de dos capas, robusta.
Mamba y DeltaNet: Utilizan principalmente la recuperación directa. Computan la asociación en el token de consulta (a menudo en la capa 0 o 1) sin almacenar explícitamente la asociación en el token de valor.
H3 y Hyena: No logran aprender la tarea de manera efectiva bajo estas condiciones.

2. El Papel Crítico de las Convoluciones Cortas

Los autores identifican las convoluciones cortas como el componente crítico que permite la asociación en Mamba y Based:

En Mamba: Las convoluciones cortas son necesarias para AR. Cuando el tamaño del kernel de convolución se reduce a 1 o se elimina, el rendimiento de Mamba en AR colapsa casi a cero.
Mecanismo en Mamba: Contrario a la suposición de que Mamba depende únicamente del estado del SSM, los autores encuentran que la convolución corta dentro de Mamba realiza el paso de asociación tipo inducción (mover la información de la clave al valor o a la siguiente clave), mientras que el componente SSM gestiona la recuperación.
En Based: Reemplazar las convoluciones cortas por convoluciones largas implícitas degrada significamente el rendimiento, confirmando la necesidad del campo receptivo corto para esta tarea específica.

3. Generalización a la Recuperación Jerárquica (ATR)

Los autores introducen ATR para probar si estos mecanismos se generalizan más allá de los tokens adyacentes:

Resultados Conductuales: Mamba supera o iguala a todas las demás arquitecturas en ATR, incluso sin convoluciones cortas.
Cambio Mecanicista: En ATR, Mamba sin convoluciones cortas aprende exitosamente un mecanismo de inducción de dos capas (almacenando en el valor), similar a los Transformers.
Implicación: Esto sugiere que Mamba posee la capacidad de inducción, pero recurre por defecto a la recuperación directa mediante convoluciones cortas en tareas más simples (AR). La dependencia de las convoluciones cortas es dependiente de la tarea; son esenciales para AR pero no estrictamente para ATR, donde el modelo puede recurrir a un mecanismo de inducción más general.

Significado y Reivindicaciones

El artículo argumenta que las evaluaciones mecanicistas son esenciales para comprender las capacidades arquitectónicas, ya que la precisión conductual por sí sola puede ser engañosa.

Diferencias Sustantivas: Arquitecturas con precisión similar (por ejemplo, Transformers vs. Mamba) pueden emplear mecanismos internos fundamentalmente diferentes. Los Transformers y Based aprenden un mecanismo de inducción generalizable, mientras que el éxito de Mamba en AR depende fuertemente de un componente arquitectónico específico (la convolución corta) que implementa la inducción localmente.
Dependencia de la Tarea: Los mecanismos aprendidos no son estáticos; Mamba adapta su estrategia según la estructura de la tarea (adyacente vs. jerárquica).
Implicaciones de Diseño: Los hallazgos sugieren que las convoluciones cortas son un habilitador clave para la memoria asociativa en los SSM, pero su ausencia no impide el aprendizaje de mecanismos de inducción si la estructura de la tarea (como ATR) lo requiere.
Dirección Futura: Los autores postulan que las métricas mecanicistas deberían adoptarse como una herramienta estándar para el análisis de arquitecturas para "abrir la caja negra" del progreso de la IA, yendo más allá de la intuición y el benchmarking empírico para explicar cómo los modelos resuelven las tareas.

El artículo concluye que, si bien las tareas sintéticas como AR han impulsado la innovación arquitectónica, tratarlas únicamente como benchmarks conductuales descarta una señal valiosa. Al aplicar intervenciones causales, los autores revelan que el "éxito" de los SSM en las tareas de recuperación a menudo depende de componentes específicos y sensibles a la tarea, en lugar de una capacidad de inducción universal y robusta inherente a la propia formulación de los SSM.