🤖 aprendizaje automático

Putting Transformer Theories to the Test

Este artículo evalúa siete teorías formales de las capacidades de los transformers mediante el mapeo de sus predicciones frente a un conjunto de tareas y resultados experimentales, encontrando que ninguna teoría única explica plenamente los comportamientos observados y destacando la necesidad de un nuevo marco que incorpore la atención suave, la recuperación dinámica dependiente del contenido y la capacidad de aprendizaje.

Autores originales: Awni Altabaa, Tobias Schnabel, Kiran Tomlinson

Publicado 2026-10-26✓ Author reviewed ⓘ

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Awni Altabaa, Tobias Schnabel, Kiran Tomlinson

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, que evoluciona rápidamente, un tipo específico de programa informático llamado transformador se ha convertido en el motor detrás de los sistemas de lenguaje más avanzados, como los chatbots de IA tipo ChatGPT. Estos programas no piensan como los humanos, pero son notablemente buenos detectando patrones en el texto, prediciendo la siguiente palabra en una oración y resolviendo acertijos complejos. Debido a que funcionan tan bien en la práctica, los científicos han pasado años intentando construir mapas matemáticos de lo que estos programas pueden y no pueden hacer exactamente. Estos mapas, o teorías, son como diferentes conjuntos de planos. Algunos planos sugieren que los programas están limitados a tareas simples, mientras que otros afirman que pueden manejar casi cualquier cosa. El problema es que estos planos a menudo se contradicen entre sí. Uno podría decir que un trabajo específico es demasiado difícil para la máquina, mientras que otro insiste en que es fácil. Sin una forma de contrastar estos mapas en competencia con la realidad, es difícil saber cuál es realmente correcto o cómo construir mejores máquinas en el futuro.

Un equipo de investigadores se propuso resolver este debate tratando estas teorías como hipótesis científicas que deben ser probadas en el mundo real. Reunieron las siete teorías más prominentes utilizadas actualmente para describir las capacidades de los transformadores y las sometieron a prueba contra una amplia variedad de tareas específicas. Estas tareas variaban desde problemas simples de conteo y acertijos lógicos hasta el seguimiento de la estructura de las oraciones y la navegación a través de redes de conexiones. Los investigadores no solo miraron las matemáticas sobre el papel; construyeron versiones pequeñas y personalizadas de estos programas y los entrenaron desde cero para ver si realmente podían resolver los problemas. También probaron modelos de lenguaje masivos y preentrenados que ya se utilizan hoy en día para ver si las reglas cambiaban cuando los programas se volvían mucho más grandes y complejos.

Los resultados revelaron una verdad sorprendente: ninguna teoría única podía explicar el panorama completo. Cuando los investigadores compararon las predicciones de las siete teorías con el rendimiento real de los programas, encontraron que las teorías a menudo discrepaban de la realidad y entre sí. Por ejemplo, varias teorías predijeron que un programa tendría dificultades para contar cuántas veces aparecía un símbolo específico en una lista larga de texto. En el laboratorio, sin embargo, los programas aprendieron esta tarea fácilmente e incluso pudieron aplicar lo aprendido a listas mucho más largas que las que fueron entrenadas. Por el contrario, otras teorías predijeron que un programa sería capaz de resolver un problema aritmético complejo, pero los programas fallaron consistentemente en aprenderlo, incluso cuando se les dio abundante información de entrenamiento. Este desajuste mostró que las teorías estaban omitiendo detalles clave sobre cómo funcionan realmente los programas.

El estudio identificó dos razones principales por las cuales las teorías fallaron al coincidir con la realidad. Primero, muchas de las teorías asumían que los programas tomaban decisiones enfocándose en una sola pieza de información a la vez, como un reflector que elige una sola palabra. En la realidad, los programas utilizan un método más suave y flexible que les permite mezclar información de muchas partes diferentes del texto a la vez. Esta flexibilidad les permite resolver tareas que las teorías rígidas decían que eran imposibles. Segundo, algunas teorías asumían que los programas podían realizar cálculos ilimitados en cada paso, lo que los hacía parecer más poderosos de lo que realmente son. Estas teorías predijeron que los programas podrían resolver problemas de grafos difíciles, pero los experimentos mostraron que los programas se quedaban estancados, incapaces de aprender los pasos necesarios. Los investigadores encontraron que la capacidad de un programa para aprender una tarea dependía menos de su potencia bruta y más de cómo era enseñado y cómo se organizaba su memoria interna.

Uno de los hallazgos más impactantes fue que el tamaño y el historial de entrenamiento del programa importaban inmensamente. Los programas pequeños construidos específicamente para los experimentos se comportaron de una manera muy diferente de los modelos gigantes y preentrenados utilizados en las aplicaciones cotidianas. A veces, los modelos pequeños aprendieron una tarea que los modelos grandes no pudieron resolver, y otras veces, los modelos grandes tuvieron éxito donde los pequeños fallaron. Esto sugiere que las capacidades de estos sistemas no son solo un resultado de su diseño, sino también de las vastas cantidades de datos con los que se alimentan y los métodos específicos utilizados para entrenarlos. Las teorías que se centraban solo en la arquitectura del programa, ignorando los datos y el proceso de aprendizaje, no pudieron predecir estos resultados.

En última instancia, el artículo concluye que para comprender verdaderamente estas poderosas herramientas, los científicos necesitan un nuevo tipo de teoría. Este nuevo marco debe dar cuenta de la forma flexible en que los programas mezclan la información, los límites de sus cálculos locales y el papel crucial de cómo aprenden. También debe explicar por qué algunos programas generalizan bien ante situaciones nuevas mientras que otros no, una diferencia impulsada a menudo por la forma específica en que se les enseña a recordar el orden de las palabras. Al demostrar que ningún mapa existente cubre todo el territorio, los investigadores han proporcionado un camino claro a seguir. Han creado un nuevo conjunto de puntos de referencia y una comprensión más clara de lo que realmente está sucediendo dentro de estas máquinas, ofreciendo una base sólida para construir la próxima generación de inteligencia artificial que sea tanto poderosa como predecible.

Resumen Técnico: Poniendo a prueba las teorías de los Transformers

Planteamiento del Problema

Desde la introducción de la arquitectura transformer, han surgido numerosas teorías formales para caracterizar sus capacidades y limitaciones. Estas teorías —incluyendo Star-free, AC0, TC0, C-RASP, MPC, BAPO y Sensitivity— emplean distintas abstracciones respecto al flujo de información, los mecanismos de atención y los límites computacionales. En consecuencia, a menudo arrojan predicciones contradictorias sobre qué tareas pueden resolver los transformers (por ejemplo, predecir Majority o Parity como "Difícil" o "Fácil").

El problema central abordado en este trabajo es la falta de una comprensión unificada de qué marco teórico se alinea mejor con la realidad empírica. Sigue sin estar claro qué abstracciones son necesarias para explicar los éxitos y fracasos de los transformers en la práctica, particularmente en lo que respecta al aprendizaje en la distribución (in-distribution), la generalización de longitud y el rendimiento de los modelos de lenguaje de gran tamaño (LLMs) preentrenados. Este artículo busca cerrar la breancia entre la teoría de los transformers y la práctica mediante la comparación sistemática de las predicciones de siete marcos teóricos principales frente a experimentos empíricos controlados.

Metodología

Los autores construyeron un marco de evaluación integral que consta de tres componentes principales:

Suite de Tareas: Se curó una colección diversa de tareas que cubren varios aspectos estructurales computacionales para apuntar a puntos de desacuerdo teórico. La suite incluye:
- Funciones Booleanas: All, Any, Majority, Parity.
- Tareas de Recuperación (Retrieval): Index, Index-All/Any, Index-Parity, y k-Hop Induction (componiendo búsquedas dependientes del contenido).
- Funciones Dispersas (Sparse): Sparse-All/Any, Sparse-Parity.
- Aritmética y Grafos: BinaryAdd, Edge Existence, Reachability (Dirigida/No dirigida).
- Estructuras Sintácticas: Lenguajes Dyck (de profundidad acotada e ilimitada).
Mapeo Teórico: Los autores mapearon cada tarea contra las siete teorías (Star-free, AC0, TC0, C-RASP, MPC, BAPO, Sensitivity). Donde la literatura existente carecía de una predicción para un par teoría-tarea específico, los autores derivaron nuevos resultados o construcciones teóricas para completar la matriz de predicción. Esto implicó demostrar límites inferiores, resultados de imposibilidad o construcciones explícitas (por ejemplo, demostrar que C-RASP requiere un tamaño exponencial para ciertas tareas de recuperación de consulta-clave que los transformers de atención softmax resuelven eficientemente con un ancho lineal).
Evaluación Empírica: Se llevaron a cabo tres líneas experimentales distintas para probar las predicciones teóricas:
- Aprendizaje en la Distribución (In-Distribution Learning): Entrenamiento de transformers causales pequeños y específicos para la tarea (4 capas, ancho 256) en tamaños de entrada ( $n$ ) crecientes para medir la complejidad de muestra y si el modelo puede aprender la tarea.
- Generalización de Longitud: Entrenamiento de modelos en entradas pequeñas ( $n \le 32$ ) y evaluación de su capacidad para generalizar a entradas mucho más grandes ( $n$ hasta 256). Esto se probó a través de 27 configuraciones arquitectónicas (variando tamaños de modelo y codificaciones posicionales como RoPE, NoPE y esquemas absolutos/relativos).
- Rendimiento de LLMs Preentrenados: Evaluación de cinco modelos frontera preentrenados en las mismas tareas sin ajuste fino (fine-tuning) específico de la tarea, utilizando prompts de lenguaje natural con ejemplos de pocos disparos (few-shot).

Contribuciones Clave

1. Análisis Teórico y Nuevos Resultados

Los autores proporcionaron nuevos resultados teóricos para llenar los vacíos en la literatura existente, específicamente:

Limitaciones de C-RASP: Demostraron que C-RASP (que modela el promedio uniforme) requiere un tamaño de programa exponencial para resolver tareas de recuperación de consulta-clave que los transformers de atención softmax resuelven eficientemente con un ancho lineal. Esto resalta el costo de carecer de una atención dinámica y dependiente del contenido.
k-Hop Induction: Demostraron que C-RASP no puede expresar k-Hop Induction (incluso para $k=1$ ), a pesar de que las cabezas de inducción (induction heads) son centrales para el aprendizaje en contexto en la práctica.
Dureza de BAPO: Establecieron que los lenguajes Dyck no acotados y BinaryAdd son BAPO-hard.
Separación Exponencial: Mostraron una separación de ancho exponencial entre C-RASP y los transformers de atención softmax para tareas de recuperación.

2. Matriz de Validación Empírica

El estudio generó una matriz exhaustiva comparando las predicciones teóricas de "Fácil/Difícil" contra los resultados empíricos (Aprendizaje en la Distribución, Generalización de Longitud y rendimiento de LLM). Esta matriz reveló que ninguna teoría predice consistentemente el comportamiento observado en todas las tareas.

3. Identificación de Modos de Fallo

Los experimentos identificaron razones específicas por las cuales las predicciones teóricas fallan:

Atención Hard vs. Soft: Las teorías que asumen atención dura (Star-free, AC0, BAPO) predicen incorrectamente que las tareas que requieren agregación global (como Majority) son difíciles. Empíricamente, los transformers con atención suave resuelven estas tareas de manera robusta.
Recuperación Dependiente del Contenido: Las teorías que asumen un promedio uniforme (C-RASP) predicen incorrectamente que las tareas de recuperación (como Index y k-Hop Induction) son difíciles. Empíricamente, los transformers con atención dinámica las resuelven.
Límites Superiores Laxos: Las teorías que proporcionan límites superiores laxos (TC0, MPC) a menudo predicen tareas como "fáciles" que los transformers no logran aprender en la práctica (ej. BinaryAdd, Parity). Esto sugiere que estas teorías sobreestiman la aprendibilidad práctica al ignorar las barreras de optimización o las restricciones de computación local.
Capacidad de Expresión vs. Aprendibilidad: El fallo en el aprendizaje de tareas como Parity se atribuye a barreras de optimización (paisajes de pérdida abruptos) más que a límites de expresividad, un matiz capturado solo por la teoría de Sensitivity.

Resultados

Desacuerdo entre Teorías

Las siete teorías presentan predicciones conflictivas en la mayoría de las tareas. Por ejemplo:

Majority: Predicho como Difícil por Star-free, AC0 y BAPO; Fácil por TC0, C-RASP, MPC y Sensitivity. Los transformers aprenden esto con éxito, apoyando al segundo grupo.
Parity: Predicho como Difícil por Star-free, AC0, C-RASP y Sensitivity; Fácil por TC0, MPC y BAPO. Los transformers fallan en aprender esto incluso en la distribución, apoyando al primer grupo.
k-Hop Induction: Predicho como Difícil solo por C-RASP; Fácil por otros. Los transformers aprenden la inducción de 1-hop pero tienen dificultades con composiciones de 2-hop y 3-hop.

Hallazgos Empíricos

Ninguna Teoría es Suficiente: Ninguna teoría explica el patrón completo de éxitos y fracasos.
Las Predicciones de "Difícil" son más Confiables: Cuando una teoría predice que una tarea es "Difícil", es más probable que sea correcta empíricamente que cuando predice que es "Fácil". Las predicciones "Fáciles" a menudo dependen de construcciones manuales que los algoritmos de entrenamiento podrían no descubrir.
Rol de la Codificación Posicional: La generalización de longitud es altamente sensible a la codificación posicional. Ninguna codificación única generaliza en todas las tareas (ej., NoPE generaliza en Dyck-1 no acotado, mientras que RoPE tiene éxito en 1-Hop Induction).
LLMs vs. Pequeños Transformers: Los LLMs preentrenados se comportan de manera diferente a los pequeños transformers entrenados desde cero. Los LLMs a menudo fallan en tareas como Majority e Index a medida que el tamaño de la entrada crece, mientras que los pequeños transformers tienen éxito. Por el contrario, los LLMs tienen éxito en algunas tareas donde los pequeños transformers fallan, lo que sugiere que los datos, la tokenización y las recetas de entrenamiento impactan significamente las capacidades más allá de la arquitectura sola.

Significado y Reivindicaciones

El artículo sostiene que la práctica teórica actual tiene una debilidad: las predicciones "fáciles" suelen basarse en pruebas de existencia (límites superiores constructivos) que no garantizan la aprendibilidad, mientras que las predicciones "difíciles" a veces identifican erróneamente la causa raíz del fallo (por ejemplo, atribuyendo el fallo de Parity a la expresividad en lugar de a la optimización).

Los autores argumentan que una teoría unificada de los transformers debe capturar varias características específicas que actualmente se omiten o simplifican en los marcos existentes:

Atención Suave y Dependiente del Contenido: Los modelos deben dar cuenta de la recuperación dinámica, no solo de la selección dura o el promedio uniforme.
Computación Local Acotada: Las teorías deben restringir la computación local para evitar sobreestimar las capacidades (como se ve en MPC/BAPO).
Aprendibilidad y Sesgos Inductivos: Las teorías deben explicar por qué el entrenamiento encuentra ciertas soluciones y otras no, incorporando los efectos de las codificaciones posicionales y los paisajes de optimización.
Dinámica de Datos y Entrenamiento: Una teoría de los LLMs debe dar cuenta de la influencia de los datos de preentrenamiento y las recetas de entrenamiento, no solo de la arquitectura estática.

En última instancia, este trabajo proporciona un banco de pruebas (la suite de tareas y la matriz de predicción) para guiar el desarrollo de teorías más prácticas que puedan explicar la compleja interacción entre expresividad, aprendibilidad y sesgos inductivos en los modelos transformer.