Resumen Técnico: Aprendizaje mediante la Internalización

Planteamiento del Problema

El artículo investiga el fenómeno de la internalización en sistemas basados en redes neuronales, centrándose específicamente en cómo estos sistemas absorben procedimientos computacionales explícitos (como la Cadena de Pensamiento, o CoT) en sus pesos para realizar tareas de manera más eficiente. Si bien las redes neuronales a menudo se benefician de la supervisión paso a paso para aprender tareas complejas (por ejemplo, simular semiautomátas o computar paridades), el aprendizaje directo de estas tareas sin dicho andamiaje suele ser computacionalmente difícil o imposible para las arquitecturas estándar.

El problema central abordado es doble:

1. Mecanismo: ¿Cómo transicionan los transformadores de generar pasos de razonamiento intermedios explícitos (CoT) a computar directamente el resultado final en menos pasos (idealmente en una sola pasada hacia adelante) manteniendo la precisión?
2. Compromiso de Generalización: ¿Preserva este proceso de internalización la robustez del razonamiento original, o conduce a soluciones de "atajo" que degradan el rendimiento fuera de la distribución (OOD)?
3. Dificultad Teórica: ¿Puede la internalización servir como una estrategia viable para eludir los límites inferiores computacionales conocidos para el aprendizaje de ciertas funciones difíciles (como las paridades) que son difíciles de aprender mediante un entrenamiento directo de extremo a extremo?

Metodología

Los autores emplean una combinación de estudios empíricos sobre transformadores autorregresivos y un análisis teórico riguroso de arquitecturas de transformadores simplificadas.

1. Marco Empírico: Simulación de Semiautomátas

Los autores estudian la simulación de semiautomátas (específicamente el contador modular semiautomata $C_n$ y el grupo de permutación $S_3$) sobre $T$ pasos de tiempo. Comparan tres regímenes de entrenamiento:

• Extremo a Extremo (E2E): Entrenamiento únicamente sobre el estado final.
• Cadena de Pensamiento (CoT): Entrenamiento con todos los estados intermedios proporcionados explícitamente.
• Internalización mediante Currículo: Un proceso de dos etapas donde el modelo es entrenado primero con supervisión completa de CoT, seguido de un currículo que elimina progresivamente los tokens intermedios (amputándolos desde la izquierda, la derecha o inductivamente) para forzar al modelo a internalizar la computación.

Analizan el impacto de las elecciones arquitectónicas (profundidad vs. anchura) y las propiedades específicas de los semiautomátas (por ejemplo, el orden del grupo) en el éxito de la internalización.

2. Marco Teórico: Paridad Dispersa

Para proporcionar garantías demostrables, los autores analizan un transformador de una sola capa simplificado con atención lineal y un MLP no lineal fijo. Estudian la tarea de aprender una función de paridad oculta sobre un conjunto de soporte desconocido.

• Currículo: El modelo es entrenado en una secuencia de entradas donde los tokens de CoT (paridades parciales) se eliminan progresivamente desde la izquierda.
• Algoritmo: Definen un algoritmo de entrenamiento específico (Algoritmo 2) que involucra descenso de gradiente con inicializaciones y pasos de redondeo específicos para demostrar que el modelo puede aprender primero el CoT explícito y luego internalizar la computación para devolver la paridad directamente.

3. Conexión con el Desplazamiento de Distribución Positivo (PDS)

El artículo enmarca la internalización dentro del marco de Desplazamiento de Distribución Positivo (PDS) (Medvedev et al., 2026). Argumentan que aprender un sistema "lento" (con CoT) en una distribución que incluye pistas, e internalizarlo después, constituye un PDS. Esto permite al modelo aprender una distribución objetivo "difícil" aprendiendo primero una distribución desplazada más "fácil". Además, exploran si un currículo secuencial puede ser reemplazado por una única distribución mixta que contenga ejemplos de diversas longitudes de CoT.

Contribuciones Clave

1. Hallazgos Empíricos sobre Semiautomátas

• Anchura vs. Profundidad: La internalización exitosa está más fuertemente correlacionada con la anchura del modelo que con la profundidad. Arquitecturas más anchas y superficiales (por ejemplo, profundidad 4) superan a las más profundas (por ejemplo, profundidad 25) con presupuestos de parámetros fijos. Esto sugiere que la internalización ocurre "horizontalmente" a través del ancho del modelo en lugar de "verticalmente" a través de las capas.
• Dificultad de Orden Primo: Los semiautomátas con órdenes primos (por ejemplo, $C_{13}, C_{17}$) son significativamente más difíciles de internalizar que aquellos con órdenes compuestos (por ejemplo, $C_{14}, C_{15}$). Los autores conjeturan que esto se relaciona con la capacidad de los transformadores para representar de forma compacta los contra-semiautomátas cuyos órdenes tienen factores de potencia de números primos pequeños (Teorema 1).
• El Compromiso OOD: La internalización a menudo conduce a una degradación en el rendimiento Fuera de la Distribución (OOD). Mientras que los modelos entrenados con CoT generalizan bien ante distribuciones de entrada sesgadas, los modelos internalizados tienden a aprender soluciones de "atajo" que fallan bajo condiciones OOD (Figura 1, derecha).
• Dirección del Currículo: El currículo de la izquierda (eliminar tokens desde el inicio) es generalmente más efectivo que el currículo de la derecha para la internalización, probablemente debido a la estabilidad de los incrustamientos posicionales en el transformador.

2. Pruebas Teóricas para la Paridad

• Internalización Demostrable: Los autores proporcionan el primer análisis demostrable que muestra que un transformador simplificado de una sola capa puede aprender una paridad con supervisión de CoT explícita y luego internalizar demostrablemente la computación a medida que se eliminan los tokens de CoT (Teorema 2).
• Dificultad Computacional: Demuestran que aprender la representación de la paridad directamente desde los datos sin la internalización de CoT es computacionalmente difícil (en el modelo de Consulta Estadística), mientras que la vía de la internalización es tratable.

3. Distribuciones Mixtas como Alternativa

• El artículo demuestra que para MLPs y transformadores autorregresivos, el currículo secuencial para la internalización puede ser reemplazado por el entrenamiento en una única distribución mixta que contiene ejemplos con diversas longitudes de CoT (y pistas de longitud). Este enfoque de mezcla logra un éxito similar en el aprendizaje de tareas difíciles y, notablemente, puede recuperar un mejor rendimiento OOD en el régimen de CoT completo en comparación con los modelos entrenados mediante currículo.

Resultados

• Semiautomátas: Los transformadores entrenados con CoT logran una precisión casi perfecta tanto en la Distribución Interna (ID) como en la Fuera de la Distribución (OOD). Sin embargo, tras la internalización mediante un currículo de la izquierda, la precisión ID permanece alta, pero la precisión OOD cae significativamente (a menudo hasta el azar para autómatas de orden primo).
• Tarea de Paridad: El modelo teórico aprende con éxito la función de paridad. Tras el currículo, el modelo devuelve la paridad correcta en una sola pasada hacia adelante, habiendo internalizado la lógica de múltiples pasos.
• Aprendizaje de Mezcla: Los experimentos muestran que el entrenamiento en una mezcla de longitudes de CoT (con pistas de longitud) permite que un solo modelo pueda tanto responder directamente como generar un CoT completo, superando a menudo a los modelos entrenados por currículo en robustez OOD cuando se permite el CoT completo.

Significado y Reivindicaciones

El artículo sostiene que el aprendizaje mediante la internalización es una estrategia poderosa que permite a las redes neuronales resolver tareas que de otro modo serían computacionalmente intratables para el aprendizaje directo. Al aprender primero un sistema "lento" con razonamiento explícito y luego comprimir esto en los pesos, los modelos pueden eludir las barreras de dificultad (como se ve en la tarea de paridad).

Sin embargo, los autores también destacan una advertencia crítica: la internalización no es una panacea. El proceso a menudo conduce a una pérdida de robustez, donde el modelo aprende atajos frágiles que fallan bajo cambios distributivos. Esto sugiere que, si bien la internalización reduce los costos de inferencia y permite el aprendizaje, puede comprometer las capacidades de generalización que proporciona el razonamiento explícito.

Finalmente, el trabajo conecta estas observaciones empíricas con el marco de Desplazamiento de Distribución Positivo, sugiriendo que el éxito del aprendizaje basado en currículos y la internalización puede entenderse como el aprovechamiento de una secuencia de distribuciones más fáciles para aprender una distribución objetivo difícil. El hallazgo de que una única distribución mixta puede reemplazar los currículos complejos ofrece una vía más práctica y robusta para entrenar modelos en tareas de razonamiento complejo.