💬 NLP

Arithmetic OOD Failure Unfolds in Stages in Minimal GPTs

Este estudio demuestra que el fracaso de la generalización aritmética fuera de distribución en modelos GPT mínimos ocurre en etapas secuenciales identificables: barreras de diseño, semántica de transporte, recomposición condicional y residuos de decenas, ofreciendo una descomposición experimental de estos fallos.

Autores originales: Seine A. Shintani

Publicado 2026-03-31

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Seine A. Shintani

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que has enseñado a un niño pequeño a sumar números de dos cifras (como 25 + 34) hasta que lo hace perfecto. Le has mostrado todas las combinaciones posibles de esos números. Ahora, le pides que sume números de tres cifras (como 125 + 234).

Sorprendentemente, el niño falla. ¿Por qué? Si ya sabe sumar las unidades y las decenas, ¿qué le falta?

Este artículo de investigación, escrito por Seine Shintani, responde a esa pregunta. Descubre que el "cerebro" de una inteligencia artificial pequeña (un modelo GPT minimalista) no falla de golpe, sino que tropieza en cuatro etapas distintas, como si tuviera que subir una escalera donde cada peldaño es un problema diferente.

Aquí te explico las cuatro etapas de este "accidente matemático" usando analogías sencillas:

1. El Primer Obstáculo: El "Cambio de Escenario" (Layout Barrier)

Imagina que le has enseñado al niño a sumar en una hoja de papel donde los números siempre están alineados a la derecha.

El problema: De repente, le das un papel donde los números están escritos de forma extraña o con espacios diferentes (un "cambio de diseño"). Aunque el niño sabe sumar, se confunde porque el dónde están los números ha cambiado.
La solución: No basta con darle más reglas de suma. Tienes que mostrarle los mismos números, pero escritos en ese nuevo formato. Una vez que ve el "escenario" nuevo, deja de tropezar.
En la IA: El modelo aprendió a sumar, pero estaba muy atado a la posición exacta de los números. Si cambias el diseño, el modelo se pierde.

2. El Segundo Obstáculo: La "Bandera de Alerta" vs. El "Dígito Real" (Carry Semantics)

Una vez que el niño ve bien el papel, empieza a sumar. Aquí ocurre algo curioso con la columna de las centenas (el tercer número).

El problema: El modelo no ve la columna de las centenas como un número real (como "100", "200"). En su lugar, la trata como una luz de advertencia o una "bandera" que se enciende solo cuando hay un "acarreo" (cuando la suma de las decenas pasa de 9 y hay que llevar un 1).
- Analogía: Es como si en un coche, el velocímetro no mostrara la velocidad real, sino que solo se iluminara en rojo cuando vas rápido. El modelo piensa: "¡Oh, hay un acarreo! ¡Pon un 1 aquí!", en lugar de calcular el valor real de las centenas.
La solución: Tienes que enseñarle específicamente que esa columna es un número con valor propio, no solo una señal de alarma.

3. El Tercer Obstáculo: El "Cuello de Botella de Ensamblaje" (Conditional Recomposition)

Ahora el modelo sabe sumar las centenas correctamente y sabe cuándo llevar un 1. Pero sigue fallando en la respuesta final.

El problema: El modelo sabe la parte "alta" del número (las centenas), pero no sabe cómo "pegar" o unir la parte "baja" (las unidades y decenas) de forma correcta.
- Analogía: Imagina que eres un carpintero. Sabes hacer una mesa perfecta (la parte alta), pero cuando intentas ponerle las patas (la parte baja), las pones torcidas o en el lugar equivocado. Sabes las piezas, pero no sabes cómo ensamblarlas juntas en el contexto correcto.
La solución: Necesitas entrenarlo con ejemplos donde la parte baja se le enseñe dependiendo de cómo quedó la parte alta. No basta con mostrarle patas sueltas; hay que mostrarle cómo se unen a la mesa específica que acabas de construir.

4. El Último Obstáculo: El "Error de Signo" (Tens Residual)

Una vez que el modelo ensambla todo bien, queda un error muy pequeño y específico.

El problema: A veces, el modelo se equivoca en la cifra de las decenas, pero solo de una manera muy concreta: depende de si hubo un acarreo o no.
- Analogía: Es como un reloj que siempre se atrasa 5 minutos si es de día, y se adelanta 5 minutos si es de noche. El error no es aleatorio; es un "sesgo" que depende de una condición previa.
La solución: Al detectar este patrón específico (que el error cambia según el acarreo), se puede corregir con un ajuste fino, logrando que el modelo sea casi perfecto.

¿Por qué es importante esto?

Hasta ahora, muchos investigadores solo miraban la nota final (¿acertó el modelo la suma o no?). Si fallaba, decían "el modelo no sabe sumar".

Este estudio nos dice: "Espera, no es tan simple".
El error no es un bloque único. Es como una caja de herramientas:

Primero, arregla el diseño.
Luego, arregla el significado de los números.
Después, arregla cómo se unen las partes.
Finalmente, ajusta el pequeño error de las decenas.

La lección principal: Para entender por qué una Inteligencia Artificial falla, no basta con mirar el resultado final. Hay que desmenuzar el problema paso a paso, como un mecánico que no solo dice "el coche no arranca", sino que identifica si es la batería, el aceite o las bujías.

Al hacer esto, podemos arreglar la IA de forma mucho más inteligente y eficiente, en lugar de simplemente darle "más datos" a lo loco.

Resumen Técnico: Descomposición del Fallo OOD en Aritmética

1. El Problema

Las evaluaciones de modelos de lenguaje en tareas aritméticas suelen reducirse a una única puntuación de "exactitud" (exact match) en un conjunto de datos de prueba fuera de distribución (OOD). El autor argumenta que esta métrica única es insuficiente porque confluye fallos cualitativamente diferentes. Un modelo puede conocer todas las reglas locales de dígitos necesarias para la suma, pero aún fallar debido a:

Cambios en el formato (layout).
Asignación semántica incorrecta de posiciones (ej. tratar un dígito de centenas como una bandera de acarreo).
Incapacidad para recomponer correctamente la parte inferior del número basándose en el estado superior.

El objetivo del artículo es descomponer el fallo de generalización en longitud (de 2 a 3 dígitos) en un minimal GPT entrenado exhaustivamente en sumas de 2 dígitos, identificando qué falla primero, qué sigue y cómo reparar cada etapa de forma específica.

2. Metodología

El estudio se basa en un sandbox controlado utilizando un modelo Transformer decodificador-minimal (inspirado en microGPT) con las siguientes características:

Entrenamiento Exhaustivo: El modelo se entrena con todas las $100 \times 100 = 10,000$ combinaciones posibles de sumas de 2 dígitos (formato 49+07=056). Esto garantiza que el modelo ya conoce todas las reglas locales de transición de dígitos; por tanto, cualquier fallo posterior no se debe a falta de datos locales, sino a problemas de generalización estructural.
Evaluación Escalonada: Se utilizan suites de evaluación ordenadas para introducir dificultades cualitativamente distintas:
1. Layout-only: Misma magnitud (0-99) pero formato de 3 dígitos (049+007=0056).
2. True 3-digit (sin acarreo): Sumas reales de 3 dígitos sin acarreo hacia las centenas.
3. True 3-digit (con acarreo): Sumas con acarreo hacia las centenas.
4. Thousands-carry: Sumas que generan un acarreo hacia el dígito de miles.
Intervenciones Emparejadas: Se comparan familias de modelos con intervenciones específicas frente a controles emparejados (mismo volumen de datos, pero contenido diferente) para aislar la causa del fallo:
- Familias de Posición: Comparación de sesgos posicionales (absolutos, acoplados, conscientes de simetría) vs. exposición a layouts mixtos.
- Sondeo de Acarreo (Carry Probe): Entrenamiento dirigido para corregir la interpretación semántica de la posición de las centenas.
- Ablación de Ensamblaje (Binding): Comparación de datos que enseñan solo la parte alta, solo la cola (bajos), o la cola condicionada al estado alto.
- Estudio de Residuos Tardíos: Análisis de errores restantes en modelos de mayor capacidad (2 capas).

3. Contribuciones Clave y Resultados

El estudio demuestra que el fallo aritmético OOD no es monolítico, sino que se despliega en cuatro etapas secuenciales y experimentales:

Etapa 1: La Barrera de Diseño (Layout Barrier)

Hallazgo: Un modelo con buen rendimiento en 2 dígitos colapsa completamente (exactitud ~0.0008) cuando se le presenta el mismo rango numérico en un formato de 3 dígitos, incluso si todas las reglas de dígitos locales son conocidas.
Causa: El modelo depende de una posición absoluta aprendida que no se generaliza al cambio de formato.
Solución: Ningún sesgo posicional inductivo complejo (como posiciones acopladas o conscientes de simetría) resuelve esto por sí solo. La única intervención efectiva es la exposición a layouts mixtos durante el entrenamiento, que debilita significativamente esta barrera.

Etapa 2: Semántica de Acarreo (Carry-Semantics Barrier)

Hallazgo: Una vez reparado el layout, el modelo trata la posición de las "centenas" no como un dígito de valor posicional, sino como una bandera de acarreo (indicador binario de si hubo un acarreo desde abajo).
Evidencia: Los márgenes de logits favorecen fuertemente el "dígito bandera" sobre el "dígito verdadero".
Solución: Un sondeo dirigido (targeted probe) que enseña explícitamente la semántica correcta invierte el margen de logits y corrige el comportamiento. Un control con datos extra no dirigidos no logra esto, demostrando que es un problema semántico específico, no de optimización.

Etapa 3: Recomposición Condicional (Conditional Recomposition)

Hallazgo: Tras corregir la semántica de las centenas, el modelo a menudo tiene el estado superior correcto pero falla al unir la "cola" inferior correcta.
Solución: Los datos que enseñan la parte inferior condicionada al estado superior correcto (high-conditioned tail) superan significativamente a los datos que enseñan solo la parte alta o solo la cola. Esto indica que el cuello de botella es la capacidad de ensamblar (bind) las partes del número correctamente.
Validación: Este ordenamiento se mantiene en experimentos de puente con modelos de mayor capacidad (2 capas, ancho 32).

Etapa 4: Residuo de Signo de Decenas (Late Tens-Residual)

Hallazgo: Una vez superadas las etapas anteriores, los errores restantes son muy específicos: errores en el dígito de las decenas condicionados al estado del acarreo ( $c_2$ $c_{2}$ ).
- Si no hay acarreo ( $c_2=0$ ), el modelo tiende a subestimar (under-shoot) el dígito de las decenas.
- Si hay acarreo ( $c_2=1$ ), tiende a sobreestimar (over-shoot).
Solución: Una intervención de "polaridad de decenas" (tenspolarity) que corrige este sesgo direccional aumenta la exactitud en el conjunto más difícil (acarreo a miles) de 0.664 a 0.822.

4. Significado e Implicaciones

Descomposición del Fallo: El trabajo proporciona un marco para descomponer la "generalización aritmética" en componentes medibles y reparables: Layout $\rightarrow$ Semántica de Acarreo $\rightarrow$ Ensamblaje Condicional $\rightarrow$ Residuo de Signo.
Crítica a las Métricas Únicas: Demuestra que una puntuación de exactitud única oculta la naturaleza del fallo. Un modelo puede fallar por razones completamente diferentes (ej. formato vs. lógica) que requieren intervenciones de entrenamiento distintas.
Validación Experimental: Al utilizar un entorno sintético exhaustivo, el estudio transforma las afirmaciones sobre generalización en hipótesis comprobables y aislables, alejándose de las evaluaciones de "caja negra".
Relevancia para Modelos Grandes: Sugiere que incluso en modelos grandes, la fragilidad aritmética ante cambios de notación o longitud puede deberse a una mezcla de estos mismos obstáculos, no solo a una falta de capacidad computacional.

En conclusión, el artículo establece que la generalización en tareas algorítmicas no es un evento binario, sino un proceso escalonado donde cada barrera debe ser identificada y abordada con intervenciones de datos específicas y emparejadas.