💬 NLP

AI-rithmetic

Este estudio investiga por qué los modelos de IA avanzados fallan en aritmética básica, demostrando que sus errores en la suma de números grandes se deben principalmente a problemas de alineación de operandos relacionados con la tokenización o a fallos en el acarreo de dígitos.

Autores originales: Alex Bie, Travis Dick, Alex Kulesza, Prabhakar Raghavan, Vinod Raman, Sergei Vassilvitskii

Publicado 2026-02-12

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Alex Bie, Travis Dick, Alex Kulesza, Prabhakar Raghavan, Vinod Raman, Sergei Vassilvitskii

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

🧠 El "Efecto Genio Distraído": ¿Por qué la IA gana medallas de matemáticas pero falla en sumas simples?

Imagina que tienes frente a ti a un estudiante que es capaz de escribir poemas profundos, explicar la teoría de la relatividad y resolver problemas de álgebra que dejarían en ridículo a un universitario. Ese estudiante parece un genio absoluto. Pero, de repente, le pides que sume 45 + 78 y... ¡se equivoca! Te da un número que no tiene sentido.

Eso es exactamente lo que está pasando con la Inteligencia Artificial (IA) actual, y un nuevo estudio titulado "AI-rithmetic" lo explica a fondo.

1. El problema: El genio que no sabe contar

Los investigadores de Google descubrieron que, aunque los modelos más avanzados (como GPT-5 o Claude) son increíbles para razonar conceptos complejos, su rendimiento se desploma cuando les pides que sumen números largos.

Es como si la IA fuera un chef de tres estrellas Michelin que puede inventar recetas de alta cocina, pero que de vez en cuando se olvida de cómo usar un cuchillo para cortar una cebolla. No es que no sea inteligente; es que su "mecanismo" para las tareas básicas tiene fallos de diseño.

2. ¿Por qué fallan? Los dos "pecados" de la IA

El estudio encontró que casi todos los errores no son "locuras" aleatorias, sino que se deben a dos errores muy específicos:

El error de "Desalineación" (El efecto de la columna torcida):
Imagina que estás haciendo una suma en un papel cuadriculado. Para que salga bien, los números deben estar perfectamente alineados en sus columnas. La IA, sin embargo, a veces "mueve" un número hacia un lado o hacia otro. Es como si intentaras sumar dos filas de personas, pero una fila estuviera un paso más adelante que la otra. Al final, terminas sumando la nariz de uno con el pie del otro. ¡El resultado es un desastre!
El error de "El acarreo olvidado" (El efecto de la memoria de pez):
Cuando sumas, por ejemplo, $8 + 5 = 13$ , escribes el $3$ y "llevas una" al siguiente número. El estudio descubrió que la IA tiene problemas con estos "llevados". A veces, cuando la suma es muy ajustada (como cuando el resultado es 9 o 10), la IA se confunde y decide no llevar nada, o lleva uno cuando no debe. Es como si estuvieras siguiendo una receta y, justo cuando te dicen "añade una pizca de sal", te quedaras mirando al techo y se te olvidara hacerlo.

3. ¿Por qué no se arregla simplemente haciendo la IA "más grande"?

Podrías pensar: "Bueno, si la hacemos más inteligente y le damos más datos, lo arreglará". Pero el estudio dice que no es tan fácil.

El problema no es falta de conocimiento, sino cómo la IA "lee" los números. La IA no ve los números como nosotros (uno por uno), sino que los agrupa en "paquetes" de símbolos (llamados tokens). Es como si intentaras leer un libro, pero en lugar de ver letras, vieras bloques de palabras enteros; si un bloque está mal cortado, toda la frase pierde el sentido.

En resumen...

La IA actual es como un supercomputador con un pequeño tornillo suelto. Es capaz de navegar por las estrellas y entender el lenguaje humano, pero ese pequeño tornillo hace que, cuando la tarea se vuelve repetitiva y mecánica (como sumar números largos), el sistema se desmorone.

El estudio nos enseña que, para llegar a una IA verdaderamente confiable, no basta con hacerla "más grande"; tenemos que enseñarle a construir sus cimientos de forma sólida, para que no sea un genio que se tropieza con su propio pie.

Resumen Técnico: AI-rithmetic*

1. El Problema: La Paradoja de la Aritmética en la IA

A pesar de que los modelos de lenguaje de gran tamaño (LLMs) de vanguardia han demostrado capacidades asombrosas en matemáticas avanzadas (demostraciones de teoremas, álgebra, geometría), muestran una fragilidad persistente en tareas aritméticas básicas. El estudio identifica una desconexión crítica: los modelos pueden resolver problemas complejos pero fallan sistemáticamente al sumar números enteros simples a medida que aumenta la cantidad de dígitos. El problema central es que el rendimiento no mejora de forma lineal con el escalado del modelo, lo que sugiere que la arquitectura actual no está implementando un algoritmo de suma fiable.

2. Metodología

Los autores realizaron una investigación sistemática utilizando una variedad de modelos de frontera (incluyendo Claude Opus 4.1, GPT-4o, GPT-5, Gemini 2.5 Pro/Flash y Gemma 3 27B).

Configuración del experimento: Se generaron miles de problemas de suma de dos números ( $A + B$ ) con longitudes de dígitos ( $d$ ) que variaban desde 1 hasta 100.
Evaluación: Se utilizó un método de extracción de respuesta basado en la distancia de edición para identificar el número correcto dentro de la respuesta del modelo.
Clasificación de errores: Para entender por qué fallan, los investigadores categorizaron los errores en tres tipos principales:
1. Desalineación (Misalignment): Cuando uno de los operandos se desplaza verticalmente (hacia la izquierda o derecha) respecto al otro.
2. Errores de acarreo cercano (Close carry errors): Fallos en los casos límite donde la suma de una columna es 9 (y el modelo acarrea un 1 por error) o es 10 (y el modelo no acarrea).
3. Errores descontrolados (Runaway errors): Respuestas excesivamente largas que no guardan relación con el resultado.

3. Contribuciones Clave y Hallazgos

Identificación de patrones de error: El estudio demuestra que la gran mayoría de los errores son altamente interpretables. Los errores de desalineación y de acarreo cercano explican, respectivamente, el 87.9% de los errores de Claude Opus 4.1, el 62.9% de GPT-5 y el 92.4% de Gemini 2.5 Pro.
Relación con la Tokenización: Se descubrió que los errores de desalineación están vinculados a cómo los modelos fragmentan los números en tokens. Por ejemplo, en GPT-5, la precisión muestra una periodicidad (cada 3 dígitos), lo que coincide con su uso de un tokenizador que agrupa dígitos en bloques de tres. Esto sugiere que los tokens de longitud variable confunden la alineación de los operandos.
Modelo Estocástico de Acarreo: Los autores proponen que los errores de acarreo se comportan de forma casi independiente en cada columna. Mediante un modelo probabilístico, demostraron que los modelos fallan en cada "acarreo cercano" con una probabilidad constante $p$ , lo que explica por qué la precisión decae geométricamente a medida que aumenta la longitud del número.

4. Resultados Principales

Degradación de la precisión: Exceptuando los modelos que utilizan ejecución de código (como Gemini 2.5 Pro con Code Execution), la precisión de todos los modelos cae drásticamente conforme aumenta el número de dígitos.
Distribución Bimodal: Los errores presentan una distribución de distancia de edición bimodal: errores de "baja distancia" (pequeños fallos locales por acarreo) y errores de "alta distancia" (fallos estructurales por desalineación que alteran todo el número).
Sesgo de desplazamiento: La mayoría de los modelos tienden a realizar desplazamientos hacia la derecha (padding positivo), posiblemente debido a patrones aprendidos en los datos de entrenamiento donde el número más largo se escribe primero.

5. Significancia y Conclusiones

Este trabajo es fundamental porque desafía la noción de que el "escalado" (añadir más parámetros y datos) resolverá automáticamente las capacidades de razonamiento lógico y aritmético.

La investigación concluye que los LLMs actuales no están "aprendiendo" el algoritmo de la suma, sino que están utilizando estrategias heurísticas y propensas a errores que dependen de decisiones de diseño como la tokenización y la autorregresión. El estudio advierte que, si queremos sistemas de IA robustos y confiables para tareas de precisión, no basta con mejorar la escala; se requieren nuevos diseños de arquitectura, estrategias de entrenamiento o métodos de integración con sistemas simbólicos que permitan una ejecución algorítmica exacta.