🤖 AI

LinAlg-Bench: A Forensic Benchmark Revealing Structural Failure Modes in LLM Mathematical Reasoning

LinAlg-Bench revela que los modelos de lenguaje grandes exhiben un umbral conductual estructural en dimensiones de matrices de 4x4, pasando de errores de ejecución en tareas más pequeñas al abandono computacional sistemático y a la alucinación estructurada en tareas más grandes, lo que indica una limitación fundamental de la memoria de trabajo en lugar de una brecha de conocimiento.

Autores originales: Shradha Agarwal, Deepak Rajbhar, Tariq J

Publicado 2026-05-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shradha Agarwal, Deepak Rajbhar, Tariq J

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un equipo de robots muy inteligentes y bien leídos. Les pides que resuelvan problemas matemáticos. Para problemas pequeños y sencillos, son brillantes. Pero cuando les das un problema ligeramente más grande y complejo, de repente dejan de intentar hacer los cálculos y comienzan a inventar cosas que suenan como matemáticas.

Este artículo, LinAlg-Bench, es como una investigación forense sobre exactamente por qué y cómo estos robots (Modelos de Lenguaje Grandes o LLM) fallan al realizar álgebra lineal (un tipo de matemáticas que involucra cuadrículas de números llamadas matrices).

Aquí está el desglose de sus hallazgos usando analogías simples:

1. La Prueba: Una "Prueba de Estrés" para Cerebros

Los investigadores no solo le hicieron preguntas matemáticas aleatorias a los robots. Crearon una prueba específica llamada LinAlg-Bench.

La Configuración: Les dieron a los robots problemas que involucraban cuadrículas de números (matrices) de tres tamaños: 3x3 (pequeño), 4x4 (mediano) y 5x5 (grande).
El Truco: El tipo de problema matemático permaneció exactamente igual (como encontrar un "determinante" o "valores propios"). Lo único que cambió fue el tamaño de la cuadrícula.
El Objetivo: Si los robots fallaban porque no sabían las matemáticas, deberían fallar en todos los tamaños. Si fallaban porque su "cerebro" se cansaba demasiado, deberían fallar solo en los tamaños más grandes.

2. El Descubrimiento: El "Acantilado 4x4"

Los resultados mostraron un pronunciado "acantilado" en el rendimiento.

En 3x3 (Pequeño): Casi todos los robots lo resolvieron correctamente. Estaban haciendo las matemáticas correctamente.
En 4x4 (Mediano): Los robots comenzaron a tropezar. Todavía intentaban hacer las matemáticas, pero cometían errores en los pasos (como dejar caer un signo negativo o sumar números incorrectamente).
En 5x5 (Grande): Aquí es donde el comportamiento cambió completamente. Los robots no solo cometieron errores matemáticos; se rindieron.

La Analogía: Imagina a un estudiante tomando un examen.

En un cuestionario corto (3x3), obtiene el 100%.
En una prueba mediana (4x4), se esfuerza pero se confunde y comete errores de cálculo.
En el examen largo y difícil (5x5), en lugar de intentar resolver el problema difícil, mira la pregunta, suspira y escribe una respuesta que parece pertenecer al examen (tiene el formato correcto y números que parecen razonables) pero que en realidad está completamente inventada.

3. El Límite de la "Memoria de Trabajo"

El artículo argumenta que los robots no fallan porque carezcan de conocimiento (conocen las reglas). Fallan debido a un límite de memoria de trabajo.

La Analogía: Piensa en tu cerebro como un escritorio.
- Para un problema 3x3, puedes colocar todas las hojas de papel sobre el escritorio y resolverlo.
- Para un problema 5x5, las hojas de papel son demasiadas para el escritorio. Tienes que sostener algunas en la mano mientras escribes otras.
- El "escritorio" de los robots es demasiado pequeño. Cuando el problema se vuelve demasiado grande, no pueden mantener todos los pasos intermedios en su "mano" al mismo tiempo. En lugar de admitir que están abrumados, comienzan a alucinar.

4. La Alucinación de "Rol de Herramienta"

Uno de los hallazgos más fascinantes es cómo se rinden los robots.

Cuando las matemáticas se vuelven demasiado difíciles (en 5x5), los robots a menudo fingen usar una calculadora o un programa informático que en realidad no tienen.
La Analogía: Es como un estudiante que no sabe la respuesta a una pregunta difícil, así que dice: "Bueno, si tuviera una supercomputadora, me diría que la respuesta es 42", y luego simplemente escribe "42".
El artículo llama a esto "Confabulación Consciente de Restricciones". Los robots son lo suficientemente inteligentes como para saber que la respuesta debería seguir ciertas reglas (como que la suma de los números coincida con un valor específico), por lo que inventan una respuesta que se ajusta a esas reglas, aunque en realidad no hayan realizado el trabajo.

5. La Trampa de la "Estrategia"

Los investigadores intentaron ayudar a los robots obligándolos a usar un método matemático más eficiente (como decirles: "¡No uses la forma larga, usa la corta!").

El Resultado: No ayudó. Incluso cuando se les obligó a usar el método "fácil", los robots aún fallaron.
¿Por qué? El problema no era qué método usaban; era que no podían mantener los pasos en orden sin perder el rastro. Es como decirle a un corredor cansado que dé pasos más cortos; si ya está exhausto, pasos más cortos no lo ayudarán a terminar la carrera.

6. Los Tres Niveles de Robots

El artículo clasificó los 10 modelos de IA diferentes en tres grupos según cuándo fallaron:

Nivel 1 (Los Más Fuertes): Podían manejar los problemas matemáticos 5x5 mayormente correctamente, pero incluso ellos comenzaron a "rendirse" y a inventar cosas cuando se les pidió el tipo de respuesta más compleja (valores propios).
Nivel 2 (El Medio): Manejaron los problemas medianos bastante bien, pero colapsaron completamente en los más difíciles.
Nivel 3 (Los Más Débiles): Comenzaron a fallar antes y se rindieron muy rápido, a menudo inventando respuestas incluso para problemas de tamaño mediano.

La Conclusión

El artículo concluye que estos modelos de IA no fallan al azar. Su fracaso es estructural.

Son excelentes en tareas pequeñas.
Tienen dificultades con tareas medianas debido a errores de cálculo.
Abandonan completamente la tarea en tareas grandes y complejas y comienzan a inventar mentiras que suenan plausibles porque su "memoria de trabajo" interna se agota.

Los autores publicaron todos sus datos y herramientas para que otros científicos puedan estudiar este límite de "memoria de trabajo" e intentar solucionarlo. Demostraron que, para estos modelos, hacer las matemáticas es más difícil que conocer las matemáticas.

Resumen Técnico: LinAlg-Bench

Enunciado del Problema

Las evaluaciones actuales de los Modelos de Lenguaje Grande (LLM) en el razonamiento matemático a menudo confunden la dificultad con la novedad, midiendo únicamente la precisión de la respuesta final sin distinguir entre déficits de conocimiento y fallos de ejecución. El relato estadístico predominante sugiere que los modelos fallan debido a datos de entrenamiento insuficientes o a un techo general de capacidad. Este artículo argumenta que el fallo de los LLM bajo carga computacional recursiva no es aleatorio, sino estructuralmente restringido. Específicamente, postula que los modos de fallo cambian de manera predecible según la familia de algoritmos y la dimensión de la matriz, transitando de errores de ejecución al abandono computacional en un umbral de complejidad medible. El álgebra lineal se selecciona como banco de pruebas porque sus operaciones son algorítmicamente precisas, escalan naturalmente mediante la dimensión de la matriz sin alterar la tarea subyacente y se descomponen en una jerarquía cognitiva donde cada nivel añade exactamente un requisito computacional.

Metodología

Los autores presentan LinAlg-Bench, un banco de pruebas diagnóstico diseñado para aislar la profundidad computacional del conocimiento matemático.

Conjunto de datos: El banco de pruebas comprende 660 problemas con entradas enteras verificados contra el cálculo simbólico de SymPy, distribuidos en 9 tipos de tareas y 3 dimensiones de matriz ( $3\times3$ , $4\times4$ , $5\times5$ ). Esto resulta en 6.600 salidas de modelos evaluadas exhaustivamente.
Modelos: Se evaluaron diez modelos de vanguardia en configuración zero-shot con temperatura 0, abarcando arquitecturas diversas (Dense, MoE), paradigmas de entrenamiento (optimizados para razonamiento, RLHF, Híbridos) y proveedores (OpenAI, Google, Anthropic, Meta, Alibaba, Mistral, DeepSeek).
Taxonomía cognitiva: Las tareas se organizan en cinco niveles cognitivos:
1. Lectura: Extracción pura de entradas (Rastreo, Transposición).
2. Aritmética: Cálculo independiente paralelo (Matriz-Vector, Multiplicación, Potencia).
3. Secuencial: Seguimiento de estado a través de operaciones por filas (Rango, Nullidad).
4. Recursivo: Gestión profunda de signos recursivos (Determinante mediante expansión por cofactores).
5. Composicional: Construido sobre el Determinante como subrutina (Valores propios).
Pipeline forense: Un pipeline automatizado de tres etapas de "LLM como Juez" clasifica 1.156 respuestas incorrectas en diez etiquetas de error principales (por ejemplo, SIGN_ERROR, HALLUCINATION, MEMORY_LOSS) y cuatro extensiones específicas de valores propios. La clasificación sigue el "principio del primer error", etiquetando el paso más temprano donde el cálculo se desvía de la verdad fundamental. El pipeline fue validado contra 593 etiquetas anotadas por humanos, logrando un acuerdo general del 92,6%.
Estudio de ablación: Un estudio dirigido impuso estrategias algorítmicamente eficientes (eliminación gaussiana) a modelos que naturalmente favorecían la expansión por cofactores para probar si el número de operaciones o la profundidad de ejecución era el verdadero cuello de botella.

Resultados Clave

1. El Umbral de Fabricación a Abandono

El hallazgo empírico central es una transición conductual aguda en la escala $4\times4$ .

Por debajo del umbral ( $3\times3$ ): Los modelos intentan el cálculo y fallan dentro de él. Los fallos están dominados por errores de ejecución como SIGN_ERROR (33,0%) y ARITHMETIC.
Por encima del umbral ( $5\times5$ ): Los modelos abandonan el cálculo antes de intentarlo. El modo de fallo dominante cambia a HALLUCINATION (47,1%), específicamente Colapso_Completo, donde los modelos fabrican respuestas mediante interpretación de roles de herramientas (simulando llamadas a Python/NumPy/WolframAlpha a las que no pueden acceder) o confabulación consistente con las restricciones.
Universalidad: Esta transición es casi universal en todos los niveles de modelos y arquitecturas, sugiriendo un límite de memoria de trabajo en lugar de una brecha de conocimiento.

2. Rendimiento por Niveles y Modos de Fallo

Los modelos se separan en tres niveles distintos basados en su límite de rendimiento:

Nivel 1 (por ejemplo, OpenAI-o1, Gemini-3.0-Pro, DeepSeek-V3): Mantienen una precisión $\ge74\%$ en determinantes $5\times5$ pero convergen a una precisión de valores propios cercana a cero. Exhiben la transición de "fabricación a abandono" pero sostienen la ejecución recursiva por más tiempo.
Nivel 2 (por ejemplo, GPT-5.2, Mistral-Large): Resisten parcialmente las cargas recursivas pero colapsan en el nivel composicional.
Nivel 3 (por ejemplo, GPT-4o, Llama-3.3-70B, Claude-4.5-Sonnet): Colapsan completamente en el nivel recursivo (precisión de determinante $5\times5$ $\le12\%$ ).

3. Confabulación Consciente de Restricciones

Cuando los modelos no logran calcular valores propios en $5\times5$ , no generan números arbitrarios. En su lugar, fabrican valores que satisfacen restricciones matemáticas parciales:

El 45% de las sumas de valores propios fabricados coinciden con la traza de la matriz.
El 85% de las magnitudes fabricadas respetan el límite de la norma de Frobenius.
Esta "confabulación consciente de restricciones" representa un modo de alucinación estructurado donde los modelos aprovechan el conocimiento parcial para satisfacer restricciones superficiales mientras fallan en el cálculo central.

4. Estrategia vs. Profundidad de Ejecución

El estudio desafía la hipótesis de que la eficiencia algorítmica (número de operaciones) es el principal cuello de botella.

Observación: En configuraciones zero-shot naturales, los modelos rígidamente atrapados en la expansión por cofactores ( $O(n!)$ ) colapsaron con más frecuencia que aquellos que utilizaban eliminación gaussiana ( $O(n^3)$ ).
Ablación: Cuando se obligó explícitamente a los modelos a utilizar eliminación gaussiana, la precisión no se recuperó significativamente (por ejemplo, Mistral-Large mejoró solo al 26,9%; otros permanecieron cerca del 0%).
Conclusión: El cuello de botella no es el algoritmo seleccionado, sino la profundidad de ejecución autoregresiva. La eliminación gaussiana requiere una cadena estrictamente secuencial de aritmética fraccionaria altamente dependiente; un solo error en un paso temprano se propaga irreversiblemente, colapsando el resultado. La expansión por cofactores, aunque matemáticamente más costosa, consiste en pasos enteros paralelos e independientes que son más seguros para que los transformadores ejecuten.

Significado y Afirmaciones

LinAlg-Bench contribuye con una taxonomía forense y un hallazgo empírico falsificable sobre la naturaleza estructural del fallo matemático de los LLM.

Restricción Estructural: El fallo de los LLM no es aleatorio, sino determinado por la familia de algoritmos y la dimensión de la matriz. La transición de error de ejecución a abandono computacional es un umbral medible consistente con un límite de memoria de trabajo.
Nuevo Modo de Fallo: El artículo documenta la confabulación consciente de restricciones y el colapso por interpretación de roles de herramientas como mecanismos de alucinación distintos y estructurados que ocurren bajo sobrecarga computacional, los cuales los bancos de pruebas basados únicamente en precisión clasificarían erróneamente como correctos o no detectarían.
Hipótesis Mecanísticas: Los hallazgos generan hipótesis comprobables para la interpretabilidad mecánica, como la implicación de circuitos de paridad de capas tardías en los fallos de seguimiento de signos y la supresión de estos circuitos durante el colapso completo.
Metodología de Evaluación: El artículo argumenta que los bancos de pruebas diagnósticos deben generar hipótesis mecanísticas falsificables en lugar de producir meramente clasificaciones de tablas de clasificación. Demuestra que un banco de pruebas que mantiene el algoritmo fijo mientras escala la dimensión puede aislar la profundidad computacional del conocimiento matemático.

Los autores declaran explícitamente que el umbral de fabricación a abandono y la cuenta de memoria de trabajo son afirmaciones respaldadas directamente por los datos, invitando a la verificación mediante herramientas de interpretabilidad mecánica y replicación en dominios cruzados. Todos los datos, las salidas de los modelos, las etiquetas de error y el pipeline del juez se han publicado públicamente.