Resumen Técnico: La Forma de la Suma: Estructuras Geométricas de la Aritmética en los Modelos de Lenguaje de Gran Escala

1. Planteamiento del Problema

A pesar de alcanzar un alto rendimiento en evaluaciones de razonamiento matemático complejo (por ejemplo, GSM8K, MATH), los Modelos de Lenguaje de Gran Escala (LLMs) exhiben una fragilidad sorprendente en primitivas algorítmicas fundamentales, particularmente en la aritmética de múltiples dígitos. Existe una paradoja central: los modelos a menudo codifican la información correcta internamente pero fallan al outputarla, cometiendo frecuentemente errores de "desfase por uno" (off-by-one) a medida que aumenta el número de operandos. Investigaciones previas han intentado modelar estos comportamientos mediante la manipulación simbólica o representaciones geométricas, pero el mecanismo preciso que vincula las geometrías de activación interna con fallos de salida específicos (como los errores de propagación de acarreo) sigue siendo elusivo. Además, aunque sondas ligeras pueden decodificar la verdad fundamental de los modelos que fallan, la estructura geométrica que permite que la verdad y la alucinación coexistan dentro de un mismo vector de activación no ha sido plenamente elucidada.

2. Metodología

Los autores investigan las representaciones internas finas de los LLMs realizando la suma de 3 términos de enteros de 10 dígitos. El estudio emplea un enfoque multifacético que combina reducción de dimensionalidad, sondeo (probing) e intervención causal:

• Conjunto de Datos y Configuración: Utilizando el modelo Qwen3-4B, los autores construyeron un conjunto de datos de 10,000 problemas de suma. Extraen vectores de estado oculto ($h_p^{(L)}$) de la última capa en cada posición de dígito generado, centrándose principalmente en una posición media representativa ($p=4$).
• Visualización Geométrica: Los espacios de activación de alta dimensión se proyectan en 2D usando UMAP (Uniform Manifold Approximation and Projection) con distancia de coseno. La visualización incluye vectores "Ancla" fijos para los tokens de dígitos (0–9) para proporcionar una referencia semántica.
• Marco de Sondeo (Probing): Se entrenan sondas ligeras (regresión logística, MLPs) sobre los flujos residuales para decodificar diversas variables discretas y continuas, incluyendo el Dígito de Verdad Fundamental (Ground Truth), el Output del Modelo, el Acarreo de Entrada (Input Carry), la Suma Bruta (Raw Sum) y una variable continua recién definida llamada "Potencial de Acarreo" (Carry Potential).
• Direccionamiento Causal (Causal Steering): Para validar las hipótesis geométricas, los autores definen vectores de dirección entre centroides estables en las trayectorias identificadas e intervienen en las activaciones para observar cambios en los tokens generados.
• Corrección en Tiempo de Inferencia: Se propone un método de verificación de consistencia de doble flujo para detectar y corregir errores, forzando la alineación lógica entre las señales locales decodificadas (Suma Bruta) y las señales globales (Potencial de Acarreo).

3. Hallazgos Clave y Contribuciones

A. La Trayectoria de Suma Bruta Constante (IRST)

El principal descubrimiento geométrico es la Trayectoria de Suma Bruta Constante (IRST, por sus siglas en inglés). Los autores identifican que las representaciones aritméticas están organizadas en una estructura jerárquica:

• Esqueleto Macroscópico: Las representaciones se agrupan en diez "cuencas de dígitos" distintas centradas alrededor de anclas semánticas (0–9).
• Textura Microscópica: Dentro de cada cuenca, el espacio está estratificado en fibras paralelas determinadas por el estado del acarreo de entrada ($c_p \in \{0, 1, 2\}$).
• Definición de Trayectoria: Una IRST ($T_r$) es una variedad (manifold) continua que conecta todos los estados internos que comparten la misma suma bruta ($r_p$). Estas trayectorias actúan como "hilos" continuos que atraviesan las cuencas de dígitos adyacentes. Por ejemplo, una trayectoria con $r_p=1$ conecta nodos estables correspondientes a los dígitos de salida 1, 2 y 3 a medida que aumenta el acarreo de entrada.

B. Errores Aritméticos como Deslizamientos Geométricos

Los errores aritméticos se caracterizan no como ruido aleatorio, sino como Deslizamientos Geométricos (Geometric Slippages).

• Las predicciones correctas se agrupan densamente alrededor de nodos estables dentro de las cuencas de dígitos.
• Los errores ocurren cuando los vectores de activación derivan a lo largo de una IRST hacia las zonas de transición entre cuencas o fibras.
• Este deslizamiento se manifiesta como errores de "desfase por uno" donde el modelo confunde estados de acarreo adyacentes (por ejemplo, confundir $c_p=0$ con $c_p=1$), causando que la representación se deslice de una cuenca de dígito a otra adyacente.

C. El Modelo de Cuantización con Ruido

Para explicar la continuidad de estas trayectorias, los autores proponen el Modelo de Cuantización con Ruido:

• Potencial de Acarreo Continuo ($\Phi$): El modelo estima internamente un "Potencial de Acarreo" continuo, que representa el impulso o la fuerza de la señal de acarreo derivada del contexto. El acarreo discreto de la verdad fundamental es el piso entero de este potencial ($c_p = \lfloor \Phi \rfloor$).
• Fallo de Cuantización: La estimación interna del modelo es corrompida por ruido neuronal ($\epsilon$). Los errores ocurren cuando este ruido empuja el potencial percibido ($\hat{\Phi} = \Phi + \epsilon$) a través de un umbral de cuantización entero.
• Distribución de Error en Forma de Bañera: Este mecanismo predice una distribución de error periódica en "forma de bañera", donde las tasas de error aumentan cerca de los límites enteros (metaestabilidad) y desaparecen en los valores de medio entero (mesetas robustas). Los datos empíricos confirman este patrón, permitiendo la estimación del nivel de ruido cognitivo interno del modelo ($\sigma \approx 0.05$ para la suma de 3 términos).

D. Origen Geométrico de la Versatilidad de las Sondas

El artículo proporciona una explicación geométrica de por qué las sondas ligeras pueden decodificar simultáneamente diversas señales (Verdad Fundamental, Output del Modelo, Acarreo) de un solo vector. Esta "versatilidad de la sonda" es una función directa de la separabilidad topológica de la variedad. La alta separabilidad de la Suma Bruta y la naturaleza estructurada de las fibras IRST permiten que las sondas desentrañen señales latentes coexistentes, incluso cuando el output final es erróneo.

E. Autocorrección en Tiempo de Inferencia

Validando la retención de señales latentes correctas, los autores introducen un Protocolo de Consistencia de Doble Flujo:

1. Decodificar el Flujo de Cálculo Local (Suma Bruta) y el Flujo de Contexto Global (Potencial de Acarreo).
2. Verificar si la salida del modelo es consistente con cualquier acarreo plausible derivado del vecindario del potencial.
3. Si es inconsistente, sobrescribir los logits de salida para proyectar el estado de vuelta a la fibra de la variedad correcta.
   Este método recupera significativamente el rendimiento (por ejemplo, aumentando la precisión de tokens del 86.26% al 89.56% en Qwen3-4B), confirmando que el modelo retiene componentes matemáticos correctos incluso cuando la selección del token discreto falla.

4. Resultados

• Visualización: Las proyecciones UMAP revelan una estructura jerárquica clara con cuencas de dígitos y fibras de acarreo estratificadas, consistente en diferentes modelos (Qwen3-4B, Qwen3-8B, Gemma-3-4B-IT) y complejidades de tarea (suma de 3 a 5 términos).
• Modelado de Errores: El Modelo de Cuantización con Ruido se ajusta a la distribución de error empírica con alta fidelidad ($R^2 \approx 0.80$), prediciendo con precisión la naturaleza periódica de los errores.
• Validación Causal: Los experimentos de direccionamiento demuestran que mover las representaciones a lo largo de la dirección de la IRST cambia causalmente el dígito generado, siendo que los estados adyacentes al límite requieren perturbaciones menores para cambiar que los estados estables.
• Eficacia de la Corrección: El chequeo de consistencia de doble flujo corrige eficazmente los deslizamientos geométricos, siendo la mayoría de los errores corregidos casos de desfase por uno. Los estudios de ablación confirman que la señal de la suma bruta local permanece robusta incluso cuando la salida es incorrecta, aislando el potencial de acarreo ruidoso como el principal cuello de botella.

5. Significación y Reivindicaciones

El artículo afirma proporcionar una explicación geométrica mecánica para los fallos aritméticos en los LLMs, yendo más allá de la visión de la aritmética como pura manipulación simbólica o transiciones de estado discretas.

• Marco Unificado: Unifica la observación de la versatilidad de las sondas y la fragilidad aritmética bajo un único marco geométrico donde los errores son derivas continuas en una variedad.
• Retención de Señal Latente: Demuestra que los LLMs a menudo mantienen representaciones continuas internas correctas (Potencial de Acarreo) incluso cuando fallan en producir la salida discreta correcta, sugiriendo que las alucinaciones en aritmética son a menudo fallos de cuantización más que una falta de conocimiento.
• Universalidad: La geometría IRST y la dinámica de Cuantización con Ruido se observan en diferentes arquitecturas y escalas de modelos, lo que sugiere un mecanismo convergente para la representación aritmética en los LLMs de vanguardia.
• Intervención Práctica: El trabajo valida que las intervenciones en tiempo de inferencia basadas en la consistencia interna pueden recuperar el rendimiento, ofreciendo una vía para mejorar la fiabilidad de los LLMs al estabilizar el mapeo de pensamientos neuronales continuos a salidas simbólicas discretas.

Los autores se mantienen modestos, señalando que su evidencia actual combina visualización y sondeo en lugar de una localización completa a nivel de circuito, y que el enfoque es primordialmente la suma. Sugieren que los modelos basados en BPE con tokens de múltiples dígitos pueden tener señales de acarreo entrelazadas, lo que presenta una frontera para la investigación futura.