Resumen Técnico: Aritmética en la Naturaleza

Declaración del Problema

El artículo investiga el papel algorítmico de la geometría de la representación en los modelos de lenguaje grandes (LLMs), centrándose específicamente en cómo los modelos razonan sobre conceptos cíclicos (por ejemplo, meses, días de la semana, horas). Si bien trabajos anteriores han establecido que los LLMs representan estos conceptos utilizando geometría circular (Engels et al., 2025) y que los transformadores pequeños entrenados en aritmética modular operan sobre bases periódicas (Nanda et al., 2023), una pregunta crítica permanece: ¿Implica la estructura circular de la representación de entrada un cálculo circular?

Los autores hipotetizan que Llama-3.1-8B podría calcular respuestas a preguntas como "¿Qué mes es seis meses después de agosto?" rotando a lo largo de una variedad circular. Sin embargo, descubren que el modelo no realiza aritmética modular directa dentro del período específico del concepto (por ejemplo, módulo 12 para meses). En su lugar, el modelo utiliza un mecanismo de suma en base 10 genérico y agnóstico a la tarea antes de mapear el resultado de nuevo al espacio cíclico.

Metodología

El estudio emplea una combinación de análisis causal y sondeo geométrico para diseccionar los mecanismos internos de Llama-3.1-8B.

1. Abstracción Causal mediante Búsqueda de Alineación Distribuida (DAS):

   • Los autores utilizan DAS (Geiger et al., 2023) para localizar subespacios de bajo rango en el flujo residual que codifican variables causales: el concepto de entrada, el desplazamiento y el concepto de salida.
   • Miden la Precisión de Intervención de Intercambio (IIA) para determinar cuándo y dónde se combinan estas variables. Esto implica parchear estados ocultos de prompts contrafactuales en prompts originales para ver si la salida del modelo cambia de manera predecible.
   • Este análisis aísla la capa específica y la posición del token donde ocurre el cálculo.

2. Parcheo entre Tareas:

   • Para probar la hipótesis de un mecanismo compartido, los autores realizan experimentos de "parcheo" entre tareas aritméticas estándar ($a+b=$) y tareas cíclicas (por ejemplo, meses).
   • Parchean el flujo residual de un prompt de suma en un prompt cíclico (y viceversa) dentro de los subespacios DAS compartidos para observar si el modelo genera la suma o el concepto cíclico, respectivamente.

3. Sondeo y Dirección de Fourier:

   • Los autores entrenan sondas lineales para detectar características de Fourier (representaciones sinusoidales) con períodos específicos $T \in \{2, 5, 10, 20, 50, 100\}$, conocidas por representar números en base 10 (Kantamneni & Tegmark, 2025).
   • Verifican si estas características, entrenadas en suma estándar, están presentes y son causales en tareas cíclicas.
   • Utilizan estas sondas para dirigir el estado interno del modelo, forzando la "suma pre-módulo" a un valor contrafactual para ver si la salida se desplaza en consecuencia.

4. Identificación y Ablación de Neuronas:

   • Los autores identifican un conjunto disperso de neuronas MLP en la Capa 18 que escriben en los subespacios de salida DAS.
   • Analizan los patrones de activación de estas neuronas, particionándolas en clústeres basados en su periodicidad.
   • Realizan estudios de ablación (poniendo a cero neuronas específicas) para cuantificar su contribución causal al rendimiento del modelo.

Resultados Clave

1. Un Mecanismo Compartido de Suma en Base 10

Contrario a la hipótesis de un cálculo circular, el modelo calcula tareas cíclicas utilizando un mecanismo de suma en base 10.

• Proceso de Dos Pasos: El modelo primero calcula la suma de las entradas en el espacio numérico (por ejemplo, $6 + 8 = 14$) y solo en capas posteriores mapea esta suma de nuevo al espacio de conceptos cíclicos (por ejemplo, $14 \to \text{febrero}$).
• Localización en la Capa 18: El análisis causal revela que los conceptos de entrada y los desplazamientos se combinan en la MLP de la Capa 18 en la posición del último token. Crucialmente, la geometría circular del concepto de salida (por ejemplo, el "círculo de los días de la semana") no está presente en la Capa 18; solo emerge en las capas 22–25.
• Parcheo entre Tareas: Parchear desde un prompt de suma ($6+8=$) hacia un prompt cíclico hace que el modelo genere el concepto cíclico correspondiente a la suma (por ejemplo, febrero). Por el contrario, parchear desde un prompt cíclico hacia un prompt de suma hace que el modelo genere la suma pre-módulo (por ejemplo, 14), incluso si el modelo falla al producir la respuesta cíclica correcta en una ejecución limpia.

2. Características de Fourier y Agnosticismo de Tarea

El modelo utiliza características de Fourier agnósticas a la tarea para realizar la suma.

• Las representaciones internas respetan las periodicidades estándar en base 10 ($T \in \{2, 5, 10, 20, 50, 100\}$) en lugar del período específico del concepto cíclico (por ejemplo, 12 para meses o 7 para días de la semana).
• Las sondas de Fourier entrenadas en suma estándar dirigen con éxito las tareas cíclicas, confirmando que las mismas características geométricas impulsan el cálculo a través de dominios.

3. Circuito de Neuronas Dispersas

Los autores identifican un conjunto disperso de 28 neuronas MLP en la Capa 18 (aproximadamente el 0.2% de la MLP de la capa) que son responsables de esta suma.

• Agrupadas por Período: Estas neuronas pueden particionarse en clústeres disjuntos, donde cada clúster calcula la suma para un período de Fourier específico (por ejemplo, un clúster para $T=2$, otro para $T=5$, etc.).
• Mecanismo: Las neuronas operan de manera distribuida. Algunas neuronas exhiben patrones de activación "divididos" (leyendo el concepto de entrada a través del vector de puerta y el desplazamiento a través del vector de subida), mientras que otras están "mezcladas". Sus vectores de proyección hacia abajo suman un vector que apunta al ángulo correcto en el plano de Fourier, codificando la suma módulo $T$.
• Impacto de la Ablación: La ablación a cero de estas 28 neuronas causa una caída drástica en la precisión (por ejemplo, de 95% a 24% para suma), mientras que la ablación de todas las demás neuronas de la Capa 18 conserva la mayor parte del rendimiento.

Significado y Afirmaciones

El artículo afirma proporcionar una comprensión mecánica de cómo los modelos de lenguaje grandes realizan aritmética sobre conceptos cíclicos, cerrando la brecha entre la geometría de la representación y el cálculo causal.

• Geometría vs. Cálculo: El trabajo demuestra que, si bien las representaciones pueden ser circulares, el cálculo subyacente no es necesariamente aritmética modular en ese círculo. En su lugar, el modelo reutiliza un circuito genérico de suma en base 10, mapeando el resultado al dominio objetivo solo después de que el cálculo esté completo.
• Interacción de Métodos: El estudio destaca el poder de combinar abstracción causal (para localizar dónde se procesa la información) con análisis geométrico (para entender cómo se representa). El análisis causal localizó el cálculo en la Capa 18, mientras que el análisis geométrico reveló que el cálculo depende de características de Fourier en base 10 en lugar de estructuras circulares específicas de la tarea.
• Circuitos Dispersos: La identificación de un conjunto pequeño y reutilizable de neuronas (28 neuronas) que realizan suma a través de diversas tareas (meses, días, horas, números) sugiere que los LLMs desarrollan subcircuitos compartidos altamente eficientes para operaciones aritméticas fundamentales, independientemente del dominio semántico de la entrada.

Los autores permanecen modestos respecto a la generalización, señalando que estos mecanismos específicos fueron identificados en Llama-3.1-8B y podrían no generalizarse a todos los modelos o a todos los tipos de razonamiento cíclico (por ejemplo, los desplazamientos hacia atrás o las consultas de distancia estaban fuera del alcance). Sin embargo, los hallazgos ofrecen un ejemplo concreto de cómo la "aritmética en la naturaleza" se implementa a través de la interacción de neuronas dispersas y la geometría de Fourier.