Numbers Already Carry Their Own Embeddings

Resumen Técnico: Incrustaciones de Operación Preservada Adélicas (AOE)

Planteamiento del Problema
A pesar de los hitos recientes en el razonamiento matemático por parte de los modelos de lenguaje extensos (LLM), persiste un cuello de botella fundamental: el "probleente de los números". Las arquitecturas actuales tratan predominantemente los números como secuencias de caracteres mediante esquemas de tokenización como la Codificación de Par de Bytes (BPE). Este enfoque fragmenta los valores numéricos en unidades de subpalabras arbitrarias, despojándolos de las relaciones aditivas y multiplicativas intrínsecas que los definen. En consecuencia, los modelos exhiben un razonamiento frágil, una generalización inconsistente y errores sistemáticos en tareas que requieren precisión aritmética. Si bien intentos previos han explorado incrustaciones continuas o codificaciones posicionales dígito por dígito, estos métodos suelen depender de la esperanza de que los modelos redescubran implícitamente las reglas matemáticas durante el entrenamiento, en lugar de incrustarlas directamente.

Metodología: Incrustaciones de Operación Preservada Adélicas (AOE)
Los autores proponen AOE, una representación libre de entrenamiento fundamentada en la teoría de números algebraicos. En lugar de tokenizar los números, AOE construye incrustaciones dentro de un espacio adélico, que unifica la recta real con las completaciones $p$-ádicas de los números racionales.

• Fundamento Matemático: La construcción aprovecha el Anillo de Ádeles ($\mathbb{A}_\mathbb{Q}$), representando un número racional $q$ como una tupla que contiene su valor real ($a_\infty$) y sus expansiones $p$-ádicas ($a_p$) para un conjunto seleccionado de primos.
• Preservación de la Estructura: Por diseño, esta representación preserva la estructura algebraica de forma coordinada. Para cualesquiera racionales $q_1, q_2$:
  • $A(q_1 + q_2) = A(q_1) \oplus A(q_2)$
  • $A(q_1 \cdot q_2) = A(q_1) \otimes A(q_2)$
    Aquí, $\oplus$ y $\otimes$ denotan operaciones por coordenadas en los vectores reales y $p$-ádicos concatenados.
• Construcción de la Incrustación: Para generar la incrustación de un racional $q = n/m$:
  1. Componente Real: Representado como un vector de longitud-$N$ en la recta real.
  2. Componentes $p$-ádicos: Para un conjunto fijo de primos, se computan expansiones $p$-ádicas de $N$ dígitos. Esto implica resolver la congruencia $mx \equiv n \pmod{p^N}$ utilizando el Lema de Hensel para elevar iterativamente las soluciones de módulo $p$ a módulo $p^N$.
  3. Concatenación: El vector real y los vectores $p$-ádicos truncados se concatenan para formar un tensor de forma $(n_p + 1) \times N$, donde $n_p$ es el número de primos elegidos.
• Integración: AOE es agnóstico a la arquitectura y puede integrarse directamente (plug-and-play). Reemplaza las capas de incrustación estándar en los Transformers con tensores adélicos precomputados. Para preservar la información estructural, se añade una codificación posicional 2D ligera, que codifica la posición de la secuencia, el índice del primo y el índice del dígito.

Contribuciones Clave

1. Proposición de AOE: Una representación libre de entrenamiento y algebraicamente fundamentada que respeta directamente la estructura numérica sin requerir el reentrenamiento específico para la tarea.
2. Abordaje del "Problema de los Números": El trabajo enmarca a AOE como un remedio principista para el cuello de botella de la representación numérica en la IA, ofreciendo un camino para superar las limitaciones de los enfoques basados en tokens.
3. Validación Empírica: Los autores demuestran que los Transformers equipados con AOE superan a las líneas base estándar en tareas de combinatoria algebraica, logrando una precisión perfecta en tareas donde los modelos previos fallaron.

Resultados Experimentales
Los autores evaluaron AOE en el Conjunto de Datos de Combinatoria Algebraica (ACD), un benchmark diseñado para la conjetura de nivel de investigación en combinatoria algebraica. Los experimentos compararon un Transformer base estándar (usando nn.Embedding entrenable y codificaciones posicionales sinusoidales) contra un Transformer equipado con AOE (usando tensores adélicos fijos y precomputados).

• Desempeño: A través de seis tareas de clasificación (incluyendo caminos de red, clases de mutación de quivers y polinomios de Schubert), el modelo AOE superó consistentemente a la línea base.
• Logro Notable: El modelo AOE alcanzó una precisión del 100% en el benchmark de Patrones de Tejido (Weaving Patterns) para $n=6$ y $n=7$, una tarea que históricamente ha resistido a los modelos de lenguaje de gran escala y donde la línea base logró solo un ~53%.
• Generalización: Las mejoras variaron desde ganancias modestas (ej. caminos de red) hasta saltos dramáticos (ej. polinomios de Schubert y clases de mutación de quivers), con pérdidas de prueba más bajas que indican una mejor calibración del modelo.
• Eficiencia: Aunque AOE introduce una sobrecarga computacional (el entrenamiento es aproximadamente 4 a 5 veces más lento debido a la precomputación y la codificación posicional 2D), las ganancias de rendimiento se lograron sin aumentar el número de parámetros entrenables; de hecho, la línea base tenía más parámetros entrenables.

Significancia y Reivindicaciones
El artículo postula que los números contienen inherentemente la estructura necesaria para su propia representación. Al hacer esta estructura explícita a través de AOE, los modelos neuronales pueden alcanzar niveles de fiabilidad en tareas matemáticas simbólicas que eluden incluso a los LLM más grandes.

Los autores argumentan que el futuro del razonamiento de la IA depende de incrustar las estructuras matemáticas de los objetos mismos, en lugar de simplemente el lenguaje utilizado para describirlos. AOE sirve como una prueba de concepto de que las ideas de la teoría de números algebraicos pueden funcionar como componentes plug-and-play en arquitecturas neuronales, sugiriendo un camino para unir el rigor simbólico con la escalabilidad neuronal.

Limitaciones Reconocidas por los Autores

• Alcance: El marco actual está restringido a los números racionales ($\mathbb{Q}$) debido a la definición del Anillo de Ádeles. Extender esto a irracionales, valores complejos o constantes trascendentales requiere nuevas herramientas teóricas.
• Hiperparámetros: La selección de primos y la precisión de los dígitos es actualmente heurística y manual; se necesitan estrategias más adaptativas para la eficiencia.
• Costo Computacional: La precomputación y la codificación posicional 2D aumentan significativamente el tiempo de entrenamiento en comparación con las incrustaciones estándar.