Resumen Técnico: Incrustaciones de Fourier Primas (PFE)

Planteamiento del Problema

Las incrustaciones (embeddings) neuronales estándar a menudo no logran exponer la estructura algebraica inherente de los enteros, particularmente en lo que respecta a la aritmética modular. Mientras que el Teorema del Resto Chino (CRT) dicta que la suma módulo un número compuesto $N$ se descompone en sumas independientes módulo sus factores primos, las incrustaciones aprendidas estándar no reflejan naturalmente esta descomposición. En consecuencia, los modelos entrenados en tareas de aritmética modular suelen sufrir de "grokking": un fenómeno donde los modelos atraviesan prolongadas fases de memorización antes de generalizar repentinamente. Este retraso se atribuye a un fallo representacional: cuando el input carece de una estructura local prima explícita, la red debe reconstruir estas relaciones algebraicas desde cero mediante el descenso de gradiente, un proceso que es ávido de datos y frágil.

Los enfoques existentes presentan limitaciones: las codificaciones continuas (por ejemplo, xVal) preservan la magnitud pero descartan la periodicidad, mientras que los enfoques periódicos como las Incrustaciones de Números de Fourier (FoNE) suelen utilizar bases compuestas (por ejemplo, base-10) que entrelazan distintas estructuras primas (por ejemplo, la estructura 2-ádica y 5-ádica) dentro de canales compartidos, fallando al aislar la información local prima.

Metodología: Incrustaciones de Fourier Primas (PFE)

Los autores introducen las Incrustaciones de Fourier Primas (PFE), un esquema de incrustación basado en principios derivado del análisis armónico de los números racionales $\mathbb{Q}$.

• Construcción: La PFE codifica un entero $a$ como una colección de pares $(\cos, \sin)$ indexados por primos. Para un primo $p$ y una profundidad $d$ (donde $0 \le d < D$), la incrustación se define como:
  $$\text{PFE}_{p,d}(a) = \left[ \cos\left(\frac{2\pi a}{p^{d+1}}\right), \sin\left(\frac{2\pi a}{p^{d+1}}\right) \right] \in \mathbb{R}^2$$
  Esto corresponde a la descomposición real del carácter $\chi_1$ del grupo $\mathbb{Z}/p^{d+1}\mathbb{Z}$.
• Base Teórica: El diseño está motivado por la dualidad de Pontryagin y la factorización de los caracteres adélicos. La incrustación implementa directamente los caracteres $p$-ádicos locales, asegurando que la estructura de residuo de cualquier entero sea legible desde el correspondiente canal primo sin acoplamiento entre distintos primos.
• Implementación: En los experimentos, los autores utilizan un conjunto fijo de 16 primos ($P_0 = \{3, \dots, 59\}$) y un límite de profundidad de $D=3$, lo que resulta en una dimensión de incrustación de 96. Las características de la incrustación son deterministas y no entrenables.

Contribuciones Teóricas Clave

El artículo establece una garantía estructural rigurosa para cualquier mapa lineal que opere sobre la PFE:

1. Teorema de Descomposición Diagonal por Bloques (Teorema 3.1): Cualquier mapa lineal $W$ que sea equivariante con respecto a la acción del producto de grupos sobre la PFE debe ser diagonal por bloques.
   • Hay un bloque independiente por cada primo $p$ y profundidad $d$.
   • Existe cero acoplamiento entre bloques de distintos primos.
   • Existe cero acoplamiento entre bloques de distintas profundidades dentro del mismo primo.
2. Mecanismo de Demostración: Este resultado se deriva del Lema de Schur. Cada bloque PFE representa una representación irreducible no isomórfica (un carácter) del grupo aditivo $\mathbb{Z}$. Dado que los caracteres para distintos pares $(p, d)$ no son isomórficos, cualquier interviniente equivariante entre ellos debe ser cero.
3. Predicción del CRT: Para una tarea con módulo $N = p_1 \cdots p_k$, la teoría predice que solo los $k$ canales primos correspondientes a los factores de $N$ portarán información relevante para la tarea, mientras que todos los demás canales serán irrelevantes.

Resultados Experimentales

Los autores validan estas predicciones mediante estudios de ablación sistemáticos en tareas de suma modular $(a+b) \mod N$.

• Experimento 1 (Tareas de un solo primo): Los modelos fueron entrenados en tareas con módulos primos variables. Cuando se abló la fila de un primo específico correspondiente al módulo de la tarea (poniéndola a cero), la precisión de prueba cayó significativamente. En contraste, la ablación de filas de primos irrelevantes causó caídas de precisión casi nulas.
  • Resultado: Las razones de especialización (caída diagonal vs. caída fuera de la diagonal) superaron las 500$\times$ en la mayoría de las configuraciones, confirmando que la red utiliza únicamente el canal primo relevante.
• Experimento 2 (Módulos Compuestos): Los modelos fueron entrenados en módulos compuestos libres de cuadrados (por ejemplo, $N=15, 21, 105$).
  • Resultado: La ablación de los factores primos de $N$ causó grandes caídas en la precisión, mientras que la ablación de los no factores causó caídas insignificantes. La relación factor/no factor superó nuevamente las 500$\times$.
  • Precisión: Los modelos alcanzaron un 100% de precisión de prueba intra-distribución en todos los módulos compuestos libres de cuadrados probados y rangos de entrada (siempre que el rango de entrada fuera suficientemente grande relativo a $N$).

Significado y Reivindicaciones

El artículo afirma que la PFE transforma el aprendizaje de la aritmética modular de un problema de descubrimiento representacional a un problema de selección.

• Principiado vs. Arbitrario: A diferencia de las elecciones de frecuencia heurísticas, la base prima está matemáticamente fundamentada en la descomposición de Fourier adélica de $\mathbb{Q}$. Esto asegura que la estructura algebraica necesaria esté presente desde la inicialización.
• Interpretabilidad Mecanicista: El trabajo demuestra que el diseño de las incrustaciones puede guiarse por las matemáticas de los objetos que representan. La estructura interna de la red se caracteriza antes del entrenamiento (vía teoría de la representación) y se verifica después del entrenamiento (mediante ablaciones dirigidas).
• Teoría Falsable: El Teorema de Descomposición Diagonal por Bloques proporciona una restricción estructural demostrable sobre el comportamiento de la red. La confirmación empírica de esta restricción ofrece un camino hacia un razonamiento numérico más fiable y transparente en las redes neuronales, yendo más allá de la observación post-hoc hacia una teoría matemáticamente fundamentada.

Los autores señalan que, si bien la estructura diagonal por bloques está demostrada, el mecanismo específico por el cual el descenso de gradiente converge a una solución equivariante (en lugar de romper la simetría) sigue siendo una cuestión abierta para trabajos futuros.