🔢 mathematics

A Counterexample to Fourier Alignment in Single-Neuron Modular Addition

Este artículo refuta la hipótesis del alineamiento de Fourier en la adición modular de una sola neurona mediante la construcción de un contraejemplo donde una neurona ReLU inicialmente activa se vuelve permanentemente inactiva con su energía de Fourier distribuida equitativamente entre todas las clases de frecuencias no nulas, un fenómeno que ocurre con probabilidad positiva bajo una inicialización gaussiana y persiste a través de diversas convenciones de entrenamiento y métodos de aproximación.

Autores originales: Gautam Neelakantan Memana

Publicado 2026-08-06

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Gautam Neelakantan Memana

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El enigma de la neurona que canta

Imagina una vasta orquesta digital donde cada músico es un interruptor diminuto y simple llamado "neurona". Estos interruptores no interpretan sinfonías complejas por sí solos; simplemente escuchan unas pocas notas, deciden si el sonido es lo suficientemente fuerte y luego gritan un único número a la siguiente sección. Cuando conectas millones de estos interruptores, obtienes una red neuronal, una máquina capaz de aprender a reconocer gatos, traducir idiomas o resolver problemas matemáticos. Pero aquí reside el misterio: ¿cómo es que una máquina hecha de partes tan simples logra comprender reglas complejas?

Los científicos han estado estudiando un juego matemático especialmente difícil llamado "suma modular". Es como un reloj que solo tiene un cierto número de horas (por ejemplo, 5 o 7) y vuelve a empezar cuando llega al tope. Si sumas 3 horas a las 4 en un reloj de 5 horas, no obtienes 7; obtienes 2. Las redes neuronales son sorprendentemente buenas aprendiendo este juego. De hecho, cuando los investigadores observaron dentro de las redes que lo resolvían, descubrieron algo mágico: las neuronas parecían empezar a "cantar" en notas musicales o "frecuencias" específicas. Parecía que la red se estaba organizando en un coro donde cada cantante elegía solo una nota para dominar, y juntos creaban la armonía perfecta para resolver el acertijo matemático. Esta idea de que una sola neurona se asentaría naturalmente en una sola "frecuencia" para hacer su trabajo se convirtió en una teoría popular. Sugería que entrenar estas redes era como sintonizar una radio para encontrar la única estación perfecta.

El contraejemplo: Cuando el coro queda en silencio

Este artículo, escrito por Gautam Neelakantan Memana, interviene en esa teoría musical y dice: "Un momento. Eso no siempre es lo que sucede". El autor presenta un contraejemplo ingenioso: un escenario específico donde la popular teoría de la "alineación de frecuencia única" falla por completo.

Piensa en la teoría popular como una regla que dice: "Si entrenas a una neurona para resolver esta suma de reloj, eventualmente elegirá una nota musical específica y se mantendrá en ella para siempre". El artículo muestra que esta regla no es una ley de la naturaleza. En su lugar, el autor construye una configuración inicial muy específica donde la neurona se comporta de dos maneras sorprendentes que desafían la regla de la "nota única".

Primero, la neurona puede simplemente morir. Imagina a un cantante que comienza con una voz fuerte pero, a medida que el director (el algoritmo de entrenamiento) intenta corregir su tono, el cantante se desanima tanto que deja de cantar por completo. En el mundo de las matemáticas, esto significa que la "puerta" interna de la neurona se cierra, deja de reaccionar a cualquier entrada y se congela en un estado de silencio. Cuando esto sucede, las matemáticas muestran que la "energía" de la neurona no está enfocada en una sola nota en absoluto. En cambio, está repartida equitativamente entre todas las notas posibles de la canción. Es como un cantante que, en lugar de dar una nota alta, tararea un ruido estático y plano que contiene un pequeño fragmento de todas las frecuencias a la vez.

Segundo, el artículo muestra un escenario donde la neurona permanece activa pero se queda estancada memorizando un solo registro de la tabla matemática. En lugar de aprender la regla general del reloj, aprende a responder correctamente solo para un par específico de números (como "3 más 4") e ignora todo lo demás. Incluso en este estado de "memorización", las matemáticas demuestran que el enfoque de la neurona sigue repartido entre todas las frecuencias, no solo en una.

El autor demuestra que estos resultados "malos" no son solo accidentes raros. Ocurren para toda una gama de condiciones iniciales. Si eligieras al azar un punto de partida para la configuración de la neurona, existe una probabilidad real y positiva de que termine en uno de estos estados donde falla al elegir una frecuencia única. Esto significa que el proceso de entrenamiento no obliga a la neurona a convertirse en una especialista de una sola nota. El comportamiento de "nota única" que vemos en algunos experimentos es solo una posibilidad, no un resultado garantizado.

El artículo también comprueba si esto sucede con diferentes tipos de reglas de entrenamiento. Muestra que incluso si cambias cómo las matemáticas calculan el estado "muerto" (usando diferentes convenciones matemáticas para cuando un interruptor está exactamente apagado) o si utilizas una versión más suave del interruptor, la neurona aún puede quedarse estancada en estos estados de múltiples frecuencias y no alineados. Incluso si entrenas la red utilizando un método computacional estándar paso a paso (descenso de gradiente), la neurona puede congelarse tras un solo paso, sin encontrar nunca esa nota perfecta única.

Así que, la gran conclusión es que, si bien las redes neuronales pueden aprender a usar frecuencias únicas para resolver la suma modular, no tienen por qué hacerlo. El proceso de entrenamiento es lo suficientemente flexible como para permitir que una neurona muera o se quede estancada memorizando un solo dato, dejando su estructura interna desordenada y repartida en muchas frecuencias. El "coro de nota única" es un resultado posible, pero no es el único que el universo permite.

Resumen Técnico: Un Contraejemplo al Alineamiento de Fourier en la Suma Modular de un Solo Neurón

Planteamiento del Problema
El artículo aborda una pregunta específica sobre las propiedades de la teoría de representaciones de las redes neuronales entrenadas en aritmética modular, una tarea central para comprender el "grokking" y la generalización algorítmica. Específicamente, investiga el problema planteado en [Cla26d] relativo a un único neurón ReLU entrenado mediante entropía cruzada de tabla completa exacta para la suma en el grupo cíclico $\mathbb{Z}/p\mathbb{Z}$ (donde $p \ge 5$ es primo).

La pregunta central es si, condicionado a que el neurón esté inicialmente activo, el vector de parámetros normalizado $(u, v, w)$ debe converger hacia una dirección soportada en una única clase de Fourier real no nula (es decir, una frecuencia específica $\zeta$ y su conjugada $-\zeta$ ). El trabajo teórico previo sobre redes de dos capas sugirió que los neurones individuales tienden a seleccionar características de Fourier de una sola frecuencia, con frecuencias que compiten basándose en las magnitudes espectrales iniciales. Este artículo busca determinar si este "alineamiento de frecuencia única" es una consecuencia necesaria de la dinámica de entrenamiento para el modelo más simple posible: un solo neurón.

Metodología
El autor emplea un enfoque analítico riguroso utilizando inclusiones diferenciales de Clarke para modelar la dinámica de entrenamiento en tiempo continuo, reconociendo la no diferenciabilidad de la activación ReLU en cero. La metodología consiste en:

Construcción de Condiciones Iniciales Específicas: El autor define un conjunto de parámetros iniciales donde exactamente una compuerta de entrada (correspondiente a las entradas $(0,0)$ ) está activa, mientras que todas las demás compuertas están estrictamente inactivas (pre-activación negativa).
Análisis del Sistema Dinámico: Analizan el flujo de gradiente de la pérdida de entropía cruzada. Al explotar la simetría, reducen el sistema de alta dimensión a una ecuación diferencial ordinaria (ODE) de baja dimensión que gobierna la pre-activación de la compuerta activa y los pesos de salida.
Análisis de Invariantes: El autor identifica una cantidad conservada (o una cantidad con un comportamiento monotónico específico) que relaciona las diferencias de los pesos de salida y la pre-activación de entrada. Esto permite demostrar que la pre-activación de la compuerta activa disminuye linealmente a cero en un tiempo finito.
Selección de Trayectoria de Clarke: Al alcanzar la pre-activación cero, el autor utiliza el marco de la derivada generalizada de Clarke. Demuestran que, al seleccionar la derivada de ReLU en cero como 0 (una convención estándar en la diferenciación automática), la trayectoria entra en un estado "muerto" donde todos los gradientes se anulan y los parámetros se congelan.
Análisis Espectral de Fourier: El autor computa la distribución de energía de Fourier de los vectores de parámetros congelados. Muestran que la dirección límite es un múltiplo escalar de un vector de masa puntual centrada, que distribuye su energía equitativamente entre todas las clases de Fourier reales no nulas.

Contribuciones Clave y Resultados

Refutación del Alineamiento de Frecuencia Única: El artículo proporciona una solución negativa al problema planteado en [Cla26d]. Construye un contraejemplo donde los parámetros normalizados convergen a un límite que no está soportado en una sola clase de Fourier. En su lugar, la energía de Fourier se distribuye equitativamente entre las $p-1$ clases de frecuencia no nulas. Para $p \ge 5$ , la fracción de energía en cualquier clase única es $2/(p-1)$ , lo cual es estrictamente menor que 1.
Muerte en Tiempo Finito y Congelación: El contraejemplo demuestra que un solo neurón puede alcanzar un estado completamente inactivo ("neurón ReLU muerto") en tiempo finito. Una vez muerto, los parámetros se congelan en un límite determinado por las condiciones iniciales y la dinámica previa a la muerte.
Robustez y Probabilidad: El contraejemplo no es un artefacto aislado.
- Se sostiene en un conjunto abierto de condiciones iniciales, lo que implica que ocurre con una probabilidad positiva bajo una inicialización Gaussiana estándar.
- El Apéndice A fortalece estos resultados, mostrando que:
  - El fallo ocurre para cada trayectoria de Clarke desde un conjunto abierto de condiciones iniciales (eliminando la necesidad de una selección de trayectoria específica).
  - El fenómeno persiste bajo la convención $\text{ReLU}'(0)=0$ .
  - Se mantiene para aproximaciones de zona muerta suaves de ReLU (funciones $C^\infty$ que son cero para $z \le 0$ ).
  - Ocurre en el descenso de gradiente de lote completo de paso fijo, donde el neurón muere en un solo paso.
Contraejemplo de Actividad Persistente: El apéndice también presenta una trayectoria de "deslizamiento persistente" donde el neurón permanece activo (una compuerta permanece positiva) pero los pesos normalizados aún convergen a un límite de múltiples frecuencias, fallando el alineamiento de frecuencia única incluso sin que el neurón muera.

Significancia y Reivindicaciones
El artículo sostiene que la estructura de Fourier de frecuencia única, o monosemántica, no es una consecuencia general de entrenar un solo neurón en la suma modular.

Mecanismo de Fallo: El fallo surge de dos mecanismos familiares: la muerte del neurón (entrada en una región muerta) o el hecho de que el neurón permanezca activo mientras efectivamente "memoriza" una única entrada de la tabla (el caso $(0,0)$ ) en lugar de aprender el algoritmo general. La trayectoria persistente realiza la parte de "memorización" de la dicotomía memorización-generalización asociada al grokking en el modelo más pequeño posible.
Limitaciones: El autor señala explícitamente que sus resultados dependen de la existencia de una región muerta exacta en la función de activación. La cuestión sigue abierta para activaciones que sean positivas en todas partes (como softplus), donde el mecanismo de "muerte" no puede ocurrir.
Contexto: El trabajo aclara que, si bien la estructura de Fourier está presente en el espacio de soluciones, la dinámica de entrenamiento no fuerza la selección de una única frecuencia. Los resultados distinguen el comportamiento de los modelos de un solo neurón de los mecanismos de selección de múltiples frecuencias observados en redes más anchas (por ejemplo, ancho $m \ge 4(p-1)$ como en [MEO+24]).

En resumen, el artículo establece que la hipótesis de un alineamiento inevitable de frecuencia única en la suma modular de un solo neurón es falsa, proporcionando un contraejemplo concreto donde la dirección límite es máximamente no pura en términos de clases de Fourier.

El enigma de la neurona que canta

El contraejemplo: Cuando el coro queda en silencio

Más como este