A Counterexample to Fourier Alignment in Single-Neuron Modular Addition

Resumo Técnico: Um Contraexemplo ao Alinhamento de Fourier em Adição Modular de Neurônio Único

Enunciado do Problema
O artigo aborda uma questão específica relativa às propriedades de teoria da representação de redes neurais treinadas em aritmética modular, uma tarefa central para a compreensão do "grokking" e da generalização algorítmica. Especificamente, investiga o problema levantado em [Cla26d] referente a um único neurônio ReLU treinado via entropia cruzada de tabela completa exata para a adição no grupo cíclico $\mathbb{Z}/p\mathbb{Z}$ (onde $p \ge 5$ é primo).

A questão central é se, condicionalmente ao fato de o neurônio estar inicialmente ativo, o vetor de parâmetros normalizado $(u, v, w)$ deve convergir para uma direção suportada em uma única classe de Fourier real não nula (ou seja, uma frequência específica $\zeta$ e sua conjugada $-\zeta$). Trabalhos teóricos anteriores sobre redes de duas camadas sugeriram que neurônios individuais tendem a selecionar características de Fourier de frequência única, com frequências competindo com base em magnitudes espectrais iniciais. Este artigo busca determinar se este "alinhamento de frequência única" é uma consequência necessária da dinâmica de treinamento para o modelo mais simples possível: um único neurônio.

Metodologia
O autor emprega uma abordagem analítica rigorosa usando inclusões diferenciais de Clarke para modelar a dinâmica de treinamento em tempo contínuo, reconhecendo a não diferenciabilidade da ativação ReLU em zero. A metodologia envolve:

1. Construção de Condições Iniciais Específicas: O autor define um conjunto de parâmetros iniciais onde exatamente uma porta de entrada (correspondente aos inputs $(0,0)$) está ativa, enquanto todas as outras portas estão estritamente inativas (pré-ativação negativa).
2. Análise de Sistema Dinâmico: Eles analisam o fluxo de gradiente da perda de entropia cruzada. Ao explorar a simetria, eles reduzem o sistema de alta dimensão a uma equação diferencial ordinária (ODE) de baixa dimensão que governa a pré-ativação da porta ativa e os pesos de saída.
3. Análise de Invariantes: O autor identifica uma quantidade conservada (ou uma quantidade com comportamento monotônico específico) que relaciona as diferenças de peso de saída e a pré-ativação de entrada. Isso permite provar que a pré-ativação da porta ativa diminui linearmente para zero em tempo finito.
4. Seleção de Trajetória de Clarke: Ao atingir a pré-ativação zero, o autor utiliza o framework da derivada generalizada de Clarke. Eles demonstram que, ao selecionar a derivada de ReLU em zero como 0 (uma convenção padrão em diferenciação automática), a trajetória entra em um estado "morto" onde todos os gradientes desaparecem e os parâmetros congelam.
5. Análise Espectral de Fourier: O autor computa a distribuição de energia de Fourier dos vetores de parâmetros congelados. Eles mostram que a direção limite é um múltiplo escalar de um vetor de massa pontual centrada, que distribui sua energia igualmente entre todas as classes de Fourier reais não nulas.

Contribuições Principais e Resultados

• Refutação do Alinhamento de Frequência Única: O artigo fornece uma solução negativa para o problema proposto em [Cla26d]. Ele constrói um contraexemplo onde os parâmetros normalizados convergem para um limite que não é suportado em uma única classe de Fourier. Em vez disso, a energia de Fourier é distribuída igualmente entre todas as $p-1$ classes de frequência não nulas. Para $p \ge 5$, a fração de energia em qualquer classe é $2/(p-1)$, que é estritamente menor que 1.
• Morte em Tempo Finito e Congelamento: O contraexemplo demonstra que um único neurônio pode atingir um estado completamente inativo ("ReLU morta") em tempo finito. Uma vez morto, os parâmetros congelam em um limite determinado pelas condições iniciais e pela dinâmica que levou à morte.
• Robustez e Probabilidade: O contraexemplo não é um artefato isolado.
  • Ele ocorre em um conjunto aberto de condições iniciais, implicando que ocorre com probabilidade positiva sob inicialização Gaussiana padrão.
  • O Apêndice A fortalece estes resultados, mostrando que:
    • A falha ocorre para cada trajetória de Clarke a partir de um conjunto aberto de condições iniciais (removendo a necessidade de seleção específica de trajetória).
    • O fenômeno persiste sob a convenção $\text{ReLU}'(0)=0$.
    • Ele se mantém para aproximações suaves de zona morta da ReLU ($C^\infty$ funções que são zero para $z \le 0$).
    • Ocorre em gradiente descendente de lote total (full-batch) de passo fixo, onde o neurônio morre em um único passo.
• Contraexemplo de Persistência Ativa: O apêndice também apresenta uma trajetória de "deslizamento persistente" onde o neurônio permanece ativo (uma porta permanece positiva), mas os pesos normalizados ainda convergem para um limite de múltiplas frequências, falhando no alinhamento de frequência única mesmo sem a morte do neurônio.

Significância e Alegações
O artigo afirma que a estrutura de Fourier de frequência única, ou monossentática, não é uma consequência geral do treinamento de um único neurônio em adição modular.

• Mecanismo de Falha: A falha surge de dois mecanismos familiares: a morte do neurônio (entrando em uma região morta) ou o neurônio permanecer ativo enquanto efetivamente "memoriza" uma única entrada da tabela (o caso $(0,0)$) em vez de aprender o algoritmo geral. A trajetória persistente realiza o lado da "memorização" da dicotomia memorização-generalização associada ao grokking no menor modelo possível.
• Limitações: O autor nota explicitamente que seus resultados dependem da existência de uma região morta exata na função de ativação. A questão permanece aberta para ativações sempre positivas (como softplus), onde o mecanismo de "morte" não pode ocorrer.
• Contexto: O trabalho esclarece que, embora a estrutura de Fourier esteja presente no espaço de soluções, a dinâmica de treinamento não força a seleção de uma única frequência. Os resultados distinguem o comportamento de modelos de neurônio único dos mecanismos de seleção de múltiplas frequências observados em redes mais largas (ex: largura $m \ge 4(p-1)$ como em [MEO+24]).

Em resumo, o artigo estabelece que a hipótese de inevitável alinhamento de frequência única em adição modular de neurônio único é falsa, fornecendo um contraexemplo concreto onde a direção limite é maximamente não pura em termos de classes de Fourier.