Transformers Learn the Mestre-Nagao Heuristic

Resumo Técnico: Transformers Aprendem a Heurística de Mestre-Nagao

Definição do Problema
O artigo aborda o desafio de prever o posto analítico de curvas elípticas racionais $E/\mathbb{Q}$ a partir de sua sequência de traços de Frobenius normalizados $\{a_n\}$. De acordo com a conjectura de Birch e Swinnerton-Dyer (BSD), o posto corresponde à ordem de nulidade da função $L(E, s)$ em $s=1$. Embora teoricamente determinado pela sequência de traços, a detecção numérica do desaparecimento de $L(E, 1)$ é difícil devido à convergência lenta da equação funcional aproximada, particularmente para curvas com condutores elevados. Trabalhos anteriores de aprendizado de máquina demonstraram alta precisão na previsão de posto, mas não elucidaram os algoritmos internos que os modelos descobrem. Este estudo busca realizar a engenharia reversa do algoritmo específico aprendido por um codificador transformer treinado para esta tarefa usando interpretabilidade mecanística.

Metodologia
Os autores treinaram um codificador transformer de duas camadas (com 4 cabeças de atenção e 512 neurônios por camada) para classificar curvas elípticas de condutor $\le 10.000$ como posto 0 ou posto 1. A entrada consistiu nos primeiros 128 traços de Frobenius normalizados ($\tilde{a}_n = a_n / 2\sqrt{n}$). O conjunto de dados compreendeu 62.298 curvas do LMFDB, divididas em conjuntos de treinamento/teste de 80/20. Para garantir que o modelo aprendesse propriedades aritméticas intrínsecas em vez de artefatos do conjunto de dados, os autores verificaram o desempenho em curvas de teste sem parentes de isogenia ou de torção quadrática no conjunto de treinamento.

Para descobrir o algoritmo aprendido, os autores empregaram um conjunto de técnicas de interpretabilidade mecanística:

1. Análise do Espaço de Solução: Comparando 50 modelos treinados independentemente no espaço de pesos versus o espaço de funções para determinar se eles convergem para uma única solução funcional.
2. Análise de Atenção: Examinando os pesos de atenção do token CLS para identificar quais posições de entrada (primos vs. compostos) o modelo prioriza.
3. Patching de Ativação: Intervindo causalmente em posições específicas para determinar quais entradas são necessárias para a previsão correta do posto, distinguindo entre foco de atenção e fluxo de informação causal.
4. Probing Linear e Análise de Circuito: Identificando subconjuntos esparsos de neurônios na MLP da Camada-1 que contêm informação suficiente para a previsão de posto e analisando seus pesos de entrada e padrões de disparo.
5. Atribuição de Logit: Decompondo o logit de saída para entender como diferentes componentes (cabeças de atenção vs. neurônios MLP) contribuem para a decisão final.

Principais Resultados

• Desempenho: O modelo alcançou >99% de precisão em ambas as classes de posto. Crucialmente, o desempenho permaneceu estável em curvas de teste que careciam de parentes de isogenia ou torção no treinamento, descartando a "redundância de torção" como fonte de precisão.
• Convergência no Espaço de Função: Apesar de grandes barreiras no espaço de pesos (os modelos não são linearmente mode-conectados), os 5 0 modelos treinados ocupam um único cluster no espaço de funções com >98,8% de concordância pareada, indicando que aprendem a mesma função subjacente.
• Atenção vs. Causalidade: Embora a atenção da Camada-0 se concentre fortemente em posições de números primos (consistente com a estrutura do produto de Euler), o patching de ativação revela uma dissociação: os primos mais causalmente importantes (ex: $p=31$) diferem dos que recebem mais atenção (ex: $p=11, 13$).
• Descoberta de Circuito Esparso: Um probe linear em apenas 20 dos 512 neurônios da MLP da Camada-1 alcança um AUROC de 0,992. Esses neurônios formam uma arquitetura de "empurra-puxa" (push-pull): 17 atuam como detectores de posto-0 e 3 como detectores de posto-1.
• Heurística de Mestre-Nagao: Os pesos de entrada dos principais neurônios discriminantes (especificamente os detectores de posto-0) correspondem aos pesos da soma de Mestre-Nagao $w_p = \frac{\log p}{p \cdot \log B}$ com uma correlação de Spearman de $r=0,997$ e correlação de Pearson de $r=0,952$. O modelo redescobriu independentemente este resultado clássico da teoria analítica dos números a partir de dados brutos de traços.
• Subotimalidade da Leitura (Readout): Os pesos de leitura interna do modelo são subótimos. Embora o circuito de 20 neurônios contenha informação de alta fidelidade (AUROC 0,992), os próprios pesos de leitura do modelo extraem apenas um AUROC de 0,956 desses mesmos neurônios, indicando um descompasso entre o circuito discriminativo e a via de leitura.
• Codificação do Valor-L: O embedding do CLS codifica $\log L(E, 1)$ com $R^2 \approx 0,962$ (após controlar pelo condutor), sugerindo que a tarefa de classificação otimiza implicitamente o valor-L.

Significância e Alegações
O artigo afirma fornecer a primeira identificação mecanística de uma rede neural transformer aprendendo um resultado matemático nomeado (a heurística de Mestre-Nagao) a partir de dados da teoria dos números sem supervisão. O estudo demonstra que:

1. Transformers podem aprender heurísticas complexas da teoria analítica dos números diretamente de dados brutos.
2. O algoritmo aprendido é implementado via um circuito esparso e interpretável de neurônios que funciona como um estimador limiarizado do valor-L.
3. Mecanismos de atenção nesses modelos podem ser enganosos em relação à importância causal, pois as posições mais atendidas não são necessariamente as mais causalmente impactantes.
4. Mesmo modelos altamente precisos podem possuir mecanismos de leitura subótimos, onde a representação interna é mais discriminativa do que a cabeça de classificação final utiliza.

Os autores concluem que o modelo efetivamente implementa um detector de "empurra-puxa" onde o posto-1 é sinalizado pela ausência de um empurrão de posto-0, em vez de um puxão negativo direto, e que o conjunto desses detectores esparsos explica a codificação quase completa do valor-L no espaço latente do modelo.