Transformers Learn the Mestre-Nagao Heuristic

Resumen Técnico: Los Transformers aprenden la heurística de Mestre-Nagao

Planteamiento del Problema
El artículo aborda el desafío de predecir el rango analítico de curvas elípticas racionales $E/\mathbb{Q}$ a partir de su secuencia de trazas de Frobenius normalizadas $\{a_n\}$. Según la conjetura de Birch y Swinnerton-Dyer (BSD), el rango corresponde al orden de anulación de la función $L(E, s)$ en $s=1$. Aunque está determinado teóricamente por la secuencia de trazas, la detección numérica del anulación de $L(E, 1)$ es difícil debido a la lenta convergencia de la ecuación funcional aproximada, particularmente para curvas con conductores altos. Trabajos previos de aprendizaje automático han demostrado una alta precisión en la predicción del rango, pero no han dilucidado los algoritmos internos que los modelos descubren. Este estudio busca realizar ingeniería inversa al algoritmo específico aprendido por un codificador transformer entrenado para esta tarea mediante la interpretabilidad mecánica.

Metodología
Los autores entrenaron un codificador transformer de dos capas (con 4 cabezales de atención y 512 neuronas por capa) para clasificar curvas elípticas de conductor $\le 10,000$ como rango 0 o rango 1. La entrada consistió en las primeras 128 trazas de Frobenius normalizadas ($\tilde{a}_n = a_n / 2\sqrt{n}$). El conjunto de datos comprendió 62,298 curvas de la LMFDB, divididas en conjuntos de entrenamiento y prueba de 80/20. Para asegurar que el modelo aprendiera propiedades aritméticas intrínsecas en lugar de artefactos del conjunto de datos, los autores verificaron el rendimiento en curvas de prueba que no poseían parientes de isogenia o de giro cuadrático (quadratic-twist) en el conjunto de entrenamiento.

Para descubrir el algoritmo aprendido, los autores emplearon un conjunto de técnicas de interpretabilidad mecánica:

1. Análisis del Espacio de Soluciones: Comparación de 50 modelos entrenados independientemente en el espacio de pesos frente al espacio de funciones para determinar si convergen a una única solución funcional.
2. Análisis de Atención: Examen de los pesos de atención del token CLS para identificar qué posiciones de entrada (primos vs. compuestos) prioriza el modelo.
3. Parcheo de Activación (Activation Patching): Intervención causal en posiciones específicas para determinar qué entradas son necesarias para la predicción correcta del rango, distinguiendo entre el enfoque de atención y el flujo de información causal.
4. Sondeo Lineal y Análisis de Circuito: Identificación de subconjuntos dispersos de neuronas en el MLP de la Capa-1 que contienen información suficiente para la predicción del rango, y análisis de sus pesos de entrada y patrones de disparo.
5. Atribución de Logit: Descomposición del logit de salida para comprender cómo diferentes componentes (cabezales de atención vs. neuronas MLP) contribren a la decisión final.

Resultos Clave

• Rendimiento: El modelo alcanzó una precisión $>99\%$ en ambas clases de rango. Crucialmente, el rendimiento se mantuvo estable en curvas de prueba que carecían de parientes de isogenia o giro en el entrenamiento, descartando la "redundancia de giro" como fuente de la precisión.
• Convergencia en el Espacio de Funciones: A pesar de las grandes barreras en el espacio de pesos (los modelos no son linealmente conectables en modo), los 50 modelos entrenados ocupan un único grupo en el espacio de funciones con un acuerdo pareado de $>98.8\%$, lo que indica que aprenden la misma función subyacente.
• Atención vs. Causalidad: Aunque la atención de la Capa-0 se concentra fuertemente en las posiciones de números primos (consistente con la estructura del producto de Euler), el parcheo de activación revela una disociación: los primos más causalmente importantes (ej. $p=31$) difieren de los que reciben más atención (ej. $p=11, 13$).
• Descubrimiento de Circuito Disperso: Un sondeo lineal en solo 20 de las 512 neuronas del MLP de la Capa-1 logra un AUROC de 0.992. Estas neuronas forman una arquitectura de "empuje-tracción" (push-pull): 17 actúan como detectores de rango-0 y 3 como detectores de rango-1.
• Heurística de Mestre-Nagao: Los pesos de entrada de las neuronas discriminantes principales (específicamente los detectores de rango-0) coinciden con los pesos de la suma de Mestre-Nagao $w_p = \frac{\log p}{p \cdot \log B}$ con una correlación de Spearman de $r=0.997$ y una correlación de Pearson de $r=0.952$. El modelo redescubrió de forma independiente este resultado clásico de la teoría analítica de números a partir de datos de trazas puras.
• Sub-optimalidad de la Lectura (Readout): Los pesos de lectura interna del modelo son subóptimos. Aunque el circuito de 20 neuronas contiene información de alta fidelidad (AUROC 0.992), los propios pesos de lectura del modelo extraen solo un AUROC de 0.956 de esas mismas neuronas, indicando un desajuste entre el circuito discriminativo y la vía de lectura.
• Codificación del Valor-L: El embedding del CLS codifica $\log L(E, 1)$ con $R^2 \approx 0.962$ (tras controlar por el conductor), lo que sugiere que la tarea de clasificación optimiza implícitamente el valor-L.

Significancia y Reivindicaciones
El artículo afirma proporcionar la primera identificación mecánica de una red neuronal transformer aprendiendo un resultado matemático nombrado (la heurística de Mestre-Nagao) a partir de datos de teoría de números sin supervisión. El estudio demuestra que:

1. Los Transformers pueden aprender heurísticas complejas de la teoría analítica de números directamente de datos brutos.
2. El algoritmo aprendido se implementa mediante un circuito disperso e interpretable de neuronas que funciona como un estimador umbralizado del valor-L.
3. Los mecanismos de atención en estos modelos pueden ser engañosos respecto a la importancia causal, ya que las posiciones más atendidas no son necesariamente las más impactantes causalmente.
4. Incluso los modelos altamente precisos pueden poseer mecanismos de lectura subóptimos, donde la representación interna es más discriminativa de lo que la cabeza de clasificación final utiliza.

Los autores concluyen que el modelo implementa efectivamente un detector de "empuje-tracción" donde el rango-1 es señalizado por la ausencia de un empuje de rango-0 en lugar de una tracción negativa directa, y que el conjunto de estos detectores dispersos explica la codificación casi completa del valor-L en el espacio latente del modelo.