🤖 machine learning

Transformers Learn the Mestre-Nagao Heuristic

Cet article démontre qu'un transformeur à deux couches entraîné sur des traces de Frobenius de courbes elliptiques rationnelles parvient non seulement à une précision quasi parfaite dans la prédiction de leur rang, mais apprend également de manière mécaniste l'heuristique de Mestre-Nagao issue de la théorie analytique des nombres, révélant que les circuits internes et les mécanismes d'attention du modèle encodent efficacement des propriétés mathématiques profondes telles que $\log L(E,1)$ malgré l'absence de caractéristiques arithmétiques explicites dans l'entrée.

Auteurs originaux : Pranav Venkata Konda

Publié 2026-06-16

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pranav Venkata Konda

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque géante et mystérieuse de nombres. À l'intérieur de cette bibliothèque se trouvent des milliers de « courbes elliptiques », des formes mathématiques sophistiquées qui se comportent comme des codes secrets. Les mathématiciens se posent une grande question : ces formes sont-elles « plates » (Rang 0) ou possèdent-elles une « torsion » (Rang 1) ?

Depuis des décennies, déterminer cela revient à essayer d'entendre un murmure dans un ouragan. Les indices sont cachés dans une longue liste de nombres appelés « traces de Frobenius ».

Ce document traite d'une équipe de chercheurs qui a appris à un ordinateur (un « Transformer », un type d'IA) à écouter ces murmures et à deviner le rang. Mais ils ne voulaient pas seulement que l'ordinateur ait raison ; ils voulaient jeter un coup d'œil à l'intérieur du cerveau de l'ordinateur pour voir comment il a trouvé la solution.

Voici l'histoire de ce qu'ils ont découvert, expliquée simplement :

1. Le super-élève

Les chercheurs ont entraîné un petit cerveau d'IA à deux couches sur 60 000 de ces courbes. Ils lui ont donné les 128 premiers nombres de chaque code secret.

Le résultat : L'IA est devenue un génie. Elle a atteint plus de 99 % de précision.
La surprise : Elle n'a pas simplement mémorisé les réponses. Lorsqu'ils l'ont testée sur des courbes qu'elle n'avait jamais vues auparavant (et qui ne ressemblaient à rien de ce qu'elle avait appris), elle a quand même réussi. Cela signifie qu'elle a réellement appris une règle, et non une simple astuce.

2. Le détective « Premier »

Lorsque les chercheurs ont regardé à quels nombres l'IA prêtait attention, ils ont découvert quelque chose de magique.

L'IA ignore la plupart des nombres.
Elle se concentre intensément sur les Nombres Premiers (des nombres comme 2, 3, 5, 7, 11 qui ne peuvent être divisés par rien d'autre).
L'analogie : Imaginez un détective examinant une scène de crime. Au lieu de regarder chaque empreinte de pas, le détective ne regarde que les empreintes des suspects portant des chaussures spécifiques. L'IA a réalisé que les empreintes « Premières » contenaient tous les indices, tandis que les empreintes « Composées » (non-primes) n'étaient que du bruit.

3. Le « Fantôme » dans la machine (La véritable découverte)

C'est la partie la plus excitante. Les chercheurs ont utilisé des outils spéciaux pour rétro-concevoir la logique de l'IA. Ils voulaient savoir : Quelle formule l'IA a-t-elle inventée ?

Ils ont découvert que l'IA avait redécouvert de manière indépendante une célèbre règle mathématique vieille de 40 ans appelée l'heuristique de Mestre-Nagao.

La règle : Cette règle est une recette spécifique pour mélanger les nombres premiers entre eux afin de deviner le rang. Elle dit : « Prenez les nombres premiers, pesez-les avec une formule spécifique impliquant des logarithmes, et additionnez-les. »
Le miracle : L'IA a appris cette formule mathématique complexe et abstraite uniquement à partir des données brutes, sans que personne ne lui indique l'existence de la formule. C'est comme apprendre à un enfant à cuisiner en lui donnant des ingrédients, et qu'il invente accidentellement une célèbre recette française de lui-même.

4. Comment le cerveau fonctionne : L'équipe « Pousse-Tire »

À l'intérieur de l'IA, il y a 512 petits « neurones » (pensez à de petits travailleurs). Les chercheurs ont découvert que seuls 20 de ces travailleurs faisaient le gros du travail.

L'équipe : 17 de ces travailleurs étaient des « Détectives du Rang 0 ». Ils criaient « C'est le Rang 0 ! » si les nombres semblaient corrects.
Le twist : Les 3 autres travailleurs étaient des « Détectives du Rang 1 », mais ils étaient bizarres. Ils criaient rarement « C'est le Rang 1 ! ».
L'analogie : Imaginez un système de vote.
- Si l'équipe du « Rang 0 » pousse fort, le résultat est « Rang 0 ».
- Si l'équipe du « Rang 0 » reste silencieuse et ne fait rien, le résultat est automatiquement « Rang 1 ».
- L'IA ne tire pas activement pour le Rang 1 ; elle attend simplement que l'équipe du Rang 0 cesse de pousser.

5. Le bug de la « Lecture »

Voici une faille amusante que les chercheurs ont trouvée.

Les 20 travailleurs intelligents connaissaient la réponse parfaitement (99 % de précision).
Mais le neurone « gestionnaire » qui lit leurs votes était un peu maladroit. Il n'écoutait pas parfaitement les travailleurs les plus brillants. C'était comme un manager qui ignore ses meilleurs employés pour écouter ceux qui se contentent de rester debout.
À cause de cela, le score final était légèrement inférieur (95 %) à ce que les travailleurs intelligents auraient pu accomplir seuls. L'IA connaissait la réponse, mais sa « voix » était un peu étouffée.

6. Le décalage entre « Attention » et « Action »

Les chercheurs ont également remarqué quelque chose d'étrange dans la façon dont l'IA « regardait » les données.

Ce qu'elle regardait : Le « regard » (l'attention) de l'IA était le plus fort sur les petits nombres premiers comme 11 et 13.
Ce qui comptait réellement : Lorsqu'ils ont testé quels nombres changeaient réellement la réponse, les nombres les plus importants étaient différents (comme 31 et 13).
La leçon : Ce n'est pas parce que l'IA fixe quelque chose qu'elle est la chose la plus importante. C'est comme un conducteur qui fixe le rétroviseur intérieur (l'attention) alors que le vrai danger se trouve dans le rétroviseur latéral (l'importance causale).

Résumé

Ce document montre qu'une IA simple, nourrie uniquement de nombres bruts, a découvert par elle-même un secret mathématique profond et complexe (l'heuristique de Mestre-Nagao). Elle a construit une petite équipe efficace de 20 « détectives » pour résoudre l'énigme. Bien que le « gestionnaire » de l'IA ait été légèrement maladroit, la logique centrale était une redécouverte parfaite et indépendante d'un théorème mathématique classique.

En bref : L'IA n'a pas simplement deviné ; elle a appris le langage des nombres et a énoncé un théorème que les mathématiciens avaient écrit des décennies auparavant.

Résumé technique : Les Transformers apprennent l'heuristique de Mestre-Nagao

Énoncé du problème
L'article traite du défi que représente la prédiction du rang analytique des courbes elliptiques rationnelles $E/\mathbb{Q}$ à partir de leur séquence de traces de Frobenius normalisées $\{a_n\}$ . Selon la conjecture de Birch et Swinnerton-Dyer (BSD), le rang correspond à l'ordre d'annulation de la fonction $L(E, s)$ en $s=1$ . Bien que théoriquement déterminé par la séquence de traces, la détection numérique de l'annulation de $L(E, 1)$ est difficile en raison de la convergence lente de l'équation fonctionnelle approchée, particulièrement pour les courbes ayant des conducteurs élevés. Les travaux antérieurs en apprentissage automatique ont démontré une grande précision dans la prédiction du rang, mais n'ont pas élucidé les algorithmes internes découverts par les modèles. Cette étude cherche à rétro-concevoir l'algorithme spécifique appris par un encodeur transformer entraîné pour cette tâche en utilisant l'interprétabilité mécaniste.

Méthodologie
Les auteurs ont entraîné un encodeur transformer à deux couches (avec 4 têtes d'attention et 512 neurones par couche) pour classifier les courbes elliptiques de conducteur $\le 10\,000$ comme étant de rang 0 ou de rang 1. L'entrée consistait en les 128 premières traces de Frobenius normalisées ( $\tilde{a}_n = a_n / 2\sqrt{n}$ ). Le jeu de données comprenait 62 298 courbes issues de la LMFDB, divisées en ensembles d'entraînement et de test (80/20). Pour garantir que le modèle apprenne des propriétés arithmétiques intrinsèques plutôt que des artefacts du jeu de données, les auteurs ont vérifié les performances sur des courbes de test ne possédant aucun parent d'isogénie ou de torsion quadratique dans l'ensemble d'entraînement.

Pour découvrir l'algorithme appris, les auteurs ont employé une suite de techniques d'interprétabilité mécaniste :

Analyse de l'espace de solution : Comparaison de 50 modèles entraînés indépendamment dans l'espace des poids par rapport à l'espace des fonctions pour déterminer s'ils convergent vers une solution fonctionnelle unique.
Analyse de l'attention : Examen des poids d'attention du jeton CLS pour identifier quelles positions d'entrée (nombres premiers vs composés) le modèle privilégie.
Patching d'activation (Activation Patching) : Intervention causale sur des positions spécifiques pour déterminer quels intrants sont nécessaires pour la prédiction correcte du rang, en distinguant l'attention portée sur une position de l'importance causale de l'information.
Probing linéaire et analyse de circuit : Identification de sous-ensembles épars de neurones dans le MLP de la Couche-1 contenant suffisamment d'informations pour la prédiction du rang, et analyse de leurs poids d'entrée et de leurs schémas de déclenchement.
Attribution des logits : Décomposition du logit de sortie pour comprendre comment différentes composantes (têtes d'attention vs neurones MLP) contribuent à la décision finale.

Résultats clés

Performance : Le modèle a atteint une précision de >99 % pour les deux classes de rang. Crucialement, la performance est restée stable sur les courbes de test dépourvues de parents d'isogénie ou de torsion présents dans l'entraînement, excluant ainsi la « redondance de torsion » comme source de précision.
Convergence dans l'espace fonctionnel : Malgré de grandes barrières dans l'espace des poids (les modèles ne sont pas linéairement mode-connectés), les 50 modèles entraînés occupent un groupe unique dans l'espace fonctionnel avec un accord par paire de >98,8 %, indiquant qu'ils apprennent la même fonction sous-jacente.
Attention vs Causalité : Bien que l'attention de la Couche-0 se concentre fortement sur les positions de nombres premiers (cohérent avec la structure du produit d'Euler), le patching d'activation révèle une dissociation : les nombres premiers les plus causalement importants (ex. $p=31$ ) diffèrent de ceux recevant le plus d'attention (ex. $p=11, 13$ ).
Découverte de circuit épars : Un probe linéaire sur seulement 20 des 512 neurones du MLP de la Couche-1 permet d'atteindre un AUROC de 0,992. Ces neurones forment une architecture « push-pull » : 17 agissent comme des détecteurs de rang 0 et 3 comme des détecteurs de rang 1.
Heuristique de Mestre-Nagao : Les poids d'entrée des neurones discriminants principaux (spécifiquement les détecteurs de rang 0) correspondent aux poids de la somme de Mestre-Nagao $w_p = \frac{\log p}{p \cdot \log B}$ avec une corrélation de Spearman de $r=0,997$ et une corrélation de Pearson de $r=0,952$ . Le modèle a redécouvert de manière indépendante ce résultat classique de la théorie analytique des nombres à partir de données brutes de traces.
Sous-optimalité de la lecture (Readout) : Les poids de lecture internes du modèle sont sous-optimaux. Bien que le circuit de 20 neurones contienne une information de haute fidélité (AUROC 0,992), les propres poids de lecture du modèle n'extraient qu'un AUROC de 0,956 de ces mêmes neurones, indiquant un décalage entre le circuit discriminant et la voie de lecture.
Encodage de la valeur L : L'embedding CLS encode $\log L(E, 1)$ avec $R^2 \approx 0,962$ (après contrôle du conducteur), suggérant que la tâche de classification optimise implicitement la valeur $L$ .

Signification et affirmations
L'article affirme fournir la première identification mécaniste d'un réseau de neurones transformer apprenant un résultat mathématique nommé (l'heuristique de Mestre-Nagao) à partir de données de théorie des nombres sans supervision. L'étude démontre que :

Les Transformers peuvent apprendre des heuristiques complexes de la théorie analytique des nombres directement à partir de données brutes.
L'algorithme appris est implémenté via un circuit de neurones épars et interprétable qui fonctionne comme un estimateur seuillé de la valeur $L$ .
Les mécanismes d'attention dans ces modèles peuvent être trompeurs quant à l'importance causale, car les positions les plus attendues ne sont pas nécessairement les plus impactantes causalement.
Même les modèles hautement précis peuvent posséder des mécanismes de lecture sous-optimaux, où la représentation interne est plus discriminante que ce que la tête de classification finale utilise.

Les auteurs concluent que le modèle implémente efficacement un détecteur « push-pull » où le rang 1 est signalé par l'absence d'une poussée (push) de rang 0 plutôt que par une traction (pull) négative directe, et que l'ensemble de ces détecteurs épars explique l'encodage quasi complet de la valeur $L$ dans l'espace latent du modèle.