🤖 machine learning

Transformers Learn the Mestre-Nagao Heuristic

Dit artikel toont aan dat een twee-laagse transformer, getraind op Frobenius-sporen van rationale elliptische krommen, niet alleen een bijna perfecte nauwkeurigheid bereikt in het voorspellen van hun rang, maar ook mechanistisch de Mestre-Nagao-heuristiek uit de analytische getaltheorie leert, wat onthult dat de interne circuits en aandachtmechanismen van het model diepe wiskundige eigenschappen zoals $\log L(E,1)$ effectief coderen ondanks de afwezigheid van expliciete getaltheoretische kenmerken in de input.

Oorspronkelijke auteurs: Pranav Venkata Konda

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pranav Venkata Konda

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, mysterieuze bibliotheek van getallen hebt. In deze bibliotheek bevinden zich duizenden "elliptische krommen", dat zijn chique wiskundige vormen die zich gedragen als geheime codes. Wiskundigen hebben een grote vraag: zijn ze "vlak" (Rang 0) of hebben ze een "twist" (Rang 1)?

Decennialang was het uitzoeken hiervan alsof proberen een fluistering te horen in een orkaan. De aanwijzingen zijn verborgen in een lange lijst met getallen die "Frobenius-sporen" worden genoemd.

Dit artikel gaat over een team van onderzoekers dat een computer (een "Transformer", een type AI) heeft geleerd om naar deze fluisteringen te luisteren en de rang te raden. Maar ze wilden niet alleen dat de computer het goed had; ze wilden in de hersenen van de computer kijken om te zien hoe hij het erachter kwam.

Hier is het verhaal van wat ze ontdekten, eenvoudig uitgelegd:

1. De Super-Student

De onderzoekers trainden een kleine, twee-laagse AI-hersenen op 60.000 van deze krommen. Ze gaven het de eerste 128 getallen van de geheime code van elke kromme.

Het resultaat: De AI werd een genie. Het behaalde meer dan 99% nauwkeurigheid.
De verrassing: Het heeft de antwoorden niet gewoon uit het hoofd geleerd. Toen ze het testten op krommen die het nog nooit had gezien (en die niet leken op de training), had het het nog steeds goed. Dit betekent dat de AI daadwerkelijk een regel heeft geleerd, en niet slechts een trucje.

2. De "Priem" Detective

Toen de onderzoekers keken naar welke getallen de AI aandacht besteedde, ontdekten ze iets magisch.

De AI negeerde de meeste getallen.
Het concentreerde zich intensief op Priemgetallen (getallen zoals 2, 3, 5, 7, 11 die niet door iets anders deelbaar zijn).
De analogie: Stel je een detective voor die een plaats delict onderzoekt. In plaats van naar elke voetstap te kijken, kijkt de detective alleen naar de voetsporen van verdachten die specifieke schoenen dragen. De AI realiseerde zich dat de "Priem"-voetsporen alle aanwijzingen bevatten, terwijl de "Samengestelde" (niet-priem) voetsporen slechts ruis waren.

3. De "Geest" in de Machine (De echte ontdekking)

Dit is het meest opwindende deel. De onderzoekers gebruikten speciale tools om de logica van de AI te reverse-engineeren. Ze wilden weten: Welke formule heeft de AI uitgevonden?

Ze ontdekten dat de AI onafhankelijk een beroemde, 40 jaar oude wiskundige regel had herontdekt: de Mestre-Nagao Heuristiek.

De regel: Deze regel is een specifiek recept om de priemgetallen bij elkaar te mengen om de rang te raden. Het zegt: "Neem de priemgetallen, weeg ze met een specifieke formule die logaritmen bevat, en tel ze bij elkaar op."
Het wonder: De AI heeft deze complexe, abstracte wiskundige formule puur uit de ruwe data geleerd, zonder dat iemand hem vertelde dat de formule bestaat. Het is alsof je een kind leert koken door ingrediënten te geven, en het kind per ongeluk zelf een beroemd Frans recept uitvindt.

4. Hoe de hersenen werken: Het "Push-Pull" Team

Binnen de AI zitten 512 kleine "neuronen" (denk aan kleine werkers). De onderzoekers ontdekten dat slechts 20 van deze werkers het zware werk deden.

Het team: 17 van deze werkers waren "Rang 0 Detectives". Zij zouden roepen "Het is Rang 0!" als de getallen er juist uitzagen.
De twist: De andere 3 werkers waren "Rang 1 Detectives", maar zij waren vreemd. Ze riepen zelden "Het is Rang 1!".
De analogie: Stel je een stemsysteem voor.
- Als het "Rang 0"-team hard duwt, is het resultaat "Rang 0".
- Als het "Rang 0"-team stil blijft en niets doet, is het resultaat automatisch "Rang 1".
- De AI trekt niet actief voor Rang 1; de AI wacht gewoon tot het Rang 0-team stopt met duwen.

5. De "Readout" Fout

Hier is een grappige fout die de onderzoekers vonden.

De 20 slimme werkers kenden het antwoord perfect (99% nauwkeurigheid).
Maar de "manager"-neuron die hun stemmen leest, was een beetje onhandig. Hij luisterde niet perfect naar de slimste werkers. Het was als een manager die de beste werknemers negeert en luistert naar degenen die gewoon een beetje rondstaan.
Hierdoor was de eindscore iets lager (95%) dan wat de slimme werkers op zichzelf hadden kunnen bereiken. De AI wist het antwoord, maar de "stem" was een beetje gedempt.

6. De "Attention" vs. "Action" Mismatch

De onderzoekers merkten ook iets vreemds op over hoe de AI naar de data "keek".

Waar het naar keek: De "blik" (attention) van de AI was het sterkst op kleine priemgetallen zoals 11 en 13.
Wat er echt toe deed: Toen ze testten welke getallen daadwerkelijk het antwoord veranderden, waren de belangrijkste getallen anders (zoals 31 en 13).
De les: Alleen omdat de AI naar iets staart, betekent niet dat dat ding het belangrijkste is. Het is als een chauffeur die naar de achteruitkijkspiegel staart (aandacht), terwijl het echte gevaar in de zijspiegel zit (causale belangrijkheid).

Samenvatting

Dit artikel laat zien dat een eenvoudige AI, gevoed met enkel ruwe getallen, op eigen houtje een diep, complex wiskundig geheim (de Mestre-Nagao heuristiek) heeft ontdekt. Het bouwde een klein, efficiënt team van 20 "detectives" om de puzzel op te lossen. Hoewel de "manager" van de AI een beetje onhandig was, was de kernlogica een perfecte, onafhankelijke herontdekking van een klassiek wiskundig theorema.

Kortom: De AI heeft niet alleen gegokt; de AI heeft de taal van getallen geleerd en sprak een theorema uit dat wiskundigen decennia geleden al hadden geschreven.

Technische Samenvatting: Transformers leren de Mestre-Nagao heuristiek

Probleemstelling
Het artikel behandelt de uitdaging om de analytische rang van rationale elliptische krommen $E/\mathbb{Q}$ te voorspellen op basis van hun sequentie van genormaliseerde Frobenius-traces $\{a_n\}$ . Volgens de Birch en Swinnerton-Dyer (BSD) conjectuur komt de rang overeen met de orde van nulstelling van de $L$ -functie $L(E, s)$ bij $s=1$ . Hoewel dit theoretisch bepaald wordt door de trace-sequentie, is het numeriek detecteren van de nulstelling van $L(E, 1)$ moeilijk vanwege de trage convergentie van de benaderende functionele vergelijking, met name voor krommen met hoge conductoren. Eerdere machine learning-werken hebben een hoge nauwkeurigheid aangetoond bij rangvoorspelling, maar hebben niet toegelicht welke interne algoritmen de modellen ontdekken. Deze studie beoogt het specifieke algoritme dat een transformer-encoder heeft geleerd voor deze taak te reverse-engineeren met behulp van mechanistische interpreteerbaarheid.

Methodologie
De auteurs trainden een twee-laagse transformer-encoder (met 4 attention heads en 512 neuronen per laag) om elliptische krommen met een conductor $\le 10.000$ te classificeren als rang 0 of rang 1. De input bestond uit de eerste 128 genormaliseerde Frobenius-traces ( $\tilde{a}_n = a_n / 2\sqrt{n}$ ). De dataset bestond uit 62.298 krommen uit de LMFDB, verdeeld in 80/20 trainings-/testsets. Om te garanderen dat het model intrinsieke rekenkundige eigenschappen leerde in plaats van dataset-artefacten, verifieerden de auteurs de prestaties op testkrommen zonder isogenie- of kwadratische-twist verwanten in de trainingsset.

Om het geleerde algoritme te ontsluieren, gebruikten de auteurs een reeks technieken voor mechanistische interpreteerbaarheid:

Solution Space Analyse: Het vergelijken van 50 onafhankelijk getrainde modellen in de gewichtsruimte versus de functieruimte om te bepalen of ze convergeren naar een enkele functionele oplossing.
Attention Analyse: Het onderzoeken van de CLS-token attention weights om te identificeren welke inputposities (priemen versus samengestelde getallen) het model prioriteert.
Activation Patching: Het causaal interveniëren op specifieke posities om te bepalen welke inputs noodzakelijk zijn voor correcte rangvoorspelling, waarbij onderscheid wordt gemaakt tussen aandachtsfocus en causale informatiestroom.
Linear Probing & Circuit Analyse: Het identificeren van ijle (sparse) subsets van neuronen in de Laag-1 MLP die voldoende informatie bevatten voor rangvoorspelling, en het analyseren van hun inputgewichten en vuurpatronen.
Logit Attribution: Het decomponeren van de output logit om te begrijpen hoe verschillende componenten (attention heads versus MLP-neuronen) bijdragen aan de uiteindelijke beslissing.

Belangrijkste Resultaten

Prestaties: Het model behaalde een nauwkeurigheid van $>99\%$ voor beide rangklassen. Cruciaal is dat de prestaties stabiel bleven op testkrommen die geen isogenie- of twist-verwanten in de trainingsset hadden, wat "twist-redundantie" als bron van nauwkeurigheid uitsluit.
Function Space Convergentie: Ondanks grote barrières in de gewichtsruimte (modellen zijn niet lineair mode-connected), bezetten de 50 getrainde modellen één cluster in de functieruimte met $>98,8\%$ paarwijze overeenkomst, wat aangeeft dat ze dezelfde onderliggende functie leren.
Attention versus Causaliteit: Hoewel Laag-0 attention sterk concentreert op priemposities (consistent met de Euler-productstructuur), onthult activation patching een dissociatie: de meest causale belangrijke priemgetallen (bijv. $p=31$ ) verschillen van de posities die de meeste aandacht ontvangen (bijv. $p=11, 13$ ).
Ontdekking van Sparse Circuits: Een linear probe op slechts 20 van de 512 Laag-1 MLP-neuronen bereikt een AUROC van 0,992. Deze neuronen vormen een "push-pull" architectuur: 17 fungeren als rang-0 detectoren en 3 als rang-1 detectoren.
Mestre-Nagao Heuristiek: De inputgewichten van de meest discriminerende neuronen (specifiek de rang-0 detectoren) komen overeen met de Mestre-Nagao somgewichten $w_p = \frac{\log p}{p \cdot \log B}$ met een Spearman-correlatie van $r=0,997$ en een Pearson-correlatie van $r=0,952$ . Het model heeft onafhankelijk dit klassieke analytische getaltheoretische resultaat herontdekt vanuit ruwe trace-data.
Suboptimale Readout: De interne readout-gewichten van het model zijn suboptimaal. Hoewel het 20-neuron circuit hoogwaardige informatie bevat (AUROC 0,992), extraheert het eigen readout-mechanisme van het model slechts een AUROC van 0,956 uit dezelfde neuronen, wat wijst op een mismatch tussen het discriminerende circuit en het readout-pad.
L-waarde Codering: De CLS-embedding codeert $\log L(E, 1)$ met $R^2 \approx 0,962$ (na controle voor de conductor), wat suggereert dat de classificatietaak impliciet optimaliseert voor de $L$ -waarde.

Betekenis en Claims
Het artikel claimt de eerste mechanistische identificatie te bieden van een transformer neurale netwerk dat een benoemde wiskundige resultaat (de Mestre-Nagao heuristiek) leert van getaltheoretische data zonder supervisie. De studie toont aan dat:

Transformers complexe analytische getaltheoretische heuristieken direct kunnen leren van ruwe data.
Het geleerde algoritme wordt geïmplementeerd via een ijle, interpreteerbare circuit van neuronen die functioneert als een drempelwaarde-schatter van de $L$ -waarde.
Attention-mechanismen in deze modellen misleidend kunnen zijn met betrekking tot causale belangrijkheid, aangezien de meest geattentionde posities niet noodzakelijkerwijs de meest causale impact hebben.
Zelfs zeer nauwkeurige modellen suboptimale readout-mechanismen kunnen bezitten, waarbij de interne representatie meer discriminerend is dan wat de uiteindelijke classificatiekop gebruikt.

De auteurs concluderen dat het model effectief een "push-pull" detector implementeert waarbij rang-1 wordt gesignaleerd door de afwezigheid van een rang-0 push, in plaats van een directe negatieve pull, en dat het ensemble van deze ijle detectoren de bijna volledige codering van de $L$ -waarde in de latente ruimte van het model verklaart.