🤖 AI

Aria: An Agent For Retrieval and Iterative Auto-Formalization via Dependency Graph

Het artikel introduceert Aria, een op retrieval gebaseerd agent dat een twee-fasen Graph-of-Thought-proces en een definitie-gegronde scorer gebruikt om de state-of-the-art nauwkeurigheid te bereiken in de conjectuur-niveau auto-formalisatie van wiskundig onderzoek in Lean, waarmee het effectief veelvoorkomende LLM-beperkingen zoals hallucinaties en semantische mismatches overwint.

Oorspronkelijke auteurs: Hanyu Wang, Ruohan Xie, Yutong Wang, Guoxiong Gao, Xintao Yu, Bin Dong

Gepubliceerd 2026-07-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hanyu Wang, Ruohan Xie, Yutong Wang, Guoxiong Gao, Xintao Yu, Bin Dong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Lost in Translation" Kloof

Stel je voor dat je een briljante wiskundige hebt die "Menselijke Wiskunde" spreekt (natuurlijke taal, zoals Engels) en een superstrenge computer die alleen "Formele Wiskunde" spreekt (een rigide programmeertaal genaamd Lean). De computer is ongelooflijk krachtig; hij kan stellingen bewijzen zonder fouten te maken. Maar hij heeft een groot probleem: hij begrijpt menselijke wiskunde niet, tenzij deze perfect vertaald is.

Als je een wiskundige zin zelfs maar een klein beetje verkeerd vertaalt, wijst de computer het af. Huidige AI-modellen (LLM's) zijn als enthousiaste maar onervaren vertalers. Ze doen vaak het volgende:

Hallucineren: Ze verzinnen woorden of regels die niet bestaan in het woordenboek van de computer.
De betekenis verkeerd begrijpen: Ze gebruiken de juiste woorden, maar in de verkeerde volgorde, waardoor de betekenis volledig verandert.
Opgeven bij moeilijke zaken: Wanneer ze geconfronteerd worden met een gloednieuw, complex onderzoeksverhaal, bevriezen ze omdat ze geen vooraf geschreven antwoord in hun geheugen hebben.

De Oplossing: Maak kennis met Aria

De auteurs hebben een nieuwe AI-agent gebouwd genaamd Aria. Zie Aria niet als een vertaler, maar als een Meesterarchitect die een brug bouwt tussen Menselijke Wiskunde en Computerwiskunde.

Aria raadt de vertaling niet alleen. Het gebruikt een driestappenproces om ervoor te zorgen dat de brug stevig is:

1. De "Afhankelijkheidskaart" (Graph-of-Thought)

De Analogie: Stel je voor dat je een wolkenkrabber probeert te bouwen. Je kunt niet zomaar beton storten voor de bovenste verdieping; je hebt eerst het fundament, de stalen balken en de loodgieterswerk nodig.
Hoe Aria het doet: In plaats van te proberen de hele wiskundige opgave in één keer te vertalen, breekt Aria deze af. Het tekent een kaart (een graaf) die laat zien hoe elk concept van andere concepten afhankelijk is.

Voorbeeld: Om "Cohen-Macaulay Module" te begrijpen, moet je eerst "Noetherian Ring" begrijpen, wat weer "Ideal" nodig heeft, wat weer "Ring" nodig heeft.
Aria bouwt de brug van onder naar boven, waarbij het ervoor zorgt dat elke enkele steen correct is gelegd voordat het naar het volgende niveau gaat.

2. De "Bibliotheekdetective" (Retrieval-Augmented Generation)

De Analogie: Stel je een student voor die een toets maakt waarbij hij een bibliotheek mag gebruiken, maar niet de boeken uit zijn hoofd mag leren. Als de student een regel verzint, wordt hij betrapt.
Hoe Aria het doet: Wiskundige bibliotheken (zoals Mathlib) worden constant bijgewerkt met nieuwe regels. Oude AI-modellen vertrouwen op wat ze jaren geleden uit hun hoofd hebben geleerd, wat vaak verouderd of onjuist is.

Aria werkt als een detective. Voordat het ook maar één regel code schrijft, doorzoekt het de huidige bibliotheek om de exacte, officiële definitie van de termen die het nodig heeft te vinden.
Als de bibliotheek geen definitie heeft voor een nieuw concept, weet Aria dat het er een vanaf nul moet uitvinden, maar doet het dit zorgvuldig door zijn werk te controleren aan de hand van de regels die het net heeft gevonden.

3. De "Zelfcorrectie-lus" (Iterative Reflection)

De Analogie: Denk aan een beeldhouwer die een beeld uithakt. Ze hakken niet één keer en hopen dan op het beste. Ze hakken, stappen terug, kijken ernaar, zien een fout, en hakken dan opnieuw.
Hoe Aria het doet:

Aria schrijft een stuk code.
Het voert dit uit via de computercompiler (de strenge rechter).
Als de computer zegt "Error", raakt Aria niet in paniek. Het leest de foutmelding, begrijpt wat er misging en probeert het opnieuw.
Het herhaalt deze "proberen-falen-repareren"-cyclus totdat de code perfect compileert.

De "Waarheidsdetector": AriaScorer

Zelfs als de code compileert (draait zonder te crashen), kan het nog steeds het verkeerde betekenen. Dit is als een zin die grammaticaal perfect is, maar zegt: "De lucht is groen."

De auteurs hebben een speciaal hulpmiddel gebouwd genaamd AriaScorer om de betekenis te controleren.

De Oude Manier: Eerdere tools vergeleken alleen de woorden. Als de mens "Ring" zei en de code zei "Ring", dachten ze dat het een match was.
De Aria-Manier: AriaScorer is een diepgaande onderzoeker. Het zoekt de werkelijke definitie van "Ring" op in de bibliotheek van de computer en vergelijkt die diepe definitie met de intentie van de mens.
Het vangt subtiele trucs op, zoals wanneer de AI de volgorde van ingrediënten in een recept verwisselt. Het zorgt ervoor dat de versie van de computer wiskundig identiek is aan het idee van de mens, en niet alleen op elkaar lijkt.

De Resultaten: Hoe goed is Aria?

Het team testte Aria op drie niveaus van moeilijkheid:

Bachelorwiskunde (ProofNet): Aria kreeg 68,5% van de moeilijke vertalingen goed, waarmee het alle vorige modellen versloeg.
PhD-niveau Wiskunde (FATE-X): Dit is waar andere modellen meestal falen. Aria kreeg 44,0% goed, terwijl het op één na beste model slechts 24,0% haalde.
Echt Onderzoek (De "Onmogelijke" Test): Het team gaf Aria 14 gloednieuwe, onopgeloste wiskundeproblemen van echte wiskundigen.
- Andere AI-modellen: 0% succes. Ze konden niet eens beginnen.
- Aria: 42,9% succes. Het slaagde erin bijna de helft van deze gloednieuwe, nooit eerder geziene problemen te vertalen naar een formaat dat de computer kon begrijpen.

Samenvatting

Aria is een systeem dat stopt met AI het "verzinnen van dingen" wanneer het geavanceerde wiskunde doet. In plaats van te gokken, doet het het volgende:

Brengt afhankelijkheden in kaart (als een blauwdruk).
Zoekt in de officiële bibliotheek naar huidige regels (als een detective).
Itereert en herstelt zijn eigen fouten (als een beeldhouwer).
Verifieert de diepe betekenis, niet alleen de oppervlakkige woorden (als een waarheidsdetector).

Dit stelt het in staat om complexe, onderzoeksniveau wiskundeproblemen aan te pakken die voorheen simpelweg onbereikbaar waren voor AI-systemen.

Technisch Overzicht: ARIA – Een Agent voor Retrieval en Iteratieve Auto-Formalisering via een Dependency Graph

1. Probleemstelling

De nauwkeurige auto-formalisering van stellingen — het vertalen van informele wiskundige tekst naar formele talen zoals Lean 4 — is een kritieke flessenhals voor de vooruitgang van geautomatiseerde ontdekking en verificatie in onderzoeksniveau-wiskunde. Ho af Large Language Models (LLMs) veelbelovend zijn voor taken op bachelor-niveau, worstelen ze aanzienlijk met vermoedens (conjectures) op niveau van onderzoek, vanwege drie primaire faalmodi:

Hallucinaties en Semantische Mismatches: LLM's genereren vaak code met functies of definities die niet bestaan in de bibliotheek (Mathlib) of interpreteren de semantische intentie van wiskundige concepten verkeerd.
Onvermogen om Nieuwe Definities te Synthetiseren: Wiskunde op onderzoeksniveau vereist vaak het definiëren van nieuwe objecten die niet aanwezig zijn in bestaande bibliotheken. Statische, eenstaps-generatiemethoden falen omdat ze niet spontaan deze definities kunnen synthetiseren.
Beperkingen in Semantische Verificatie: Bestaande semantische checkers vertrouwen vaak op oppervlakkige tekstuele gelijkenis of back-translation, waardoor ze subtiele discrepanties tussen informele concepten en hun formele Lean-tegenhangers (bijv. incorrecte type-coercies of omgekeerde parametervolgordes) niet kunnen detecteren.

Deze problemen leiden tot ongetrouwe vertalingen die grootschalige datageneratie-pipelines ontsporen en autonome exploratie van open wiskundige problemen verhinderen.

2. Methodologie

Het artikel introduceert ARIA (Agent for Retrieval and Iterative Auto-Formalization), een systeem dat is ontworpen om het redeneren van menselijke experts na te bootsen via een tweefasig Graph-of-Thought (GoT) proces. De pipeline is als volgt gestructureerd:

2.1 De Graph-of-Thought (GoT) Pipeline

In tegen tegenstelling tot directe eenstaps-generatie, deelt ARIA de formaliseringstaak op in een gestructureerde dependency graph:

Fase 1: GoT Decompositie (Top-Down): De agent neemt een informele stelling en deelt deze recursief op in een dependency graph van concepten. Elke node vertegenwoordigt een definitie, structuur of klasse.
- Grounding: Voor elk concept raadpleegt de agent LeanSearch (een retrieval engine die de nieuwste Mathlib indexeert) om canonieke definities te vinden.
- Redeneren: Een LLM analyseert de opgehaalde kandidaten om de beste canonieke match te identificeren. Als er geen match bestaat (het concept is nieuw), wordt de node gemarkeerd voor synthese.
Fase 2: GoT Synthese (Bottom-Up): De agent synthetiseert formele definities beginnend bij de bladnodes (gegronde concepten) opwaarts naar de wortel (de hoofdstelling).
- Compiler-in-the-Loop: Bij elke synthesestap wordt de gegenereerde code onmiddellijk gecompileerd. Als de compilatie faalt, wordt de foutmelding teruggekoppeld naar de LLM voor verfijning (zelfreflectie).
- Synthese van Nieuwe Concepten: Voor ongegronde nodes genereert de agent nieuwe definities met behulp van de geverifieerde code van hun afhankelijkheden als context.

2.2 AriaScorer: Term-Level Grounded Semantic Checker

Om semantische correctheid te waarborgen voorbij syntactische compilatie, introduceren de auteurs AriaScorer.

Term-Level Retrieval: Voordat een formele stelling wordt geëvalueerd, gebruikt AriaScorer een statische analyzer (jixia) om alle in de Lean-code gerefereerde termen te extraheren. Het bevraagt een gecureerde Mathlib-dataset om de gezaghebbende definities, types en informele beschrijvingen van deze termen op te halen.
Subtaak Decompositie: De informele stelling wordt opgedeeld in atomaire aannames en conclusies.
Gegronde Evaluatie: De LLM evalueert de match tussen de informele subtaken en de formele code, maar cruciaal is dat de checker wordt voorzien van de opgehaalde formele definities als context. Dit stelt de checker in staat om te redeneren over de werkelijke semantiek van de Lean-termen in plaats van te vertrouwen op oppervlakkige tekstuele gelijkenis.
Scoring: Subtaken worden gelabeld als "Perfectly Match," "Minor Inconsistency," of "Major Inconsistency." Deze worden geaggregeerd via een fuzzy integraal tot een definitieve score (0 tot 1), die wordt getoetst aan een drempelwaarde om een binaire acceptatie/verwerping beslissing te nemen.

3. Belangrijkste Bijdragen

Aria Agent: Een innovatieve auto-formaliseringsagent die Retrieval-Augmented Generation (RAG), Graph-of-Thought planning en compiler-gestuurde zelfreflectie integreert. Het is het eerste systeem dat autonoom complexe, nieuwe definities kan synthetiseren die nodig zijn voor formalisering op niveau van vermoedens.
AriaScorer: Een term-level grounded semantische checker die gezaghebbende Mathlib-definities ophaalt om de wiskundige correctheid van formaliseringen te verifiëren, wat het aantal fout-positieven door semantische hallucinaties aanzienlijk vermindert.
State-of-the-Art Prestaties: Het systeem behaalt significante verbeteringen ten opzien van bestaande methoden over meerdere benchmarks, met name op onderzoeksniveau-problemen waar voorheen modellen volledig faalden.

4. Experimentele Resultaten

De auteurs evalueerden ARIA op diverse benchmarks, waarbij de Final Accuracy werd gemeten (het deel van de stellingen dat zowel de compilatie als de semantische checks doorstaat).

ProofNet (Bachelor Niveau): ARIA bereikte een compilatie succesratio van 91,6% en een final accuracy van 68,5%, waarmee het eerdere methoden overtrof.
FATE-H (Algebra Eindtoetsen): ARIA bereikte een final accuracy van 71,0%, waarmee het de beste baseline (Goedel-V2 pass@128) met 43,0% versloeg.
FATE-X (PhD/Onderzoeksniveau): ARIA bereikte een final accuracy van 44,0%, vergeleken met 24,0% voor de beste baseline.
Homologische Vermoedens (Real-World Research): Op een dataset van 14 uitdagende vermoedens uit de commutatieve algebra bereikte ARIA een succesratio van 42,9%, terwijl alle andere baseline-modellen (inclusief Goedel-V2 en Gemini-2.5-Pro) een score van 0% behaalden.

Ablatie-studies:

Het verwijderen van de Reflection mechanisme zorgde ervoor dat de prestaties instortten (0% succes op de vermoedens).
Het verwijderen van de GoT planner verminderde het succes op de vermoedens van 6/14 naar 1/14.
Het uitschakelen van de RAG module resulteerde in 0% succes op de vermoedens, wat bevestigt dat statische pre-trained kennis onvoldoende is voor definities op onderzoeksniveau.

Validatie van de Semantische Checker:
Op de FATE-X benchmark behaalde AriaScorer een nauwkeurigheid van 89,9% (bij $\alpha=0$ ) en een precisie van 95,5% (bij $\alpha=0,9$ ), waarmee het de LeanScorer en Back-Translation baselines aanzienlijk versloeg. Casestudies toonden het vermogen aan om "Definitie Discrepanties" te detecteren (bijv. subtiele verschillen in vermenigvuldigingsregels voor quaternion-algebra's) en hallucinaties te onderdrukken door de evaluatie te funderen in de werkelijke bibliotheekdefinities.

5. Betekenis en Claims

Het artikel claimt dat ARIA een fundamentele stap is richting autonome wiskundige ontdekking. Door de "fundamentele bottlenecks" van hallucinatie en het onvermogen om nieuwe definities te synthetiseren aan te pakken, maakt ARIA de betrouwbare formalisering van vermoedens op niveau van onderzoek mogelijk.

De auteurs benadrukken dat nauwkeurige stelling-formalisering een vereiste is voor bewijs-generatie. Het succes van ARIA op de Homologische Vermoedens dataset demonstreert een uniek vermogen om actuele onderzoeksproblemen aan te pakken die voorheen ontoegankelijk waren voor geautomatiseerde systemen. De integratie van term-level grounding in de semantische controle (AriaScorer) wordt gepresenteerd als een noodzakelijke evolutie voorbij tekstuele gelijkenis-metrics, wat een rigoureuze standaard biedt voor het verifiëren van de wiskundige getrouwheid van door AI gegenereerde formaliseringen.

Het werk suggereert dat toekomstige geautomatiseerde wiskundige bewijssystemen moeten vertrouwen op dergelijke gestructureerde, retrieval-augmented en zelfreflectieve agents om de complexiteit van moderne wiskundige bibliotheken en onderzoeksfronten te navigeren.