LeanMarathon: Toward Reliable AI Co-Mathematicians through Long-Horizon Lean Autoformalization
LeanMarathon introduceert een multi-agent systeem gecentreerd rond een evoluerend blauwdruk en een tweestaps-orchestrator om falen bij autoformalisatie over lange tijdshorizonten te overwinnen, waarbij het succesvol zeven stellingen uit vier recente onderzoeksartikelen over Erdős-problemen zonder fouten heeft geformaliseerd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een enorm, ingewikkeld kasteel probeert te bouwen van Lego-stenen, maar dat je dit doet met een team van AI-robots. Het doel is niet alleen om een kasteel te bouwen; het is om een kasteel te bouwen op basis van een zeer complex, handgeschreven blauwdruk van een menselijke wiskundige, en elke enkele steen moet perfect passen volgens de strikte wetten van de natuurkunde (in dit geval de strikte regels van een computertaal genaamd Lean).
Het probleem met eerdere pogingen was dat als één robot een kleine fout maakte — zoals het gebruik van de verkeerde kleur steen of het verkeerd lezen van een regel in de blauwdruk — het hele team voortbouwde op die fout. Uiteindelijk bouwden ze een groot, prachtig ogend kasteel dat er goed uitzag voor het oog, maar dat zou instorten zodra je een dak erop probeerde te plaatsen omdat de fundering fout was. De robots raakten in de war, kregen ruzie met elkaar, of bleven dagenlang dezelfde fout maken.
LeanMarathon is een nieuwe manier om deze robotteams te organiseren zodat ze niet crashen. Hier is hoe het werkt, met behulp van eenvoudige analogieën:
1. De "Levende Blauwdruk" (Het Systeem van Record)
In plaats van de robots een statische PDF te geven om te lezen, gebruikt LeanMarathon één enkel, levend document dat drie dingen tegelijk fungeert:
- Een skelet van de wiskunde (de formele code).
- Een verhaal geschreven in gewone mensentaal (de uitleg in natuurlijke taal).
- Een kaart die laat zien hoe elk stukje met het volgende verbonden is.
Denk hierbij aan een gedeelde Google Doc waarbij elke zin een klein "vinkje" heeft. Als een zin fout is, wordt het vinkje rood. De robots kunnen de rode markeringen niet negeren; ze moeten ze eerst oplossen voordat ze verdergaan.
2. De Vier Gespecialiseerde Robots (Agents)
In plaats van één superrobot die alles probeert te doen (wat hem vatbaar maakt voor overweldigd en verward raken), gebruikt LeanMarathon vier gespecialiseerde robots, die elk een zeer specifieke taak hebben en een strikte regel: Je mag alleen aan je eigen sectie werken.
- De Architect (Blueprinter): Deze robot leest het originele menselijke artikel en breekt het af in kleine, hanteerbare Lego-stukjes. Hij tekent de initiële kaart, maar bouwt de muren nog niet. Hij zet alleen de structuur op.
- De Inspecteur (Target-Reviewer): Voordat er ook maar iets gebouwd wordt, controleert deze robot de kaart tegenover het originele menselijke artikel. Hij vraat: "Heeft de Architect het doel verkeerd begrepen?" Als de kaart zegt "Bouw een toren" maar het artikel zegt "Bouw een brug", dan stopt de Inspecteur alles en stuurt hij een ticket om het te herstellen. Hij bouwt nooit; hij controleert alleen.
- De Bouwer (Worker): Dit zijn de robots die het echte zware werk doen. Maar hier komt de truc: Elke Bouwer is toegewezen aan slechts één piepklein Lego-stukje. Ze werken parallel (veel tegelijk). Ze mogen alleen hun specifieke stukje en de direct omliggende stenen aanraken. Ze kunnen niet over hun buurman heen reiken om diens werk te veranderen. Als ze vastlopen, steken ze een hand op om hulp te vragen in plaats van te gokken.
- De Fixer (Refiner): Als een Bouwer vastloopt of de Inspecteur een probleem vindt, stapt de Fixer in. Deze robot kijkt naar het specifieke kapotte gebied, leest het originele menselijke artikel opnieuw om te begrijpen wat er misging, en herschrijft die specifieke sectie. Het is alsof hij een chirurg is die alleen op één specifiek orgaan opereert, om ervoor te zorgen dat de rest van het lichaam gezond blijft.
3. Het "Verkeerslicht" (De CI Gate)
Dit is de belangrijkste veiligheidsfunctie. Stel je een verkeerslicht voor bij de ingang van een bouwplaats.
- Elke keer dat een Bouwer een stukje voltooit of een Fixer een reparatie uitvoert, moeten ze bij het licht stoppen.
- Een computerprogramma (het Verkeerslicht) controleert automatisch: "Past dit stukje? Komt het overeen met het verhaal? Is het correct verbonden?"
- Als het slaagt, wordt het stukje samengevoegd met het hoofdgebouw.
- Als het faalt, wordt het stukje onmiddellijk afgewezen. De robot moet dan teruggaan en het opnieuw proberen.
- Cruciaal: Dit gebeurt automatisch en direct. Geen mens hoeft naar elke individuele steen te kijken. Dit voorkomt dat "slechte stenen" ooit in de hoofdstructuur terechtkomen.
4. De "Marathon" Strategie
De naam "Marathon" komt van hoe ze met lange, moeilijke taken omgaan.
- De Oude Manier: Eén robot probeert de hele marathon alleen te lopen. Hij raakt vermoeid, begint te hallucineren en valt om.
- De LeanMarathon Manier: Ze breken de marathon op in kleine sprints. Als een robot valt, is alleen die ene sprint aangetast. De rest van het team loopt gewoon door. Omdat het werk is opgedeeld in kleine, onafhankelijke stukken, kan het team fouten onmiddellijk herstellen zonder dagen aan voortgang te verliezen.
Wat hebben ze daadwerkelijk bereikt?
De onderzoekers testten dit systeem op twee zeer moeilijke, real-world wiskundige artikelen die met behulp van AI waren geschreven. Deze artikelen bevatten vier beroemde onopgeloste wiskundige problemen (Erdős-problemen).
- Het Resultaat: LeanMarathon slaagde erin om alle wiskunde in deze artikelen om te zetten in perfecte, door de computer gecontroleerde code. Het bewees 258 verschillende wiskundige stappen (lemma's en stellingen) met nul fouten.
- De Vergelijking: Ze probeerden een commerciële, "alles-in-één" AI-robot (genaamd Aristotle) op dezelfde artikelen. Die robot probeerde alles tegelijk te doen, raakte in de war en slaagde er niet in de klus te klaren, zelfs niet nadat hij dagenlang had gedraaid. Hij liet onvoltooide, kapotte stukken achter.
- De Les: Het paper laat zien dat je om moeilijke wiskunde met AI te doen, niet alleen een "slimmere" robot nodig hebt. Je hebt een betere teamstructuur nodig die voorkomt dat fouten zich verspreiden en die het team gefocust houdt op het oorspronkelijke doel.
Kortom, LeanMarathon bewijst dat we door AI-robots te organiseren in een gedisciplineerd, gespecialiseerd team met strikte regels en automatische controles, rommelige, lange wiskundige argumenten kunnen omzetten in perfect geverifieerde, foutvrije code.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.