Theory-Scale Auto-Formalization of Logics for Computer Science
Dit artikel introduceert LCS-Bench, een uitgebreide benchmark op theoraspect-schaal met meer dan 4.000 Lean-declaraties afgeleid van 327 tekstboekitems via een nieuwe semi-geautomatiseerde agentische pijplijn, die onthult dat huidige state-of-the-art modellen moeite hebben met coherente, grootschalige auto-formalisatie, waarbij ze slechts een succespercentage van 20,1% behalen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een enorme, complexe instructiehandleiding hebt voor het bouwen van een geavanceerde machine. De handleiding is geschreven in menselijke taal, vol diagrammen, kruisverwijzingen en subtiele aannames die een menselijke expert intuïtief begrijpt. Stel je nu voor dat je een robot wilt leren om die hele handleiding te vertalen naar een strikte, computerleesbare programmeertaal waarbij elke stap wiskundig bewezen moet zijn voordat de machine kan draaien.
Dat is in essentie waar dit artikel, "Theory-Scale Auto-Formalization of Logics for Computer Science," over gaat. De onderzoekers proberen AI te leren een hele tekst over logica te vertalen naar een formele programmeertaal genaamd Lean, niet alleen zin voor zin, maar als een volledig, onderling verbonden systeem.
Hier is een uitsplitsing van hun werk met behulp van eenvoudige analogieën:
1. Het Probleaat: Het "Eiland" versus het "Continent"
Eerdere pogingen om AI deze vaardigheid aan te leren, waren als het vragen aan een AI om geïsoleerde eilanden te vertalen. Ze namen één wiskundig theorema, vertaalden het en controleerden of het werkte. Maar echte wiskunde is een continent. Definities zijn afhankelijk van lemma's, die weer afhankelijk zijn van andere definities. Als je één klein stukje fout doet, stort de hele structuur in.
De auteurs stellen dat bestaande AI-benchmarks te klein zijn. Ze zijn als het testen van een piloot op één enkele bocht in een simulator, in plaats van hem te vragen een vliegtuig van New York naar Londen te vliegen terwijl hij door stormen en brandstofbeperkingen moet navigeren. Dit nieuwe project, LCS-Bench, is de "vlucht van New York naar Londen." Het neemt een heel tekstboek (Logics for Computer Science) en probeert het geheel te formaliseren—327 items, meer dan 4.000 code-declaraties en 85.000 regels code.
2. De Oplossing: De "Architect en de Bouwer" Pipeline
Om deze enorme vertaling te bouwen, heeft het team niet simpelweg een AI gevraagd om het "te doen". Ze bouwden een semi-geautomatiseerde pipeline die werkt als een bouwploeg:
- De Architect (Planning): Eerst analyseert een AI het tekstboek om een "conceptkaart" te tekenen. Het bepaalt hoe elk idee met het volgende verbonden is (bijv. "Je kunt 'proof trees' pas begrijpen als je 'formulas' begrijpt").
- De Bouwer (Implementatie): Een andere AI probeert de daadwerkelijke code te schrijven op basis van die kaart.
- De Veiligheidsinspecteur (Menselijke experts): Dit is cruciaal. Mensen grijpen in om de "verborgen vallen" te repareren. Bijvoorbeeld: een tekstboek kan zeggen: "Ga ervan uit dat X waar is voor de rest van dit hoofdstuk," zonder dit expliciet op te schrijven. Een AI zou dit kunnen missen en een wankele fundering bouwen. Mensen vangen deze ontbrekende aannames op.
- De Counter-Example Hunter: Als de AI vastloopt, probeert het systeem het tegendeel van wat het probeert te bewijzen te bewijzen. Als dat lukt, weet het systeem dat de definitie van de AI fout was (zoals het vinden van een barst in een brug door te proberen er een zware vrachtwagen overheen te rijden).
3. De Benchmark: De "Obstacle Course"
Zodra ze deze enorme bibliotheek hadden gebouwd, maakten ze er een test van (een benchmark) voor andere AI's. Ze creëerden vijf verschillende "tracks" of hindernisbanen:
- Item-Level: Vertaal één specifieke definitie of theorema.
- Subsection-Level: Vertaal in één keer een heel deel van het boek.
- De "Distractor" Test: Geef de AI het juiste antwoord, maar verberg het in een berg irrelevante, verwarrende code om te zien of de AI het signaal uit de ruis kan filteren.
- Theorem Proving: Geef de AI de code, maar laat het "bewijs"-gedeelte leeg (gemarkeerd met een placeholder genaamd
sorry) en kijk of de AI de logica kan invullen.
Om de antwoorden te beoordelen, hebben ze een DefEq Checker uitgevonden. Denk aan dit als een superprecieze liniaal. Het controleert niet alleen of de code compileert; het controleert of de vertaling van de AI exact dezelfde betekenis heeft als het originele tekstboek, zelfs als de AI andere woorden of variabelenamen heeft gebruikt.
4. De Resultaten: De "Reality Check"
Ze hebben 14 van de slimste beschikbare AI-modellen (inclusief topmodellen van OpenAI, Anthropic en anderen) getest op deze baan. De resultaten waren nuchter:
- De Score: Zelfs de beste AI kreeg slechts ongeveer 20% van de items correct.
- De Moeilijkheidsgraad: De modellen hadden de meeste moeite met zaken die diep, abstract redeneren vereisen of het werken met "binder substitution" (een technische manier om te zeggen: "bijhouden welke variabele bij welke regel hoort").
- De "Overthinking" Valstrik: Interessant genoeg, wanneer de modellen faalden, besteedden ze vaak meer tijd en rekenkracht dan wanneer ze slaagden. Ze gingen "overdenken", waarbij ze in cirkels draaiden, in plaats van snel de oplossing te vinden.
- Het "Distractor" Effect: Wanneer de AI extra, irrelevante informatie kreeg (distractoren), daalde de prestatie aanzienlijk. Dit laat zien dat huidige AI's moeite hebben met het wegfilteren van ruis in een grote context, wat essentieel is voor theory-scale werk.
5. De Conclusie
Het artikel concludeert dat hoewel AI beter wordt in wiskunde, theory-scale auto-formalization (het vertalen van volledige, samenhangende corpora van kennis) nog steeds een enorme uitdaging is. De huidige modellen zijn als studenten die wel een enkele algebraïsche vergelijking kunnen oplossen, maar de weg kwijtraken wanneer hen wordt gevraagd een heel hoofdstuk van een tekstboek te schrijven waarbij elke zin afhankelijk is van de vorige.
De auteurs hopen dat deze benchmark (LCS-Bench) zal dienen als een "trainingsveld" om toekomstige AI-modellen te helpen leren hoe ze de complexiteit, consistentie en trouw moeten omgaan die nodig zijn om de logica van computerwetenschappen werkelijk te begrijpen en te formaliseren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.