AoA: Theorem Proving Agent over Abstract Syntax Tree of Redesigned Language
Het artikel introduceert AoA, een nieuwe interactieve bewijsagent die direct werkt op de Abstract Syntax Tree van een herontworpen taal (Minilang) in plaats van op geserialiseerde brontekst, waardoor de API-kosten, het tokengebruik en het aantal tool-aanroepen aanzienlijk worden verminderd, terwijl de snelheid van oplossen en de succespercentages op verificatiebenchmarks worden verbeterd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een briljante maar ietwat onhandige robot probeert te leren hoe hij complexe wiskundige puzzels moet oplossen. Deze robot is een "Large Language Model" (LLM), een type AI dat geweldig is in het begrijpen van menselijke taal, maar soms moeite heeft met de rigide, precieze regels van formele logica. Het vakgebied van "Interactief Stellingbewijzen" is als een strategisch hoogwaardig schaakspel tussen een mens en een computer, waarbij elke zet wiskundig perfect moet zijn. Als je een piepkleine fout maakt, stort het hele spel in. Decennialang hebben mensen dit handmatig moeten doen, wat traag, duur en uitputtend is. Onlangs begonnen mensen AI-robots te gebruiken om te helpen, maar er was een addertje onder het gras: de robots waren ongelooflijk duur in gebruik. Ze bleven steeds weer dezelfde informatie vragen, zoals een student die de leraar steeds vraagt om de instructies te herhalen omdat hij het werkblad kwijt is, waardoor er bij elke vraag geld en tijd werd verbrand.
De grote vraag die onderzoekers stellen is: Kunnen we deze bewijsoplossende robots slimmer en goedkoper maken zonder ze vanaf nul opnieuw te hoeven trainen? Het antwoord ligt in hoe we met hen communiceren. In plaats van de robot een lange, rommelige paragraaf code te laten lezen en te laten raden waar de fouten zitten, wat als we hem een duidelijke, gestructureerde kaart gaven? Dit artikel introduceert een nieuwe manier om deze bewijsagenten te bous, genaamd "Agent over AST" (AoA). In plaats van de robot een tekstbestand regel voor regel te laten bewerken, laten de auteurs hem een "boom" van logica bewerken. Denk aan het verschil tussen het proberen te repareren van een zin in een roman door woorden op een pagina uit te gummen en opnieuw te schrijven, versus het gebruiken van een digitale editor die je de structuur van het verhaal laat zien als een stamboom. Met de boom kun je precies zien welke tak gerepareerd moet worden, en de computer geeft je direct het resultaat, zonder dat je hoeft te vragen: "Wacht, wat is hier de context?"
De onderzoekers ontdekten dat door over te schakelen van een tekstgebaseerde aanpak naar deze boomgebaseerde aanpak, ze de kosten van het draaien van deze bewijsagenten drastisch konden verlagen. Toen ze hun nieuwe systeem, AoA, testten tegen een leidende bestaande agent (Amazon's Isabelle Agent), waren de resultaten opmerkelijk. AoA gebruikte 2,9 tot 6,9 keer minder "tokens" (de eenheden data die de AI verwerkt) en deed 3,9 tot 8,9 keer minder tool calls. Wat betreft geld betekende dit dat de nieuwe agent 2,3 tot 4,7 keer minder kostte om per probleem te draaien. Nog indrukwekkender is dat het de taken 1,4 tot 2,0 keer sneller voltooide.
Een van de slimste onderdelen van dit werk is hoe het omgaat met een gloednieuwe bewijstaal genaamd "Minilang". Deze taal is specifiek ontworpen om gemakkelijker te begrijpen te zijn voor AI, maar omdat het zo nieuw is, waren de AI-modellen er nog niet op getraind. Normaal gesproken zou dit een dealbreaker zijn; je zou denken dat de AI zou falen omdat hij de regels niet kent. Echter, de auteurs lieten zien dat door de regels van Minilang te vertalen naar een gestructureerd formaat (JSON) dat de AI al goed begrijpt, ze de robot bewijzen in deze nieuwe taal konden laten oplossen zonder dat de AI ooit een enkel voorbeeld ervan had gezien. Ze bewezen dat je de AI niet een enorme bibliotheek aan nieuwe boeken hoeft te voeren om hem een nieuw spel te leren; je moet alleen de regels uitleggen op een manier die hij natuurlijk kan vatten.
In hun experimenten was AoA niet alleen beter in het besparen van geld; het werd ook beter in het oplossen van problemen. Op een reeks moeilijke wiskundige uitdagingen loste het 99,6% van de gevallen op, waarmee het de beste resultaten ooit evenaarde. Op een reeks lastige computerverificatieproblemen loste het 8 de 89,2% op, waarmee het een nieuw record vestigde. De auteurs suggereren dat deze aanpak — het wegstappen van rommelige tekstbewerking en het bewegen naar gestructureerde, boomgebaseerde interactie — een krachtige manier is om AI-bewijsassistenten praktisch bruikbaar te maken voor echt wereldgebruik. Ze geven toe dat hoewel dit goed werkt voor Minilang, het nog niet bewezen is voor elke mogelijke taal, maar de resultaten zijn sterk genoeg om te suggereren dat dit een veelbelovende richting is voor de toekomst van geautomatiseerde wiskunde en softwareverificatie.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.