Learning to Coordinate Symbolic Tools: LLM Agents for Verified Sum-of-Squares Certificates

Stel je een wereld voor waarin computers briljant zijn in het opvolgen van instructies, maar verschrikkelijk in het uitzoeken welke instructies ze moeten volgen. Dit is de huidige grens van Kunstmatige Intelligentie, specifiek voor Large Language Models (LLM's)—de superintelligente chatbots die verhalen kunnen schrijven, code kunnen programmeren en raadsels kunnen oplossen. Hoewel deze modellen erg goed zijn in het voorspellen van het volgende woord in een zin, struikelen ze vaak wanneer een probleem een lange keten van logische stappen vereist, zoals een complex wiskundig bewijs. Om dit op te lossen, leren wetenschappers deze AI-agenten om "tools" te gebruiken, net zoals een menselijke wiskundige een rekenmachine, een liniaal of een gespecialiseerd softwareprogramma oppakt. De grote vraag is niet alleen of de AI de tool kan gebruiken, maar of de AI kan leren om een hele gereedschapskist te coördineren om een puzzel op te lossen die geen enkele individuele tool alleen kan kraken. Het is het verschil tussen het hebben van een hamer en weten precies wanneer je moet hammeren, wanneer je moet schroeven en wanneer je moet stoppen voordat je de muur beschadigt.

Dit artikel duikt in die exacte uitdaging met behulp van een specif으로 type wiskundige puzzel genaamd "Sum-of-Squares" (SOS) decompositie. Denk hierbij aan het proberen te bewijzen dat een ingewikkelde, rommelige polynoomvergelijking altijd positief is (nooit negatief), ongeacht welke getallen je erin invult. De "truc" om dit te bewijzen is om de vergelijking zo te herschikken dat deze eruitziet als een som van perfecte kwadraten (zoals $x^2 + y^2$), omdat kwadraten altijd positief zijn. Echter, het vinden van de juiste manier om de vergelijking te herschikken is als het proberen op te lossen van een Rubik's Cube met een blinddoek op: er zijn miljoenen manieren om de stukjes te draaien, maar slechts een paar leiden tot een oplossing. De auteurs hebben een speciale AI-agent gebouwd die leert om een symbolische wiskundige tool (SymPy) te gebruiken om haar werk direct te controleren. Ze hebben deze agent niet alleen getraind op de uiteindelijke puzzel, maar eerst op een enorme bibliotheek van 1,35 miljoen kleinere, eenvoudigere algebraïsche problemen.

De resultaten laten zien dat het geven van een tool aan een AI niet genoeg is; de AI moet "algebra-gegrond" zijn, wat betekent dat de AI de wiskunde achter de tool diepgaand moet begrijpen voordat hij deze effectief kan gebruiken. Wanneer de onderzoekers hun volledig getrainde agent testten (die de wiskunde had geleerd én wist hoe ze de tool moest gebruiken), loste deze 78,96% van de complexe puzzels op. In contrast hiermee lost een versie van de AI die wel dezelfde tool had maar niet getraind was op de onderliggende wiskunde, slechts 44,73% van hen op. Nog indrukwekkender is dat de volledig getrainde agent 91,75% accuraat was over negen verschillende soorten algebra-taken. De studie suggereert dat voor AI om een echte probleemoplosser te worden, het de "ambacht" van het vak moet leren, en niet alleen de "knoppen" om in te drukken.

Het Verhaal van de Wiskundige Detective

Stel je voor dat je een detective bent die een zaak probeert op te lossen waarbij de verdachte een gigantische, rommelige algebraïsche vergelijking is. Jouw taak is om te bewijzen dat deze vergelijking altijd "goed" (positief) is en nooit "slecht" (negatief). De enige manier om dit te bewijzen is door de vergelijking af te breken in een stapel perfecte kwadraten, zoals het opstapelen van bakstenen die allemaal positief zijn. Als je kunt laten zien dat de vergelijking slechts een stapel van deze bakstenen is, heb je de zaak opgelost.

Maar hier is de crux: de vergelijking is geschreven op een verwarrende, chaotische manier. Om het te ontwarren, heb je een speciale "Wiskundige Magische Staf" nodig (een computerprogramma genaamd SymPy) die instant delen van de vergelijking kan uitbreiden, verkleinen of herschikken. Het probleem is dat de staf je niet vertelt wat je moet doen; het doet gewoon wat je vraat. Als je de verkeerde kant van de vergelijking laat uitbreiden, maak je de bende misschien alleen maar groter. Je moet beslissen welk deel je draait, wanneer je stopt en hoe je de stukjes weer in elkaar zet.

De onderzoekers van Caltech en OpenAI wilden zien of ze een AI als deze detective konden opleiden. Ze gaven de AI niet alleen de staf; ze bouwden een trainingskamp. Ze creëerden 1,35 miljoen oefenopdrachten. Eerst oefende de AI eenvoudige taken zoals het sorteren van letters, het groeperen van gelijke items en het ontbinden van getallen in factoren. Daarna leerden ze de AI hoe de staf gebruikt kon worden in een gesimuleerde omgeving, waarbij werd getoond wat er gebeurt als je de staf een opdracht geeft. Ten slotte lieten ze de AI de grote "Sum-of-Squares" puzzels oplossen met de echte staf.

De Grote Bevindingen: Training wint van Tools

Het experiment vergeleek vier verschillende versies van de AI-detective:

1. De Rookie (Base): Een AI die nooit het trainingskamp heeft gezien en geen staf heeft.
2. De Student (SFT): Een AI die het trainingskamp heeft bestudeerd, maar tijdens de test geen staf heeft.
3. De Tool-User (Base+Tools): De Rookie die plotseling de staf in handen kreeg, maar niet had gestudeerd.
4. De Master (Full): De Student die het kamp heeft bestudeerd en de staf heeft gekregen.

De resultaten waren een duidelijke overwinning voor de Master. Wanneer zij werden geconfronteerd met de complexe puzzels:

• De Rookie met de staf loste slechts ongeveer 44,73% van hen op.
• De Master (die de wiskunde kende en de staf had) loste 78,96% van hen op.

Dit bewijst een cruciaal punt: het simpelweg overhandigen van een krachtige tool aan een slimme AI is niet genoeg. De AI moet de logica achter de tool begrijpen. Het is als het geven van een high-tech oven aan een meesterkok; als ze niet weten hoe ze moeten koken, zal de oven hen niet helpen. Maar als ze de recepten kennen, maakt de oven hen onstuitbaar.

De studie controleerde ook of deze intense wiskundige training de AI slechter maakte in andere zaken, zoals algemene wiskundige problemen. Dat deed het niet. De Master AI werd zelfs iets beter in algemene wiskunde, met een score van 96,29% op een standaardtest, wat aantoont dat het leren coördineren van tools de andere vaardigheden niet heeft aangetast.

Wat de AI Leerde (en Niet)

Het artikel is zeer voorzichtig in wat het claimt. Het zegt niet dat de AI nu een genie is dat elke wiskundige vraag ter wereld kan oplossen. De gebruikte puzzels waren synthetisch (door een computer gemaakt) en relatief klein, met slechts één tot drie variabelen. De AI heeft geen nieuwe wiskunde "ontdekt"; het heeft geleerd om bestaande tools te coördineren om een specifiek type bewijs te vinden.

Echter, de studie weerlegt ook een veelvoorkomende aanname: dat je simpelweg een tool-interface op een model kunt plakken en verwachten dat het werkt. De "Tool-User" versie (Base+Tools) presteerde slechter dan de "Student" versie (SFT) die geen tool had, maar wel de wiskunde had bestudeerd. Dit suggereert dat zonder het diepe begrip van de algebra, de tool de AI juist in de war bracht, wat leidde tot slechte keuzes.

De onderzoekers merkten ook op dat de AI soms op drie specifieke manieren faalde: het gaf te vroeg op, het bouwde een oplossing die er goed uitzag maar structureel fout was, of het bouwde een oplossing die structureel wel klopte maar niet overeenkwam met de oorspronkelijke vergelijking. De "exact verifier" in hun systeem ving al deze fouten op, waardoor alleen perfecte oplossingen werden meegeteld.

De Conclusie

Dit artikel biedt een blauwdruk voor het bouwen van slimmere AI-agenten. Het suggereert dat de toekomst van AI in velden zoals wiskunde en wetenschap niet alleen gaat over grotere modellen of fancy tools. Het gaat over coördinatie. Door een AI te trainen op de fundamentele vaardigheden van een domein (zoals algebra) en het vervolgens te leren hoe het tools kan gebruiken om zijn eigen werk te verifiëren, kunnen we agenten creëren die veel betrouwbaarder zijn. De "Master" AI gokte niet alleen; het plande, voerde uit, controleerde en corrigeerde, net als een menselijke expert. Hoewel deze specifieke studie beperkt was tot een gecontroleerde wiskundige omgeving, wijst het een pad naar hoe we AI in de toekomst kunnen leren om complexere, echte problemen aan te pakken.