Algorithmic algorithm development with LLMs: A Case Study on LLM-Usage for Contraction Order Optimization in Tensor Networks
Dit artikel presenteert een casestudy met behulp van OpenEvolve om aan te tonen hoe door verifiers geleide LLM-agenten effectief algoritmen kunnen ontwikkelen en verbeteren voor de optimalisatie van de contractievolgorde van tensornetwerken, waarbij de cruciale rol van menselijke wetenschappers bij evaluatie, validatie en interpretatie wordt benadrukt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert een enorme, complexe puzzel op te lossen. In de wereld van de natuurkunde en informatica wordt deze puzzel een Tensor Network genoemd. Om deze op te lossen, moet je veel kleinere stukjes (tensoren) in een specifieke volgorde met elkaar combineren.
Hier is het addertje onder het gras: de volgorde waarin je deze stukjes aan elkaar klikt, is van enorm belang.
- Als je ze in de verkeerde volgorde aan elkaar klikt, kan de puzzel tijdelijk uitgroeien tot de omvang van een wolkenkrabber voordat hij weer krimpt. Dit vereist een enorme hoeveelheid computergeheugen en tijd (FLOPs, oftewel "rekenstappen").
- Als je ze in de juiste volgorde aan elkaar klikt, blijft de puzzel klein en beheersbaar, waardoor hij zichzelf snel oplost.
Het vinden van de perfecte volgorde is als het proberen te vinden van het kortste pad door een doolhof dat elke keer van vorm verandert wanneer je ernaar kijkt. Het is zo moeilijk dat zelfs supercomputers er moeite mee hebben bij grote puzzels.
Het Experiment: Een AI leren een Puzzelmeester te zijn
De auteurs van dit paper wilden zien of een Large Language Model (LLM) — een type AI dat erg goed is in het schrijven van code en het oplossen van logische problemen — zelfstandig betere volgordes voor deze puzzelstukjes kon leren vinden. Ze vroegen de AI niet alleen om een antwoord; ze zetten een spel van evolutie op.
Denk hierbij aan een kookwedstrijd:
- De Deelnemers: De AI genereert vele verschillende "recepten" (algoritmen) voor het aan elkaar klikken van de puzzelstukjes.
- De Jury: Een computerprogramma fungeert als de jury. Het bereidt het gerecht niet daadwerkelijk (voert de volledige natuurkundige simulatie niet uit), maar berekent alleen hoeveel ingrediënten (rekenstappen) elk recept zou gebruiken.
- De Evolutie: De AI kijkt naar de recepten die de minste ingrediënten gebruikten, mengt deze samen en probeert een nieuw, nog beter recept te maken. Dit herhaalt het proces duizenden keren, waardoor er langzaam een "meesterkok" evolueert.
Wat ze Testten (De "Knoppen" waar de Mens aan draaide)
De onderzoekers beseften dat de AI geen toverstaf is; het is een hulpmiddel dat zeer specifie of instructies nodig heeft. Ze testten drie belangrijke zaken om te zien wat de AI deed slagen of falen:
1. Welke AI-kok namen ze in dienst? (De Modelkeuze)
Ze probeerden verschillende versies van AI-modellen uit, van kleine tot massieve modellen.
- Het resultaat: Verrassend genoeg presteerde een middelgroot AI-model (GPT-OSS-20B) eigenlijk beter dan de gigantische, dure modellen. Het was alsof je een lokale bakker vond die beter brood bakte dan een beroemde internationale keten. De grootste modellen raakten soms in de war of deden er te lang over om na te denken.
2. Hoe maten ze wat "Goed" was? (De Metriek)
De AI heeft een score nodig om te weten of hij wint. De onderzoekers probeerden verschillende manieren om de recepten te scoren:
- Gemiddelde Score: "Hoe goed is het recept gemiddeld genomen?"
- Worst-case Score: "Wat is het slechtste recept dat deze AI kan maken?"
- Het resultaat: Het bleek dat het vertellen van de AI om te optimaliseren voor het "gemiddelde" het beste werkte. Als ze de opdracht gaven om te optimaliseren voor het "worst-case scenario", raakte de AI in de war en maakte hij slechte recepten voor iedereen. De manier waarop je definieert wat "winnen" is, bepaalt wie er wint.
3. Op wat voor soort puzzels oefenden ze? (De Testdata)
Ze lieten de AI oefenen op kleine, middelgrote en grote puzzels.
- Het resultresultaat: Als de AI alleen op kleine puzzels oefende, werd hij een meester in het oplossen van kleine puzzels én verrassend goed in middelgrote puzzels. Maar als hij op middelgrote puzzels oefende, werd hij daadwerkelijk slechter in het oplossen van de kleine puzzels. Het is als een turner die alleen traint op de evenwichtsbalk en daarna faalt bij de vloeroefening. De specifieke oefendata die je kiest, bepaalt wat de AI leert.
Het "Beste" Resultaat: Een Verrassende Ontdekking
Na het uitvoeren van het experiment vond de AI (specifiek het middelgrote model) een nieuwe manier om de puzzelstukjes te ordenen.
- Het Goede Nieuws: Het vond een methode die aanzienlijk minder rekenstappen gebruikte dan de standaard door mensen gemaakte methoden voor middelgrote puzzels. Het was ongeveer 47 keer sneller in termen van berekeningsstappen!
- Het Addertje: De code van de AI was een beetje een "black box". Het was lang, complex en bevatte weinig commentaar dat uitlegde waarom het werkte. Wanneer de mensen naar de code keken, realiseerden ze zich dat de AI een bekende wiskundige truc opnieuw had ontdekt, maar er een vreemde, nieuwe draai aan had toegevoegd die nog nooit eerder was opgeschreven.
- De Waarschuwing: Hoewel de methode van de AI wiskundig efficiënt was, duurde het proces om het recept te vinden te lang. Voor zeer grote puzzels was de methode van de AI te traag om in de praktijk überhaupt nuttig te zijn.
De Belangrijkste Conclusie
Het paper concludeert dat hoewel AI een krachtig hulpmiddel is voor het uitvinden van nieuwe algoritmen, mensen nog steeds de kapiteins van het schip zijn.
- Je kunt niet alleen zeggen: "Ga." Je moet de regels van het spel zorgvuldig ontwerpen (de testdata, het scoresysteem en de tijdslimieten). Als je het spel slecht ontwerpt, vindt de AI een "cheatcode" die het spel wint, maar het eigenlijke probleem niet oplost.
- Verificatie is essentieel. Alleen omdat de AI zegt dat hij een snellere manier heeft gevonden, betekent niet dat het klaar is voor de echte wereld. Mensen moeten nog steeds controleren of de code logisch is, of het leesbaar is en of het daadwerkelijk werkt onder echte omstandigheden (zoals wanneer de tijd opraakt).
- De "Instrument"-metafoor: De auteurs suggereren dat we deze AI-systemen niet moeten zien als "magische orakels" die ons antwoorden geven. In plaats daarvan moeten we ze zien als complexe wetenschappelijke instrumenten. Net zoals een telescoop een deskundige astronoom nodig heeft om de sterren te richten en te interpreteren, heeft een AI-algoritme een deskundige wetenschapper nodig om het op het juiste probleem te richten en de resultaten te interpreteren.
Kortom: De AI is een briljante, snelle, maar soms verwarde leerling. De menselijke wetenschapper is de meesterkok die de ingrediënten moet kiezen, het menu moet bepalen en de uiteindelijke gerechten moet proeven om te garanderen dat ze daadwerkelijk eetbaar zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.