Discovering Multiagent Learning Algorithms with Large Language Models
Dit artikel toont aan dat grote taalmodellen de ontdekking van concurrerende multi-agent versterkingsleeralgoritmen voor imperfecte-informatiespellen kunnen automatiseren, en laat zien dat het distilleren van deze complexe, omgevingsspecifieke bevindingen tot minimale algorithmische kernen leidt tot superieure generalisatie en verminderde structurele complexiteit.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een groep robots probeert te leren poker, Go of zelfs een spelletje "Leugenaarsdobbelen" spelen. Decennia lang zijn mensen de coaches geweest die handmatig de hersenen van de robots hebben bijgestuurd, verschillende wiskundige formules hebben uitgeprobeerd en hoopten dat ze beter zouden worden. Het is een langzaam, saai proces van trial and error.
Dit artikel beschrijft een nieuwe manier van coachen: in plaats van dat een mens de code aanpast, laten de onderzoekers een Groot Taalmodel (LLM) — een superintelligente AI die code begrijpt — optreden als evolutionair bioloog. Ze noemen dit systeem AlphaEvolve.
Hier is het verhaal van wat ze ontdekten, opgesplitst in eenvoudige concepten.
1. Het evolutionaire laboratorium
De onderzoekers richtten een digitaal "laboratorium" op met twee verschillende soorten algoritmen voor het spelen van spellen:
- CFR (Counterfactual Regret Minimization): Denk hierbij aan een student die leert door naar elke fout te kijken die ze hebben gemaakt en zich af te vragen: "Als ik iets anders had gedaan, had ik dan gewonnen?"
- PSRO (Policy-Space Response Oracles): Dit is als een coach die een team van verschillende spelers opbouwt, ze tegen elkaar laat spelen en voortdurend nieuwe, slimmere spelers aan de selectie toevoegt om de huidige beste te verslaan.
Het LLM kreeg de broncode van deze algoritmen en kreeg de opdracht: "Maak deze beter. Verminder de fouten (exploiteerbaarheid) die de robots maken."
Het LLM paste niet alleen een paar getallen aan; het herschreef de logica van de code zelf en muteerde de algoritmen als DNA. Na vele generaties van "overleving van de fittest" produceerde het LLM twee nieuwe, zeer complexe algoritmen:
- VAD-CFR: Een versie van de "Regret"-student die wild aanpast aan hoe chaotisch het spel voelt.
- SHOR-PSRO: Een versie van de "Teamcoach" die strategieën op een zeer specifieke, complexe manier combineert.
2. De valkuil van "over-engineering"
Toen ze deze nieuwe, door AI ontdekte algoritmen testten, waren ze verbazingwekkend. Ze versloegen alle door mensen ontworpen kampioenen in de specifieke spellen waarvoor ze waren getraind.
Echter, de onderzoekers merkten iets verdachts op. Het LLM had deze algoritmen gebouwd als een meesterkok die een gerecht maakt voor één zeer kieskeurige eter. De code zat vol met complexe, verwarde mechanismen die perfect werkten voor de trainingsspellen, maar waarschijnlijk gewoon "overfitten" waren — het trainingsdata uit het hoofd leerden in plaats van de algemene regels van het spel te leren.
Het was alsof het LLM een auto bouwde met een turbo, een nitrosysteem en een speciale ophanging die alleen was afgesteld voor een specifiek racecircuit. Het zou die baan winnen, maar als je het op een hobbelig grindpad zou brengen, zou het misschien uit elkaar vallen.
3. De "ablatie"-operatie (het speurwerk)
Om erachter te komen wat deze algoritmen eigenlijk slim maakte, voerden de onderzoekers "chirurgie" uit. Ze verwijderden systematisch delen van de code om te zien wat er gebeurde. Dit heet ablatie.
Ze ontdekten dat de mooie, complexe onderdelen (zoals het bijhouden van volatiliteit of het op specifieke manieren combineren van strategieën) grotendeels ballast waren. Ze hielpen het algoritme om te winnen op de trainingsbaan, maar ze hielpen het niet om te generaliseren naar nieuwe spellen.
Toen ze de "prachtige kleding" afstroopten, vonden ze de blootliggende botten die de motor eigenlijk deden draaien.
4. De gedistilleerde winnaars
Door alleen de meest essentiële, fundamentele principes te behouden en de overmatig gecompliceerde code weg te gooien, creëerden ze twee nieuwe, eenvoudigere algoritmen:
WOP-CFR (Warm-started Optimistic Predictive CFR):
- De analogie: Stel je een student voor die weigert de eerste 500 dagen van de les notities te maken (een "warm start") om te voorkomen dat ze slechte gewoonten opschrijven. Daarna beginnen ze notities te maken, maar ze zijn "optimistisch": ze gaan ervan uit dat de volgende zet iets beter zal zijn dan hij is, wat hen helpt sneller te leren.
- Het resultaat: Deze eenvoudige versie was eigenlijk beter in het generaliseren naar nieuwe spellen dan het complexe origineel. Het was minder snel verward door nieuwe situaties.
PM-PSRO (Projection Matching PSRO):
- De analogie: Stel je een coach voor die de "ruis" van de menigte negeert. In plaats van naar elke enkele score te kijken, kijken ze naar hoe een speler presteert ten opzichte van het gemiddelde van het hele team. Als een speler onder het gemiddelde zit, wordt ze direct vergeten. Als ze boven het gemiddelde zit, krijgt ze de schijnwerper.
- Het resultaat: Deze afgezwakte versie was ook superieur aan het complexe origineel, wat bewees dat de complexe combinatielogica van het LLM niet nodig was.
5. De grote les
Het artikel concludeert dat LLM's geweldig zijn in het voorstellen van ideeën, maar dat mensen nodig zijn om ze te distilleren.
Het LLM fungeerde als een creatieve uitvinder die een machine bouwt met 500 bewegende onderdelen. De onderzoekers fungeerden als ingenieurs die beseften: "Hé, we hebben maar 3 van deze onderdelen nodig om het werk te laten doen, en het verwijderen van de andere 497 maakt het sneller en betrouwbaarder."
Samenvatting van de bewering:
De onderzoekers slaagden erin een AI te gebruiken om nieuwe spelalgoritmen te ontdekken die menselijke experts versloegen. Echter, de ruwe ontdekkingen van de AI waren te complex en gespecialiseerd. Door de onnodige complexiteit chirurgisch te verwijderen, creëerden ze eenvoudigere, schonere algoritmen die zelfs beter waren in het omgaan met nieuwe, onbekende spellen. Dit bewijst dat AI een krachtig hulpmiddel kan zijn voor wetenschappelijke ontdekking, mits mensen er zijn om de resultaten te vereenvoudigen en te interpreteren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.