ATLAS: Scaffold-Free Algorithm Synthesis by LLMs via Embedding-Guided Quality-Diversity Search

Optimalisatie is de stille motor achter een groot deel van het moderne leven. Het is de wiskundige kunst van het vinden van de best mogende ordening voor een complexe taak, of dat nu het routeren van bezorgwagens is om brandstof te besparen, het plannen van fabrieksmachines om werk op tijd af te krijgen, of het toewijzen van werknemers aan diensten zonder conflicten. Decennialang vereiste het oplossen van deze problemen menselijke experts die de regels en logica die de zoektocht naar een oplossing sturen, handmatig moesten ontwerpen. Deze experts ontwierpen een rigide kader, een vast skelet van stappen, en vulden vervolgens specifieke delen van dat skelet met slimme heuristieken, of vuistregels. Hoewel effectief, betekende deze aanpak dat de computer altijd werkte binnen een door een mens getekende doos, niet in staat om een fundamenteel andere manier te bedenken om het werk te organiseren.

Onlangs is kunstmatige intelligentie begonnen deze dynamiek te veranderen. Large language models, dezelfde technologie die essays kan schrijven of vragen kan beantwoorden, hebben laten zien dat ze ook code kunnen schrijven om deze optimalisatiepuzzels op te lossen. Vroege pogingen vroegen deze modellen om slechts één stukje van een puzzel te schrijven, zoals een specifieke regel voor het kiezen van het volgende item, terwijl de rest van de structuur aan de menselijke ontwerper werd overgelaten. Maar een nieuwe denkwijze suggereert dat als we de kunstmatige intelligentie de hele machine vanaf nul laat ontwerpen, het oplossingen kan ontdekken die menselijke experts nooit zouden kunnen bedenken. De uitdaging is echter dat een computer totale vrijheid geven gevaarlijk is; zonder vangrails kan het gemakkelijk code produceren die crasht, de regels negeert of in een loop terechtkomt. Een team onderzoekers heeft nu een methode ontwikkeld om deze gevaren te navigeren, waardoor een kunstmatige intelligentie in staat is om volledige, werkende algoritmen vanaf de grond op te vinden, en daarmee oplossingen vindt die wedijveren met de beste door mensen ontworpen systemen.

De onderzoekers, onder leiding van Danial Yazdani en collega's van RMIT University en andere instellingen, creëerden een systeem dat ze ATLAS noemen. De naam staat voor Archive-based Three-Layer Algorithm Synthesis, maar de functie is eenvoudiger: het is een scaffold-vrije omgeving waarin een kunstmatige intelligentie vrij is om een volledig optimalisatiealgoritme te bouwen zonder enige vooraf geschreven structuur. In traditionele methoden levert de mens een skelet — een vaste reeks stappen zoals "begin hier, controleer dit, doe dan dat" — en de AI vult alleen de gaten in. ATLAS verwijdert het skelet volledig. De mens levert alleen de probleemstelling, zoals "minimaliseer de reisafstand terwijl de voertuigcapaciteit wordt gerespecteerd", en een eenvoudige regel voor hoe de computer gegevens moet ontvangen en een antwoord moet teruggeven. Alles wat volgt, van de interne logica tot de bestuursstroom, is de verantwoordelijkheid van de AI.

Deze vrijheid creëert een uitgestrekt en chaotisch landschap. Zonder een vaste structuur kan de AI miljoenen verschillende manieren genereren om het probleem op te lossen, maar veel van deze pogingen zullen falen. De code kan crashen, de output kan het verkeerde formaat hebben, of de oplossing kan de regels van het probleem schenden. Om dit te beheren, bouwden de onderzoekers een systeem dat fungeert als een strikte kwaliteitscontroleur. Wanneer de AI een nieuw algoritme genereert, draait het systeem dit tegen een reeks testproblemen. Als het algoritme crasht of een slecht resultaat produceert, gooit het systeem het niet simpelweg weg. In plaats daarvan analyseert het precies waarom het faalde — of het nu door gebrek aan geheugen kwam, een tijdslimiet overschreed of een onmogelijke oplossing produceerde — en voert die specifieke foutmelding terug naar de AI. De AI gebruikt deze feedback vervolgens om de code te herschrijven, in een poging de specifieke fout te herstellen. Dit proces van fout-geconditioneerde reparatie verandert mislukkingen in leermogelijkheden, waardoor het systeem kan herstellen van fouten die in andere methoden het einde van de zoektocht zouden hebben betekend.

Om te voorkomen dat de zoektocht vastloopt in een enkele, middelmatige oplossing, gebruikt ATLAS een strategie die geïnspireerd is op de manier waarop de natuur diversiteit behoudt. In veel optimalisatiezoektochten convergeert het systeem snel op één "goed" antwoord en stopt het met zoeken naar iets anders, waardoor het potentieel een veel betere oplossing mist die verborgen ligt in een ander deel van de zoekruimte. ATLAS vermijdt dit door de succesvolle algoritmen te organiseren in een semantische kaart. Het gebruikt een wiskundige representatie van de betekenis van de code om vergelijkbare algoritmen bij elkaar te groeperen en onderscheidende groepen gescheiden te houden. Het systeem onderhoudt een diverse collectie van de beste algoritmen die het tot nu toe heeft gevonden, waardoor het verschillende regio's van de oplossingsruimte blijft verkennen in plaats van in te storten tot één enkel ontwerp. Dit stelt het in staat om meerdere concurrerende benaderingen tegelijkertijd vast te houden, waarvan sommige er heel verschillend uit kunnen zien maar even goed presteren.

De onderzoekers testten deze aanpak op vier beruchte, moeilijke typen problemen: het routeren van bezorgvoertuigen, het plannen van fabrieksjobs en het toewijzen van faciliteiten aan locaties. Ze vergeleken ATLAS met verschillende andere methoden, waaronder methoden waarbij de AI slechts één component van een door mensen gemaakt framework mocht ontwerpen, en tegen een versie waarbij de AI het hele algoritme ontwierp maar zonder het slimme diversiteit-behoudende systeem. De resultaten waren duidelijk. ATLAS presteerde consequent beter dan de methoden die vertrouwden op door mensen ontworpen skeletten. Het versloeg ook de versie van volledige algoritme-synthese die zonder het diversiteitssysteem was, wat bewees dat het levend houden van een breed scala aan oplossingen cruciaal is voor het vinden van de beste resultaten. Het meest indrukwekkend was dat de door ATLAS uitgevonden algoritmen concurrerend waren met de sterkste door mensen ontworpen algoritmen die jarenlang door experts zijn verfijnd. In sommige gevallen waren de door AI gegenereerde oplossingen statistisch niet te onderscheiden van de beste menselijke inspanningen, en in andere gevallen waren ze zelfs iets beter.

Een van de meest opvallende bevindingen was niet alleen dat de AI goede oplossingen kon vinden, maar dat het veel verschillende soorten goede oplossingen vond. Wanneer de onderzoekers de uiteindelijke collectie algoritmen onderzochten, zagen ze een rijke variëteit aan structuren. Sommigen gebruikten een gulzig (greedy) proces, waarbij bij elke stap de beste lokale keuze wordt gemaakt. Anderen gebruikten complexe hybride methoden die verschillende strategieën combineerden, zoals het simuleren van een afkoelingsproces om lokale vallen te vermijden of het gebruik van geheugen om herhaling te voorkomen. Het systeem vond niet alleen één "beste" manier om het probleem op te lossen; het ontdekte een portfolio van onderscheidende, hoogpresterende strategieën. Dit suggereert dat de ruimte van mogelijke algoritmen veel rijker is dan voorheen gedacht, en dat door menselijke beperkingen te verwijderen, een kunstmatige intelligentie deze ruimte effectief kan verkennen.

De studie suggereert dat de toekomst van geautomatiseerd ontwerp kan liggen in deze vorm van scaffold-vrije synthese. Door de AI de volledige verantwoordelijkheid te geven voor de logica van de oplossing, en door het te voorzien van een robuust systeem om fouten te afhandelen en diversiteit te behouden, kunnen onderzoekers nieuwe manieren ontsluiten om complexe problemen op te lossen. Het werk beweert niet dat menselijke experts overbodig zijn; het laat eerder zien dat wanneer mensen het probleem leveren en de AI de vrijheid krijgt om de methode uit te vinden, de resultaten opmerkelijk krachtig kunnen zijn. De onderzoekers merken op dat hoewel het huidige systeem zeer effectief is, er nog steeds ruimte is voor verbetering, met name bij het fijn afstemmen van de numerieke instellingen van de gegenereerde algoritmen. Echter, de kernprestatie staat vast: een systeem dat autonoom volledige, werkende optimalisatiealgoritmen kan synthetiseren, waarbij het door de chaos van totale vrijheid navigeert om orde en uitmuntendheid te vinden.