Beyond Scaling: Self-Evolving LLM Agents for Hardware Kernel Optimization via an Experience-Driven Workflow and Experience Graph Memory
Het artikel introduceert KOPE, een ervaring-gestuurd framework dat Experience Graph Memory en Active Context Management gebruikt om LLM-agenten in staat te stellen te leren van eerdere trajecten van hardware-kerneloptimalisatie, waarbij het significante prestatieverbeteringen en token-efficiëntie bereikt ten opzichte van bestaande baselines zonder dat updates aan het onderliggende basismodel vereist zijn.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het sneller maken van een computerchip voelt vaak als het proberen af te stemmen van een racewagenmotor terwijl deze nog in beweging is. Het proces houdt in dat er een klein stukje code wordt geschreven, bekend als een kernel, die de hardware precies vertelt hoe deze met gegevens moet omgaan. Deze code moet worden gecompileerd, worden getest om te waarborgen dat deze correct is, en vervolgens worden gemeten om te zien hoe snel deze draait. Als het resultaat niet perfect is, moet de code opnieuw worden geschreven en begint de cyclus opnieuw. Decennialang was dit een taak voor hooggeschoolde menselijke experts die de specifieke eigenaardigheden van elk nieuw chipontwerp begrijpen. Onlangs zijn artificiële intelligentiesystemen begonnen te helpen bij dit werk, waarbij krachtige taalmodellen worden gebruikt om codewijzigingen voor te stellen. Deze systemen behandelen elke poging echter meestal als een nieuw begin. Ze onthouden niet wat in eerdere pogingen werkte of mislukte, en ze kunnen niet gemakkelijk leren van de specifieke hardware die ze proberen te optimaliseren, vooral wanneer die hardware nieuw is en een grote bibliotheek van bestaande voorbeelden mist.
Een team van onderzoekers heeft een nieuwe aanpak ontwikkeld die een artificieel intelligentie-agent in staat stelt om te leren van zijn eigen exploratie, waardoor elke trial-and-error een permanente les wordt. Ze creëerden een systeem genaamd KOPE, wat staat voor een framework dat ontworpen is om deze hardwarekernels te optimaliseren door een geheugen op te bouwen van zijn eigen ervaringen. In plaats van uitsluitend te vertrouwen op de kennis die al in het AI-model is opgeslagen, legt KOPE elke beslissing die het neemt vast, het resultaat van die beslissing, en het pad dat het heeft afgelegd. Het slaat deze informatie op in een gestructureerde kaart die een specifieke keuze verbindt aan de uitkomst, vergelijkbaar met een reiziger die een gedetailleerd dagboek bijhoudt van een reis, waarbij genoteerd wordt welke paden tot doodlopende wegen leidden en welke nieuwe deuren openden. Wanneer het systeem voor een nieuw probleem wordt geconfronteerd, begint het niet vanaf nul. In plaats daarvan raadpleegt het deze kaart om relevante ervaringen uit het verleden te vinden die overeenkomen met de huidige situatie, en injecteert die specifieke kennis in zijn denkproces voordat het een nieuwe suggestie doet.
De onderzoekers testten dit systeem op een reeks van drieënvijftig verschillende wiskundige operaties die worden gebruikt in moderne computing, waarbij ze deze draaiend hadden op een specifiek type hardwarechip van Huawei. Ze vergeleken hun nieuwe methode met twee andere benaderingen: één die een standaard AI-agent gebruikte zonder dit speciale geheugensysteem, en een andere die een krachtige AI gebruikte die ontworpen is voor een ander type computerchip. De resultaten lieten zien dat het systeem met het ervaringengeheugen aanzienlijk succesvoller was. Het slaagde erin om werkende code te produceren voor bijna alle operaties, terwijl de standaard agent er veel van niet kon oplossen. Belangrijker nog was dat het systeem dat leerde van zijn eigen geschiedenis code produceerde die gemiddeld 1,54 keer sneller was dan de code geproduceerd door de beste concurrerende methode. Deze verbetering vond plaats, ook al veranderde het onderliggende AI-model zelf niet; het systeem werd simpelweg beter door te onthouden wat het had geleerd.
Een cruciaal onderdeel van dit succes was hoe het systeem zijn geheugen beheerde. De onderzoekers ontdekten dat het simpelweg dumpen van alle ervaringen uit het verleden in de geest van de AI contraproductief was, omdat het het systeem overlaadde met te veel informatie. In plaats daarvan bouwden ze een mechanisme dat actief alleen de meest relevante lessen uit het verleden selecteert voor de specifieke taak waar het mee bezig is. Deze selectieve aanpak stelde het systeem in staat om problemen vaker op te lossen, waardoor het succespercentage steeg van zestig procent naar bijna tachtig-vijf procent, terwijl het veel minder rekenkracht verbruikte om dit te doen. De studie onderzocht ook of kennis verkregen op het ene type hardware kon helpen bij het optimaliseren van een volledig ander type hardware. Ze vonden dat hoewel ervaring van de oorspronkelijke hardware het systeem hielp om meer werkende oplossingen op de nieuwe hardware te vinden, het de code niet automatisch sneller maakte. Het systeem moest nog steeds de specifieke details van de nieuwe hardware leren door middel van zijn eigen proeven om de beste prestaties te bereiken.
De bevindingen suggereren dat voor hardware die nieuw is of een gebrek heeft aan een grote collectie bestaande voorbeelden, het vermogen om specifieke ervaringen te behouden en te hergebruiken waardevoller is dan simpelweg een groter of slimmer AI-model hebben. Door een vast record bij te houden van wat wel en niet werkte, en door zorgvuldig te kiezen welke lessen toe te passen op nieuwe problemen, kan het systeem zijn optimalisatievaardigheden continu verbeteren. Dit vereist niet dat de AI opnieuw wordt getraind of dat zijn interne brein wordt veranderd; het heeft simpelweg behoefte aan een betere manier om te onthouden en toe te passen wat het heeft geleerd. De onderzoekers hebben aangetoond dat deze methode kan worden toegepast op verschillende typen computerchips en programmeertalen, wat aantoont dat de workflow zelf aanpasbaar is. Hoewel het systeem niet elk enkel probleem perfect oploste, bewees het dat een AI-agent zijn eigen expertise kan ontwikkelen door een cyclus van actie, observatie en geheugen, waardoor het rommelige proces van trial-and-error wordt omgezet in een betrouwbaar pad naar snellere en efficiëntere computing.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.