Technische Samenvatting: Voorafgaande Kennis of Zoeken? Een Studie van LLM-Agenten in Hardware-bewuste Code-optimalisatie

Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker ingezet als autonome ontdekingssystemen die opereren via een "voorstel-evalueren-aanpassen"-lus, waarbij ze zwarte-doos-optimalisatie (BBO) nabootsen. Hoewel ze succesvol zijn in domeinen zoals extremale combinatoriek en de ontdekking van wetenschappelijke vergelijkingen, is het nog onduidelijk welke componenten van deze agenten het meest bijdragen aan de prestaties en wanneer exploratie faalt. Specifiek is het moeilijk te bepalen of LLM-agenten slagen vanwege hun vermogen om zich aan te passen via contextconditionering (feedback) of omdat ze sterk vertrouwen op vooraf getrainde priors. Dit artikel onderzoekt de breekpunten van LLM-gebaseerde ontdekking door ze te vergelijken met klassieke BBO-methoden en hun gedrag te analyseren onder variërende prior-dichtheden en distributieverplaatsingen.

Methodologie

De auteurs voeren drie gecontroleerde experimenten uit om de effecten van voorafgaande kennis te isoleren van feedbackmechanismen:

1. Pure Zwarte-doos-optimalisatie (BBO):

   • Opzet: LLM's (gpt-oss-120b, DeepSeek-V3.2) krijgen de taak om onbekende functies te minimaliseren (synthetisch, fysische dynamische systemen en BBOB-benchmarks) zonder toegang tot code-priors.
   • Basislijnen: Vergelijking met CMA-ES, een hybride Centaur-systeem (CMA-ES + LLM) en LLM-verbeterde Monte Carlo Tree Search (MCTS).
   • Metingen: Geëvalueerd op convergentiesnelheid (beste stap), exploratiebreedte (dekking) en trajectconsistentie (genormaliseerde trajectlengte).
   • Analyse: De studie onderzoekt of LLM's exploreren of louter lokaal verfijnen door hun besluitvorming te analyseren na de initiële fase van willekeurige steekproeven.

2. Zero-shot Kernelgeneratie (Vormconditionering):

   • Opzet: LLM's genereren GPU-kernels (Softmax, Matmul, Convolutie) voor variërende invoertensorgroottes.
   • Variabelen: De studie manipuleert de expliciteit van grootteinstructies (impliciete versus expliciete prompts) en steekproeftemperaturen ($T \in \{0.1, 0.5, 0.8\}$).
   • Doel: Bepalen of LLM's hardware-niveau parameters (tiling, blokgrootte) kunnen aanpassen aan specifieke invoerdimensies of of ze instorten naar een vaste prior.

3. Iteratieve Feedbacklus-optimalisatie:

   • Opzet: LLM's optimaliseren kernels via iteratieve feedbacklussen die compilatiefouten en prestatieprofielen omvatten.
   • Variabelen:
     • Representatietaal: Vergelijking tussen CUDA (hoge dichtheid in trainingsdata) en TVM Intermediate Representation (IR) (lage dichtheid, ~100x minder frequent).
     • Grootte-regime: Benchmark-natieve groottes versus kleine-invoer-groottes (distributieverplaatsing).
   • Basislijnen: Vergelijking met TVM MetaSchedule (een prior-vrije BBO-benadering) en torch.compile.
   • Agenten: Twee pijplijnen werden getest: een "Steekproef-agent" (parallelle generatie met geaggregeerde feedback) en een "Feedbacklus" (sequentiële verfijning met een adviseur/diagnost).

Belangrijkste Bijdragen en Bevindingen

1. LLM's als Gierige Optimalisatoren in Pure BBO

In pure zwarte-doos-optimalisatietaken waar geen sterke code-prior bestaat, gedragen LLM's zich als gierige lokale verfijners in plaats van explorers.

• Gedrag: LLM's verankeren hun voorstellen aan de tot nu toe beste oplossing die ze hebben gezien, en proberen af te dalen in de richting van een gradiënt, zelfs wanneer er geen gradiënten bestaan. Ze falen in het effectief exploreren van de zoekruimte in hogere dimensies (bijvoorbeeld BBOB-5D), en verliezen het van CMA-ES en hybride Centaur-systemen.
• Bewijs: Trajectanalyse toont lage dekking en hoge directionele consistentie (lineaire paden), wat wijst op een gebrek aan globale exploratie. Chain-of-thought-analyse bevestigt dat modellen lokale perturbaties rechtvaardigen met gradiënt-achtige heuristieken.
• Implicatie: LLM's vereisen expliciete orkestratie (bijvoorbeeld MCTS of hybride staatupdates) om lokale optima te ontvluchten; ze voeren van nature geen brede exploratie uit.

2. Priorinstorting in Kernelgeneratie

Bij zero-shot kernelgeneratie vertonen LLM's priorinstorting, waarbij ze grootte-agnostische oplossingen produceren, ongeacht expliciete invoerdimensies.

• Observatie: Of ze nu worden geprompt met expliciete grootteinstructies of niet, modellen convergeren naar dezelfde vaste set kernelparameters (bijvoorbeeld blokgrootte, tegelgrootte) over alle invoergroottes en temperaturen heen.
• Gevolg: Dit leidt tot significante prestatiedegradatie onder distributieverplaatsing. Voor kleine invoergroottes daalt het aandeel versnelde kernels van 59% naar 31% voor LLM's, terwijl de prior-vrije TVM MetaSchedule verbetert van 41% naar 69%.
• Conclusie: De vooraf getrainde prior overuleert prompt-conditionering; het model kan gevraagde vormen niet koppelen aan gespecialiseerde hardwareconfiguraties als die specifieke koppelingen niet sterk vertegenwoordigd zijn in de trainingsdata.

3. Representatie-afhankelijke Feedbacklussen

De effectiviteit van iteratieve feedback wordt strikt bepaald door de dichtheid van de prior over de doeltaal.

• CUDA (Dichte Prior): Feedbacklussen verbeteren de prestaties monotoon. De sterke prior van het model over CUDA stelt het in staat om compilerfouten en profieleringsdata effectief te integreren om oplossingen te verfijnen.
• TVM IR (Schaarse Prior): Feedbacklussen veroorzaken een achteruitgang van de prestaties. Omdat de prior over TVM IR zwak is, kan het model feedback niet interpreteren om geldige schema's te genereren, wat leidt tot een daling in zowel compilatiesucces als snelheidswinst naarmate de iteraties vorderen.
• Grootte-verschuiving: Onder distributieverplaatsingen met kleine invoer verliest de LLM-agent het van TVM MetaSchedule. De grootte-specifieke bias van de LLM (gekalibreerd op benchmark-natieve vormen) wordt misleidend, terwijl MetaSchedule zich vrij aanpast.

Betekenis en Beweringen

Het artikel betoogt dat de centrale variabele in agentische optimalisatie niet het bestaan van feedback is, maar of de feedback kan worden geabsorbeerd door de prior van het model.

• Prior versus Zoeken: LLM's zijn sterke exploiters van priors maar zwakke open-ended zoekers. Ze blinken uit wanneer de doeloplossingsruimte dicht wordt gedekt door hun vooraf getrainde data (bijvoorbeeld standaard CUDA-kernels), maar degraderen wanneer de taak echte exploratie vereist of opereert in domeinen met lage dichtheid (bijvoorbeeld TVM IR, kleine invoergroottes).
• Ontwerprichtlijnen: Robuuste optimalisatiepijplijnen moeten adaptief zijn:
  • Gebruik LLM-verfijning waar prior-dekking dicht is.
  • Verlaat je op taak-adaptief zoeken (zoals BBO) wanneer distributieverplaatsingen optreden of priors schaars zijn.
  • Hybride benaderingen die LLM-geleide voorstellen combineren met gestructureerd zoeken of ophalen, zijn noodzakelijk om de beperkingen van alleen context-gebaseerde aanpassing te compenseren.

De auteurs concluderen dat huidige agentische pijplijnen vaak falen in het toeschrijven van prestaties aan specifieke factoren omdat ze contextmanipulatie verwarren met zoeken. Door deze factoren te isoleren, blootlegt de studie fundamentele faalmodi: gierig lokaal zoeken bij afwezigheid van priors, en het onvermogen om te conditioneren op nieuwe beperkingen wanneer de prior schaars is.