🤖 machine learning

LLM as a Tool, Not an Agent: Code-Mined Tree Transformations for Neural Architecture Search

Dit artikel introduceert LLMasTool, een hiërarchisch boomgebaseerd framework voor Neuronale Architectuur Zoeking dat Large Language Models gebruikt als hulpmiddelen in plaats van autonome agenten om betrouwbare en open-ended modelontwikkeling te bereiken door middel van boomtransformaties en algoritmische planning.

Oorspronkelijke auteurs: Masakazu Yoshimura, Zitang Sun, Yuiko Sakuma, Junji Otsuka, Atsushi Irie, Takeshi Ohashi

Gepubliceerd 2026-04-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Masakazu Yoshimura, Zitang Sun, Yuiko Sakuma, Junji Otsuka, Atsushi Irie, Takeshi Ohashi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterchef bent die probeert het perfecte recept voor een taart te vinden. Normaal gesproken zou je als Neural Architecture Search (NAS)-onderzoeker een lijstje met ingrediënten (zoals bloem, suiker, eieren) en een strikt stappenplan maken. Je probeert dan willekeurig ingrediënten te vervangen of hoeveelheden aan te passen om te zien of de taart lekkerder wordt.

Het probleem is: je bent beperkt tot de ingrediënten die je al in je kast hebt. Als je iets nieuws wilt proberen (bijvoorbeeld een ingrediënt dat nog nooit in een taart is gebruikt), moet je eerst een heel nieuw recept schrijven. Dat is lastig, tijdrovend en vaak mislukt.

Recentelijk zijn er LLM's (zoals ChatGPT) opgedoken die als een superchef kunnen fungeren. Je zegt: "Maak een nieuwe taart," en ze schrijven een heel nieuw recept. Maar deze digitale chefs hebben een nadeel: ze kopiëren vaak alleen recepten die ze al hebben gelezen in hun trainingsboeken. Ze durven geen echt nieuwe, gekke combinaties te proberen en schrijven soms recepten die in de praktijk niet werken (je kunt geen taart maken van alleen suiker en lucht).

De auteurs van dit paper, LLMasTool, hebben een slimme oplossing bedacht. Ze zeggen: "Gebruik de LLM niet als de chef die het hele recept schrijft, maar als een slimme assistent die je helpt bij kleine details, terwijl jij de grote lijnen bepaalt."

Hier is hoe hun methode werkt, vertaald naar alledaagse taal:

1. De "Bibliotheek van Bestaande Delen" (Module Mining)

In plaats van dat de LLM van nul af aan een taart moet bouwen, hebben de onderzoekers eerst een enorme bibliotheek gemaakt van bestaande, werkende taartdelen uit duizenden recepten die al op internet staan.

De analogie: Ze hebben alle "bodem", "vulling" en "glazuur"-recepten uit bestaande code gehaald en in een ordelijke kast gezet.
Het voordeel: De LLM hoeft niet te verzinnen hoe je een bodem maakt; die staat al klaar. Dit voorkomt dat de LLM onzin produceert.

2. De "Bouwpakket" (Tree Representation)

In plaats van dat de LLM een heel nieuw recept (code) moet typen, wordt het taartrecept voorgesteld als een bouwpakket (een boomstructuur).

De analogie: Denk aan een LEGO-set. Je hebt een grote structuur met blokken. In plaats van dat de LLM een hele nieuwe set uit het niets moet ontwerpen, zegt het systeem: "Verwijder dit ene blokje en vervang het door dat andere blokje uit de kast."
Het voordeel: Omdat het systeem alleen blokken verwisselt die al bestaan, is het resultaat altijd een werkende taart. Geen gedoe met onwerkbaar recepten.

3. De "Slimme Assistent" (LLM as a Tool)

Dit is het belangrijkste deel. Het systeem werkt in twee lagen:

De Algoritme-Chef (Jij): Deze beslist de grote lijnen. "Vervang vandaag de bodem," of "Voeg een extra laag toe." Dit zorgt ervoor dat je niet vastloopt in de oude ideeën van de LLM. Je blijft creatief en divers.
De LLM-Assistent: Zodra de Chef zegt "Vervang de bodem," vraagt de assistent: "Welke bodem uit de kast past het beste hierbij, en hoeveel suiker moet ik er precies in doen?"
De analogie: De Chef (algoritme) bepaalt de richting, de Assistent (LLM) zorgt voor de details. Zo voorkom je dat de assistent alleen maar recepten kiest die hij al kent.

4. De "Gokker met een Geheugen" (Bayesian Sampling)

Het systeem onthoudt wat er in het verleden goed en slecht ging.

De analogie: Stel je voor dat je een gokker bent die probeert een winnend lot te vinden. Als je merkt dat het vervangen van de "bodem" vaak werkt, probeer je dat vaker. Maar als je merkt dat je daar vastloopt, probeer je iets heel anders. Het systeem gebruikt wiskunde om een balans te vinden tussen: "Doe wat we al weten dat werkt" en "Probeer iets heel nieuws."

Wat is het resultaat?

Door deze aanpak (geen volledige LLM-agent, maar een slimme tool) hebben ze op verschillende testcases (zoals het herkennen van dieren of auto's op foto's) beter presteerd dan alle vorige methoden.

Kortom:
Ze hebben de LLM niet als een vrije kunstenaar laten werken, maar als een slimme gereedschapskist. De computer bepaalt waar hij moet kloppen (de grote lijnen), en de LLM helpt met hoe hij moet kloppen (de details). Hierdoor vinden ze sneller betere, nieuwere en betrouwbaardere "recepten" voor kunstmatige intelligentie dan wanneer ze de LLM alleen lieten doen.

1. Het Probleem

Neural Architecture Search (NAS) heeft tot doel de automatische ontdekking van hoogpresterende diepe neurale netwerken (DNN). Echter, bestaande methoden kampen met twee fundamentele beperkingen:

Handgemaakte zoekruimtes: Traditionele, algoritme-gedreven NAS-methoden vertrouwen op zorgvuldig ontworpen, beperkte zoekruimtes om uitvoerbaarheid te garanderen. Dit beperkt open-ended exploratie en bias de resultaten naar de aannames van de ontwerper.
Beperkingen van LLM-agenten: Recente benaderingen die Large Language Models (LLM) gebruiken als autonome agenten voor het genereren van architecturen, lijden onder gebrek aan controleerbaarheid. LLM's hebben moeite om complexe, geldige architecturen betrouwbaar te genereren en hun voorstellen zijn vaak bevooroordeeld door patronen in hun trainingsdata, wat echte innovatie en open-ended exploratie belemmert.

2. Methodologie: LLMasTool

De auteurs stellen LLMasTool voor, een hybride NAS-framework dat de betrouwbaarheid van algoritmen combineert met de kracht van LLM's, maar waarbij de LLM fungeert als een tool en niet als een autonome agent. De methode bestaat uit drie kerncomponenten:

A. Algorithm-based Module Mining (Code-mineer)

In plaats van te vertrouwen op een beperkte set primitieve operaties, extrahert het systeem automatisch herbruikbare modules uit willekeurige bestaande broncode (bijv. PyTorch, MMCV, timm).

Proces: Een regelgebaseerd algoritme (geen LLM) parseert de broncode naar een Abstract Syntax Tree (AST) om alle torch.nn.Module-klassen te identificeren.
Database: Er wordt een module-database ( $D_M$ ) opgebouwd die elke module koppelt aan zoekruimte-informatie (constructor-argumenten) en metadata (standaardwaarden, input/output variabelen). Dit garandeert 100% correctheid en maakt directe hergebruik van bestaande kennis mogelijk zonder hallucinaties.

B. Deploy-vriendelijke Boomrepresentatie

In tegenstelling tot traditionele data-flow grafieken, worden architecturen voorgesteld als een hiërarchische boom.

Structuur: Hogere niveaus vertegenwoordigen conceptuele blokken (bijv. backbone, neck), terwijl lagere niveaus sub-modules en hyperparameters (zoals kernel-grootte, kanaalbreedte) bevatten.
Voordeel: Deze structuur is makkelijker te manipuleren dan grafieken en sluit naadloos aan bij de manier waarop modellen in frameworks zoals PyTorch worden gedefinieerd. Het maakt het mogelijk om complexe, mens-gemaakte codeblokken direct te integreren en te transplanteren.

C. Evolutie via Boomtransformaties (Coarse-to-Fine)

De evolutie van de architectuur gebeurt niet door het genereren van nieuwe code, maar door boomtransformaties (Swap, Insert, Delete, Change Hyperparameter, etc.). Het beslissingsproces is hiërarchisch opgebouwd:

Coarse-level (Algoritme): Een diversiteits-gestuurd evolutionair algoritme bepaalt de richting van de verandering (bijv. "welk type operatie" en "welke categorie prompt"). Hierbij wordt Bayesiaanse Thompson Sampling gebruikt om te leren van historische resultaten en een balans te vinden tussen exploratie en exploitatie.
Fine-level (LLM als Tool): De LLM fungeert als een gestructureerd hulpmiddel om de resterende vrijheidsgraden op te lossen binnen de door het algoritme opgelegde kaders. De LLM vult specifieke details in (bijv. welke exacte hyperparameters) op basis van de boomstructuur en de module-database.
Validatie: Een regelgebaseerde check zorgt ervoor dat de gegenereerde boom uitvoerbaar is en voldoet aan constraints (FLOPs, parameters).

3. Belangrijkste Bijdragen

LLM als Tool, niet als Agent: Een nieuw paradigma waarbij de LLM wordt ingezet voor lokale, gefocuste beslissingen binnen een algoritme-gestuurd raamwerk, waardoor de bias van de LLM wordt omzeild en de zoekruimte open-ended blijft.
Code-Mined Module Database: Een methode om automatisch een rijke, diverse zoekruimte op te bouwen uit bestaande open-source codebases, wat de noodzaak van handmatige zoekruimte-engineering elimineert.
Hiërarchische Boomtransformatie: Een representatie die complexe architecturale bewerkingen mogelijk maakt zonder de complexiteit van het genereren van volledige broncode, wat de uitvoerbaarheid en betrouwbaarheid verhoogt.
Hierarchical Thompson Sampling: Een efficiënte zoekstrategie die historische data gebruikt om de exploratie te sturen op verschillende niveaus van de hiërarchie (operatie-type en prompt-categorie).

4. Resultaten

De methode werd geëvalueerd op diverse benchmarks, waaronder NAS-Bench-201 (CIFAR-10, CIFAR-100, ImageNet16-120) en ImageNet-100.

Prestaties: LLMasTool verbeterde de bestaande state-of-the-art (SOTA) methoden aanzienlijk:
- CIFAR-10: +0.69 punten.
- CIFAR-100: +1.83 punten.
- ImageNet16-120: +2.68 punten.
Vergelijking: Het presteerde beter dan andere LLM-gedreven methoden (zoals NADER, LLMatic) en traditionele NAS-methoden.
Ablatie-studies: Deze toonden aan dat de combinatie van module-mining, boomrepresentatie en de coarse-to-fine planning essentieel is. Het verwijderen van enige component leidde tot een daling in prestaties of diversiteit.

5. Betekenis en Conclusie

Dit paper biedt een cruciale verschuiving in hoe AI wordt gebruikt voor AI-onderzoek. Door de LLM te beperken tot een hulpmiddel binnen een robuust, algoritme-gestuurd raamwerk, lost het de problemen van onbetrouwbaarheid en bias op die vaak voorkomen bij volledig autonome LLM-agenten.

De belangrijkste implicatie is dat open-ended exploratie mogelijk is zonder de kwaliteit en uitvoerbaarheid te verliezen. Door bestaande kennis (broncode) direct te hergebruiken via een boomstructuur, kan het systeem architecturen ontdekken die buiten de vooroordelen van de LLM-trainingsdata liggen, wat leidt tot robuustere en innovatievere deep learning-modellen.