💻 computer science

Goal-Aware Adaptive Regulation Across Modalities: Evolutionary Architecture Search for Transformer Language Models on a Consumer AMD GPU

Dit artikel toont aan dat het GaaR evolutionary architecture search-framework, dat oorspronkelijk werd gevalideerd op convolutionele netwerken, succesvol wordt overgedragen naar autoregressieve transformer taalmodellen op een consumenten-AMD GPU via DirectML, waarbij competitieve prestaties worden behaald en wordt onthuld dat gereguleerde exploitatie beter presteert dan willekeurige zoektocht op gestructureerde landschappen, terwijl het brede, ondiepe architecturen bevoordeelt onder vaste stapbudgetten.

Oorspronkelijke auteurs: Leon Sandler

Gepubliceerd 2026-07-17

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Leon Sandler

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren praten, tekenen of puzzels op te lossen. Om dit te doen, moet je een "brein" voor hem bouwen, wat wetenschappers een neuraal netwerk noemen. Maar hier komt het lastige deel bij: je weet niet precies hoe groot dat brein moet zijn, hoeveel lagen het nodig heeft of hoe je de instellingen moet afstemmen. Dit is waar Neural Architecture Search (NAS) om de hoek komt kijken. Zie NAS als een supergeorganiseerde, onvermoeibare robotarchitect die duizenden verschillende hersenontwerpen uitprobeert om te zien welke het beste werkt.

Normaal gesproken wordt deze taak uitgevoerd in enorme, dure datacenters vol met krachtige computerchips gemaakt door één specifiek bedrijf (NVIDIA), wat duizenden dollars aan elektriciteit en tijd kost. Het is alsof je een wolkenkrabber probeert te boulen met alleen maar een vloot van gigantische kranen. Maar wat als je dit op een gewone laptop of een gamingcomputer kunt doen die je al bezit? Dat is de grote vraag die dit artikel aanpakt: Kunnen we het perfecte AI-breinontwerp vinden met slechts een standaard, betaalbare grafische kaart van een ander bedrijf (AMD), zonder dat we die fancy, dure datacenters nodig hebben? Het antwoord is belangrijk omdat het iedereen — van een student in een slaapkamer tot een onderzoeker met een klein budget — de mogelijkheid kan geven om met AI-ontwerpen te experimenteren zonder de bank te breken of de planeet te schaden.

Het Verhaal van de Budgetvriendelijke AI-Architect

Maak kennis met GaaR (Goal-Aware Adaptive Regulation). Denk aan GaaR als een slimme, enkelvoudige robotarchitect die op je computer leeft. In een eerder avontuur heeft deze robot succesvol een visiesysteem (een brein dat "ziet" met afbeeldingen) ontworpen met behulp van slechts een consumentenwaardige AMD-grafische kaart. Het vond een ontwerp dat een nauwkeurigheid van 94,36% behaalde bij het herkennen van afbeeldingen in 45 minuten, waarbij elke stap werd bijgehouden in een eenvoudige lokale database.

Nu vraagt de auteur, Leon Sandler: "Kan deze zelfde robotarchitect een compleet andere baan aan?" In plaats van de AI te leren zien (zoals bij de vorige beeldtaak), kan het de AI leren spreken? Deze nieuwe taak betreft Transformer Language Models, het soort technologie dat chatbots en tekstgeneratoren aandrijft. Dit zijn zeer verschillende systemen van de "beeldbreinen"; zij voorspellen het volgende woord in een zin in plaats van objecten in een plaatje te identificeren.

Het Experiment: Een Klein Shakespearean Toneelstuk

Om dit te testen, zette de onderzoeker een race op met dezelfde oude AMD-grafische kaart (een RX 5700 met 8 GB geheugen). Deze kaart is speciaal omdat hij niet goed samenwerkt met de gebruikelijke "CUDA"-software die de meeste AI-tools gebruiken; hij heeft een ander pad nodig genaamd DirectML. De robotarchitect moest dit pad navigeren zonder hulp van de gebruikelijke big-data tools.

De taak was simpel maar strikt:

Het Doel: Leer de AI het volgende letterteken te voorspellen in een tekst van The Complete Works of William Shakespeare (specifiek de "Tiny Shakespeare" versie).
De Regels: De robot mocht een ontwerp slechts voor een zeer korte tijd uitproberen — exact 300 stappen van leren per ontwerp. Hij kon niet zomaar eeuwig doorgaan; hij moest efficiënt zijn.
De Variabelen: De robot kon zes dingen aanpassen aan de AI-hersenen: hoe breed ze zijn, hoeveel "koppen" (attention mechanismen) ze hebben, hoe diep ze zijn, hoeveel tekst ze tegelijk kunnen onthouden, hoeveel voorbeelden hij tegelijk bekijkt, en hoe snel hij leert.

De Resultaten: Snelheid versus Grootte

De robot ging aan het werk en doorliep acht generaties van ontwerpen. In slechts 3 minuten en 16 seconden aan echte tijd vond het een kampioontontwerp.

De Winnaar: Het beste ontwerp had 0,8 miljoen parameters (een maatstaf voor de grootte van het brein).
De Score: Het verminderde de "verwarring" (validation loss) van de AI van 2,171 naar 2,021. In gewone mensentaal: de AI werd beter in het raden van de volgende letter in het verhaal.
De Verrassing: De robot koos niet voor het grootste, diepste of meest complexe brein. In plaats daarvan koos hij voor een breed maar ondiep brein met een kort geheugen (context).

Waarom? Vanwege het Budgeteffect. Omdat elk ontwerp slechts 300 stappen kreeg om te leren, wonnen de ontwerpen die die stappen het snelst konden verwerken. Een gigantisch, diep brein is traag om te trainen; een breed, ondiep brein is snel. Binnen een budget van tijd leerde de robot dat "snel en simpel" wint van "langzaam en complex". Het is als een race waarbij iedereen precies 100 meter moet rennen; de persoon die het snelst kan sprinten wint, zelfs als die niet de sterkste loper is.

De Reality Check: Wanneer wint de robot echt?

Dit is het meest eerlijke deel van het verhaal. De onderzoeker zei niet alleen: "De robot is een genie!" Ze testten het ook tegen een willekeurige gokker. Ze draaiden de race 10 keer en vergeleken de "greedy" strategie van de robot (altijd de beste kiezen die tot nu toe gevonden zijn en deze vervolgens aanpassen) met iemand die simpelweg willekeurige ontwerpen kiest.

Het Resultaat: Met slechts 8 pogingen (het kleine budget gebruikt in het hoofdexperiment) presteerden de robot en de willekeurige gokker even goed. De robot won niet van de willekeurige gokker; ze eindigden gelijk.
De Les: De "slimme" strategie van de robot werkt pas wanneer het probleem groot genoeg is en het budget lang genoeg is om patronen te zien. Op een heel klein, glad landschap met heel weinig pogingen, helpt slim zijn niet veel.
Het Bewijs: Om aan te tonen dat de robot wel slim zou kunnen zijn, testte de onderzoeker het op een veel groter, complexer probleem (een fysica-simulatie met 6.000 mogelijke ontwerpen). Daar vond de robot de perfecte oplossing in 70% van de gevallen, terwijl de willekeurige gokker er slechts in 0% van de gevallen in slaagde.

Wat dit voor jou betekent

Dit artikel bewijst dat cross-modal NAS (het gebruik van dezelfde zoekmachine voor verschillende soorten AI) werkt op goedkope consumentenhardware. Het laat zien dat je een tekstgenererende AI kunt ontwerpen op een standaard AMD-grafische kaart in enkele minuten, zonder dat je een supercomputer nodig hebt.

Het stelt echter ook een duidelijke grens: als je slechts een heel klein beetje tijd of geld hebt om ontwerpen te testen, is een "slimme" zoekstrategie misschien niet beter dan gewoon willekeurig gokken. Je hebt genoeg ruimte nodig om de strategie zijn magie te laten doen.

De auteur heeft alle code, de logs en de database gedeeld, zodat iedereen dit experiment kan herhalen. De boodschap is duidelijk: AI-onderzoek hoeft niet achter dure deuren op slot te zitten. Met de juiste tools kan een computer van consumentenkwaliteit een krachtig laboratorium zijn voor het ontdekken van hoe we slimmere, efficiëntere AI-breinen kunnen bouwen.

Technische Samenvatting: Doelbewust Adaptief Regulatie over Modaliteiten heen

Probleemstelling
Neural Architecture Search (NAS) wordt traditioneel gedomineerd door workloads in datacenters die duizenden GPU-dagen en specifieke NVIDIA/CUDA-hardware vereisen. Deze afhankelijkheid sluit onderzoekers uit zonder toegang tot dergelijke infrastructuur en negeert de enorme installatiebasis van de beschikbare consumentenhardware, met name AMD-GPU's op Windows die geen officiële ROCm- of CUDA-ondersteuning hebben. Hoewel eerder werk heeft vastgesteld dat evolutionaire zoekopdrachten op consumentenhardware kunnen draaien voor computer vision (CNN's), bleef het onbewezen of een dergelijke lichtgewicht, doelbewuste engine kon worden overgedragen naar de afwijkende modaliteit van autoregressieve Transformer-taalmodellen, die aanzienlijk verschillen in architectuur, verliesoppervlakken (loss surfaces) en hardwarematige drukpunten.

Methodologie
De studie maakt gebruik van de GaaR (Goal-Aware Adaptive Regulation) framework, een single-file evolutionaire zoekengine die is ontworpen voor lokale, hervatbare en controleerbare uitvoering op een enkel consumentenapparaat. De methodologie behelst het overdragen van deze engine naar Transformer-taalmodellering met minimale structurele wijzigingen:

Engine Consistentie: De kern van de GaaR-loop blijft ongewijzigd. Het werkt volgens een "exploit-best/explore-mutation" strategie: het leest het hoogst scorende genoom als ouder, past begrensde mutaties toe, instantieert de kandidaat-fenotype, traint deze onder een vast budget en logt de resultaten naar een lokale SQLite-database.
Fenotype & Genoom: Het fenotype is een ongewijzigde, vanaf nul opgebouwde PyTorch Transformer-implementatie (afkomstig van het train-llm-from-scratch project). Het genoom bestaat uit zes genen: embedding breedte ( $n\_embed$ ), aantal koppen ( $n\_head$ ), aantal blokken ( $n\_blocks$ ), contextlengte, batchgrootte en leersnelheid. Een divisibiliteits-reparator zorgt ervoor dat $n\_embed$ een veelvoud blijft van $n\_head$ .
Hardware & Draagbaarheid: Alle experimenten draaiden op een enkele AMD Radeon RX 5700 (8 GB) onder Windows 10 met behulp van DirectML (via torch-directml). Dit apparaat heeft geen CUDA-pad en geen officiële ROCm-ondersteuning. De setup werkt in fp32 (mixed precision is niet beschikbaar) en handelt operator-fallbacks af (bijv. AdamW's gefuseerde lerp die terugvalt op de CPU) zonder wijziging van de engine.
Fitness Functie: Fitness wordt gedefinieerd als het negatieve validatieverlies op de karakter-gebaseerde Tiny Shakespeare corpus (vocabulaire 65) na exact 300 AdamW optimalisatiestappen. Dit "vast budget aan stappen" is gekozen om aan te sluiten bij het oorspronkelijke GaaR-ontwerp, hoewel de paper de implicaties hiervan voor de throughput vermeldt.

Belangrijkste Resultaten

Zoektraject: In een illustratieve zoektocht van acht generaties verbeterde de engine het karakter-gebaseerde validatieverlies van een startwaarde (seed) van 2.171 (perplexiteit 8.8) naar een kampioen van 2.021 (perplexiteit 7.5) met een 0.8 M-parameter model. De gehele zoektocht voltooide in 3 minuten en 16 seconden wandtijd.
Throughput & Budget Effecten: De zoektocht onthulde een "budget effect" waarbij de vaste-stap-beperking impliciet de voorkeur gaf aan "brede-ondiepe, korte-context" genomenen. Deze architecturen zetten de vaste 300 stappen effectiever om in leren vanwege een hogere stap-throughput (tot 23.5 stappen/s versus 6.1 stappen/s voor diepere modellen).
Random Search Baseline: Een gecontroleerde vergelijking tussen tien zaden van GaaR's hebzuchtige regel (greedy rule) en uniforme random search bij een budget van acht evaluaties toonde statistische pariteit (gemiddelde beste validatieverlies: 2.047 voor GaaR versus 2.042 voor random; 5 overwinningen elk). Dit geeft aan dat op dit specifieke landschap met een dergelijk klein budget, de hebzuchtige regel geen meetbaar voordeel biedt ten opzichte van willekeurige bemonstering (random sampling).
Contrast met Gestructureerde Landschappen: Daarentegen, op een groter, gestructureerd landschap van 6.000 configuraties voor natuurkundige simulaties, domineerde dezelfde hebzuchtige regel de random search, waarbij het exacte globale optimum werd gevonden in 70% van de herhalingen vergeleken met 0% voor random search.

Betekenis en Claims
De paper claimt dat cross-modale NAS op commodity hardware een praktisch fundament vormt voor reproduceerbaar, energiezuinig architectuuronderzoek. De belangrijkste bijdragen zijn:

Modality Transfer: Het aantonen dat de GaaR-engine kan worden overgedragen van CNN's naar Transformers met enkel een herdefinitie van het genoom, volledig draaiend op een niet-ondersteunde AMD-GPU via DirectML.
Portability Envelope: Het definiëren van de beperkingen van NAS op consumenten-AMD-hardware (fp32-only, operator fallbacks) zonder dat engine-wijzigingen nodig zijn.
Eerlijke Afbakening: Het bieden van een gecontroleerde baseline die eerlijk de grenzen van de hebzuchtige exploitatie-regel definieert. De paper beargumenteert dat gereguleerde exploitatie rendeert op grotere, gestructureerde landschappen of bij voldoende sequentiële diepte, maar geen voordeel biedt ten opzichte van random search bij triviaal kleine budgetten op gladde landschappen.
Reproduceerbaarheid: Volledige vrijgave van code, generatie-logs en configuratiebestanden om exacte reproductie van het zoekproces mogelijk te maken.

De auteurs benadrukken dat hoewel de absolute kwaliteit van het resulterende taalmodel (perplexiteit 7.5) niet concurrerend is met state-of-the-art modellen, het experiment succesvol de haalbaarheid en overdraagbaarheid heeft aangetoond. Het bewijst dat architectuurontdekking end-to-end kan worden uitgevoerd op een enkel consumentenapparaat binnen enkele minuten, wat de toegang tot NAS democratiseert voor onderzoekers zonder datacenter-resources.

Het Verhaal van de Budgetvriendelijke AI-Architect

Het Experiment: Een Klein Shakespearean Toneelstuk

De Resultaten: Snelheid versus Grootte

De Reality Check: Wanneer wint de robot echt?

Wat dit voor jou betekent

Meer zoals dit