🤖 machine learning

Can Bayesian Optimization Efficiently Find a Strong Single Expert in Neural Thickets?

Dit artikel toont aan dat Bayesiaanse optimalisatie toegepast binnen een laagdimensionale willekeurige lineaire embedding van de gewichtsruimte efficiënte, gradiëntvrije post-training van LLM's mogelijk maakt, waarbij prestaties worden behaald die vergelijkbaar met of beter zijn dan bestaande methoden zoals RandOpt, terwijl er vijf keer minder kandidaat-evaluaties nodig zijn.

Oorspronkelijke auteurs: Nigel Bastian Cendra, Abdelhamid Ezzerg, Fernando Julio Cendra, Jeremias Knoblauch, Jakob Zeitler

Gepubliceerd 2026-08-12

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nigel Bastian Cendra, Abdelhamid Ezzerg, Fernando Julio Cendra, Jeremias Knoblauch, Jakob Zeitler

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantisch, superintelligent robotbrein hebt dat al bijna alles op het internet heeft gelezen. Dit brein is een "Large Language Model". Normaal gesproken, als je het een nieuwe truc wilt leren—zoals het oplossen van wiskundige puzzels of het spelen van een specifiek spel—moet je een methode gebruiken die "gradient-based optimization" wordt genoemd. Denk aan het proberen te vinden van de top van een berg in een dikke mist door de helling onder je voeten te voelen en kleine, voorzichtige stapjes te zetten. Het werkt, maar het is traag, duur en vereist veel rekenkracht.

Onlangs ontdekten wetenschappers een andere manier om deze breinen bij te sturen zonder die zware klimuitrusting. Ze ontdekten dat als je de instellingen van het brein een klein beetje willekeurig schudt, sommige van die willekeurige schokken het brein daadwerkelijk slimmer maken in een specifieke taak. Het is alsof je een doos met LEGO-blokjes schudt; meestal krijg je er een rommeltje van, maar af en toe bouw je per ongeluk een perfect klein ruimteschip. Dit idee wordt "Neural Thickets" genoemd. Het probleem is dat het zoeken naar dat perfecte ruimteschip door de doos gewoon willekeurig te schudden, voelt als het zoeken naar een speld in een hooiberg terwijl je geblinddoekt bent. Je moet duizenden schokken proberen, elke schok testen, en hopen dat je geluk hebt. Deze paper stelt een simpele vraag: kunnen we slimmer zijn met ons schudden? In plaats van blind te gokken, kunnen we een "slimme gokker" gebruiken om uit te vogelen in welke richting we de volgende keer moeten schudden, zodat we het beste resultaat vinden met veel minder pogingen?

De Slimme Schudder: De Naald Vinden Zonder de Blinddoek

De onderzoekers achter deze studie, werkend met modellen zoals Qwen2.5, besloten een methode genaamd Bayesian Optimization te testen. Om te begrijpen wat ze deden, laten we ons de instellingen van het robotbrein voorstellen als een gigantische, meerdimensionale kaart. De "willekeurige schud"-methode (genoemd RandOpt) is als het gooien van pijltjes op deze kaart vanuit de verte. Je gooit duizenden pijltjes, ziet welke de "goede" plekken raken, en houdt de beste vast. Het werkt, maar het is verspillend.

De auteurs stelden een andere strategie voor: Bayesian Optimization (BO). Denk hierbij aan het hebben van een magische, onzichtbare gids die een paar van je pijlwerpingen heeft gezien. Nadat je een paar pijltjes hebt gegooid, bouwt deze gids een ruwe kaart van waar de goede plekken mogelijk zijn. In plaats van willekeurig pijltjes te gooien, vertelt de gids je precies waar je de volgende keer moet mikken om het meeste te leren. Het is als het spelen van een spelletje "warm of koud", maar de gids is zo goed in raden dat je de schat vindt in slechts een paar zetten in plaats van honderden.

Om dit werkend te krijgen, keken de onderzoekers niet naar de hele gigantische kaart. Ze realiseerden zich dat de "goede" veranderingen in het brein van de robot waarschijnlijk plaatsvinden in een zeer kleine, smalle gang binnen die enorme ruimte. Daarom bouwden ze een kleine, 64-dimensionale "doorsnede" van de kaart om in te zoeken. Vervolgens gebruikten ze hun slimme gids om deze doorsnede te verkennen.

Wat Ze Vonden: Slimmer, Niet Harder

De resultaten waren behoorlijk spannend, maar met enkele belangrijke kanttekeningen. Toen ze dit testten op redeneertaken zoals Countdown (een gettenspel), GSM8k (wiskundige tekstproblemen) en MATH500 (moeilijkere wiskundeproblemen), deed de "Slimme Schudder" (BO) iets opmerkelijks.

Met slechts 200 pogingen (evaluaties) evenaarde de Bayesian Optimization-methode zelfs de prestaties van de "Willekeurige Schudder" (RandOpt) die 1.000 pogingen nodig had. Dat is een vijfvoudige vermindering van de inspanning!

Op de Countdown-taak met een model van 1,5 miljard parameters behaalde de Slimme Schudder een score van 15,05, terwijl de Willekeurige Schudder met vijf keer zoveel inspanning slechts 14,60 haalde.
Op GSM8k behaalde de Slimme Schudder een score van 67,78, waarmee de Willekeurige Schudder met 66,13 versloeg.

Dit suggereert dat door een slimme gids te gebruiken om de zoekruimte te navigeren, je niet zoveel pijltjes hoeft te gooien om een sterke, enkele expert-model te vinden. Je kunt een "super-robot" krijgen die klaar is om alleen te werken, zonder dat er over antwoorden gestemd moet worden door vijftig verschillende versies.

De Addertjes: Het "Fake Treasure"-Probleem

De paper waarschuwt ons echter ook dat deze magische gids niet perfect is. Er is een verraderlijk onderdeel dat de "winner's curse" wordt genoemd.

Stel je voor dat je op zoek bent naar de beste appel in een boomgaard. Als je de appel kiest die er in de zon het meest glanzend uitziet, kan het zijn dat dit door een gelukkig lichteffect komt, en niet omdat de appel daadwerkelijk het zoetst is. De onderzoekers ontdekten dat wanneer ze de zoektocht te hard opvoeren, de "Slimme Schudder" modellen vindt die fantastisch presteren op de testvragen waarop ze getraind zijn (de "selection set"), maar die in werkelijkheid slechter presteren op nieuwe, onbekende vragen.

Bijvoorbeeld, op de MATH500-taak vond de Slimme Schudder modellen die extreem hoog scoorden op de oefenvragen (meer dan 63%), maar toen ze werden getest op echte problemen, scoorden ze eigenlijk lager dan het basismodel! De gids was te zelfverzekerd geraakt over de "glimmende appels" die simpelweg geluk hadden gehad met het licht. De paper suggereert dat zodra je een bepa cierta punt bereikt, de zoektocht slechts het oefentoetsen uit het hoofd leert in plaats van de werkelijke vaardigheid aan te leren.

De Kern van het Verhaal

Deze paper laat zien dat Bayesian Optimization een krachtig hulpmiddel is voor het vinden van sterke, enkele experts in neurale netwerken zonder dat daar dure heen-en-weer berekeningen voor nodig zijn. Het bewijst dat je betere oplossingen kunt vinden met vijf keer minder inspanning dan willekeurig gokken, mits je stopt voordat de zoektocht begint te "overfitten" (het oefentoets uit het hoofd leren).

Hoewel de methode niet voor elke taak wonderen verricht (vooral niet wanneer de "goede" oplossingen zeer zeldzaam zijn of de oefentoets misleidend is), suggereert het een veelbelovende toekomst. In plaats van ons met brute kracht door miljoenen willekeurige gokken te vechten, kunnen we intelligente, geleide zoektochten gebruiken om de beste versies van onze AI-breinen te vinden, wat tijd en energie bespaart terwijl we toch topprestaties leveren. De auteurs suggereren dat met grotere budgetten en betere manieren om het "gelukkige licht"-probleem aan te pakken, deze benadering een standaardmanier zou kunnen worden om de volgende generatie AI te verfijnen.

Technische Samenvatting: Bayesiaanse Optimalisatie voor het Vinden van Sterke Single Experts in Neural Thickets

Probleemstelling

Gradiëntvrije post-training is een opgekomen kosteneffectief alternatief voor gradiëntgebaseerde methoden (zoals PPO en GRPO) voor Large Language Models (LLMs). Bestaande benaderingen, zoals RandOpt (Neural Thickets), vertrouwen op het samplen van willekeurige Gaussische perturbaties van gepre-trainde gewichten, waarbij deze worden gescoord op een selectieset en de top $K$ modellen via meerderheidsstemming worden geësembleerd. Hoewel effectief, kent deze aanpak twee primaire inefficiënties:

Zoekkosten: Het evalueren van een populatie van $N$ kandidaten vereist $N \times |D_{sel}|$ autoregressieve generaties. Om sterke resultaten te behalen, heeft RandOpt doorgaans grote populaties nodig (bijv. $N=5.000$ ), wat de zoektocht computationeel duur maakt.
Deploymentkosten: De sterkste resultaten leunen op het ensembelen van $K$ modellen (bijv. $K=50$ ). Het deployen van één enkele query vereist het genereren van $K$ verschillende outputs, en het onderhouden van $K$ gewichtconfiguraties is resource-intensief. Terugval naar een enkel model ( $K=1$ ) resulteert in significante nauwkeurigheidsverliezen (bijv. 11,2 punten op MATH-500).

De centrale onderzoeksvraag is: Kan een gestructureerde, gradiëntvrije methode, gegeven een vast en bescheiden evaluatiebudget, een enkele sterke expert identificeren die beter presteert dan willekeurige sampling, waardoor zowel de zoek- als de deploymentkosten worden verlaagd?

Methodologie

De auteurs stellen voor om Bayesiaanse Optimalisatie (BO) toe te passen binnen een willekeurige lineaire embedding van de gewichtsruimte. De methode is ontworpen om volledig gradiëntvrij te zijn, gebruikmakend van een Gaussian Process (GP) surrogaat om de zoektocht te sturen.

Zoektocht in een Laag-Dimensionale Subruimte: In plaats van isotroop te samplen in de volledige $D$ $D$ -dimensionale gewichtsruimte, construeert de methode een willekeurige lineaire embedding $A \in \mathbb{R}^{D \times d}$ $A \in R^{D \times d}$ (waarbij $d=64$ $d = 64$ ). Kandidaten worden gedefinieerd door een coëfficiëntvector $\alpha \in \mathbb{R}^d$ $α \in R^{d}$ en een schaal $\sigma \in \mathbb{R}_{>0}$ $σ \in R_{> 0}$ .
- De perturbatie wordt geformuleerd als: $\theta' = \theta_0 + \sigma \cdot \sqrt{D} \cdot \frac{A\alpha}{\|A\alpha\|}$ .
- Deze normalisatie zorgt ervoor dat de perturbatie-norm overeenkomt met die van standaard RandOpt ( $\sigma\sqrt{D}$ ), wat een eerlijke vergelijking van de perturbatieschaal mogelijk maakt.
Surrogaat-gestuurde Zoektocht:
- Een Gaussian Process (GP) wordt gefit op de geobserveerde beloningen (nauwkeurigheid op de selectieset $D_{sel}$ ).
- De volgende kandidaat $(\alpha, \sigma)$ wordt voorgesteld door een acquisitiefunctie (bijv. logEI) te maximaliseren, wat een balans vindt tussen exploratie en exploitatie.
- Selectieregel: Het uiteindelijke model wordt geselecteerd op basis van ofwel de hoogst geobserveerde beloning of de hoogste GP posterior mean. Dit laatste is bedoeld om de "winner's curse" te mitigeren door kandidaten te bestraffen waarvan de hoge scores mogelijk het gevolg zijn van ruis of gelukkige trekkingen op de selectieset.
Evaluatieprotocol: De methode werd getest op Qwen2.5-Instruct modellen (0.5B, 1.5B, 3B parameters) over drie redeneerbenchmarks: Countdown, GSM8k en MATH500. Het budget werd vastgesteld op 200 kandidaat-evaluaties voor BO en Random Search, vergeleken met RandOpt met budgetten van 200 en 1.000.

Belangrijkste Resultaten

De experimenten demonstreren dat BO competitieve of superieure prestaties kan bereiken met aanzienlijk minder evaluaties:

Sample Efficiëntie: Met 5x minder kandidaat-evaluaties (200 vs. 1.000) evenaart of overtreft BO de prestaties van RandOpt-1000 bij $K=1$ $K = 1$ (single expert) in de meeste settings.
- Countdown-0.5B: BO (9,34%) vs. RandOpt-1000 (6,81%).
- GSM8k-1.5B: BO (67,78%) vs. RandOpt-1000 (66,13%).
- MATH500-1.5B: BO (40,43%) vs. RandOpt-1000 (39,80%).
Subspace vs. Surrogate: Binnen dezelfde 64-dimensionale subspace bereikt BO consistent hogere selectiebeloningen dan random search, wat bevestigt dat de winsten worden gedreven door de efficiëntie van de surrogaat en niet door de dimensionaliteitsreductie zelf.
Ensemble Prestaties ( $K=20$ ): BO komt overeen met alternatieven bij gelijkwaardige budgetten (200 evaluaties) voor $K=20$ , hoewel het achterblijft bij RandOpt-1000, wat suggereert dat de kwaliteit van ensembles profiteert van een breder scala aan kandidaten dat een geconcentreerde zoektocht mogelijk niet volledig kan vatten.
Beperkingen en Overfitting:
- MATH500 Anomalie: Op MATH500 behaalde BO de hoogste selectiebeloningen maar de laagste testnauwkeurigheden. De auteurs schrijven dit toe aan overfitting: wanneer de "omgeving" geen werkelijk betere modellen bevat, past de zoektocht zich aan de ruis in de selectieset ( $D_{sel}$ ) aan in plaats van aan de taak.
- Verzadigingsdrempel: Analyse van 200 kandidaten op GSM8k-1.5B toonde aan dat selectiebeloningen blijven stijgen, zelfs nadat de validatie- en testnauwkeurigheden een plateau hebben bereikt. De top 8 punten van de selectiebeloning boden geen meetbare verbetering op gehouden datasets, wat wijst op een verzadigingspunt waar de selectie-objective niet langer informatief is.

Betekenis en Claims

Het artikel claimt dat surrogaat-gestuurde zoektocht de evaluatiekosten van gradiëntvrije post-training substantieel kan verlagen, terwijl het sterkere deploybare single experts produceert.

Efficiëntie boven Haalbaarheid: Het werk betoogt dat de uitdaging niet is of gradiëntvrije methoden werken, maar hoe ze efficiënt kunnen worden toegepast. BO biedt een mechanisme om beschikbare winsten uit de gewichtsruimte te extraheren tegen een fractie van het budget dat nodig is voor willekeurige sampling.
Denoising Effect: Het gebruik van de GP posterior mean voor selectie biedt een gedenoised schatting van de werkelijke fitness, wat helpt om kandidaten te vermijden die slechts geluk hadden op de selectieset.
Bescheiden Omvang: De auteurs merken er voorzichtig bij op dat hun resultaten afhankelijk zijn van de specifieke gekozen 64-dimensionale slice. Zij beweren niet dat deze subspace optimaal is, maar enkel dat BO deze efficiënt exploiteert. Bovendien erkennen zij dat de methode geen winsten creëert die sampling niet kan bereiken; het vindt ze simpelweg sneller. De moeilijkheid ligt in het lokaliseren van "goede regio's" binnen de subspace, aangezien de prestaties sterk variëren per willekeurige seed en basiskeuze.

Samenvattend stelt het artikel vast dat Bayesiaanse Optimalisatie, wanneer toegepast binnen een laag-dimensionale willekeurige embedding van de gewichtsruimte, een levensvatbare en efficiënte strategie is voor het identificeren van hoogpresterende single experts in LLM's, wat een pad biedt naar goedkopere training en deployment vergeleken met huidige ensemble-gebaseerde gradiëntvrije methoden.