🤖 machine learning

BoLT: A Benchmark to Democratize Black-box Optimization Research for Expensive LLM Tasks

Dit artikel introduceert BoLT, de eerste benchmark die zwartkokeroptimalisatieonderzoek voor kostbare LLM-taken democratiseert door reproduceerbare, op echte data gebaseerde surrogate-modellen te bieden om optimalisatiemethoden voor hyperparameters, prompts en configuraties te evalueren en te verbeteren.

Oorspronkelijke auteurs: Ruth Wan Theng Chew, Zhiliang Chen, Apivich Hemachandra, Bryan Kian Hsiang Low

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ruth Wan Theng Chew, Zhiliang Chen, Apivich Hemachandra, Bryan Kian Hsiang Low

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert de perfecte roggebrood te bakken. Je hebt een paar knoppen om te draaien: hoeveel bloem, hoeveel water, hoe lang het moet rijzen en bij welke temperatuur je het moet bakken. Als je willekeurig gokt, kun je veel deeg en tijd verspillen voordat je een werkend recept vindt.

In de wereld van Kunstmatige Intelligentie (met name Large Language Models, of LLM's) staan onderzoekers voor een vergelijkbaar probleem, maar dan op enorme schaal. Ze moeten duizenden "knoppen" (zoals trainsnelheid, datamixtures en prompts) afstemmen om de AI goed te laten werken. Het testen van één enkele instelling kan echter duizenden dollars aan computertijd kosten en dagen duren. Omdat het zo duur is, gokken de meeste onderzoekers gewoon of gebruiken ze simpele vuistregels, wat vaak leidt tot ondermaats resultaat.

Dit artikel introduceert BOLT, een nieuw hulpmiddel dat onderzoekers helpt de beste instellingen te vinden zonder elke keer het geld uit te geven om de dure tests uit te voeren.

Zo werkt BOLT, met behulp van alledaagse analogieën:

1. Het Probleem: De "Duur Proefje"

Stel je voor dat je een chef-kok bent die de perfecte kruidenmix voor een nieuwe soep probeert te vinden. Het nadeel is dat het maken van een volledige pan soep 24 uur duurt en $1.000 kost. Je kunt het je niet veroorloven om 100 verschillende pannen te maken om te zien welke het beste smaakt.

Huidige situatie: Onderzoekers raden meestal de kruiden of proberen een paar willekeurige combinaties.
Het doel: Ze willen een slim systeem (genaamd "Black-Box Optimization") dat naar een paar pannen kan kijken, het patroon leert en de perfecte mix voorspelt met zeer weinig pogingen.
De hindernis: Tot nu toe vereiste het testen van deze slimme systemen het daadwerkelijk maken van de dure pannen soep, wat de meeste onderzoekers zich niet konden veroorloven.

2. De Oplossing: De "Magische Simulator" (Emulatoren)

BOLT lost dit op door een Magische Simulator te bieden.
In plaats van echte, dure pannen soep te maken, gebruikt BOLT een "surrogaatmodel" (een slim computerprogramma getraind op data van duizenden echte soepexperimenten die al eerder zijn gedaan).

Hoe het werkt: Je vraagt de simulator: "Wat zou er gebeuren als ik 20% meer zout gebruikte?" De simulator geeft je direct een antwoord op basis van zijn training, wat je bijna niets kost in tijd of geld.
Het resultaat: Onderzoekers kunnen nu hun slimme optimalisatiestrategieën duizenden keren testen op deze goedkope simulator om te zien welke het beste werkt, voordat ze ooit de echte, dure AI-training aanraken.

3. De Drie Hoofd-"Recepten" die BOLT Test

Het artikel test deze simulator op drie specifieke soorten "kookproblemen" waar AI-onderzoekers mee te maken hebben:

Hyperparameter Optimalisatie (HPO): Dit is vergelijkbaar met het aanpassen van de oven temperatuur en de timer. Onderzoekers stemmen de instellingen van het AI-trainingsproces zelf af (zoals hoe snel het leert).
Data Mixture Optimalisatie (DMO): Dit is vergelijkbaar met het bepalen van de verhouding van ingrediënten. Moet de AI meer leren uit wiskundige boeken, programmeerhandleidingen of algemene gesprekken? BOLT helpt de perfecte mix van data te vinden om de AI te voeden.
Prompt Optimalisatie (PO): Dit is vergelijkbaar met het schrijven van de perfecte instructiekaart voor de chef-kok. In plaats van de ingrediënten te veranderen, verander je hoe je de AI vraagt een probleem op te lossen. BOLT helpt de exacte formulering te vinden die het beste resultaat oplevert.

4. Wat Ze Vonden

De onderzoekers gebruikten BOLT om veel verschillende "slimme zoek"-algoritmen te testen (de chef-koks die proberen het beste recept te vinden).

De Winnaar: Ze ontdekten dat een specifiek type slim zoeken genaamd Bayesian Optimization (wat vergelijkbaar is met een chef-kok die elke mislukte poging onthoudt en dat geheugen gebruikt om de volgende keer een betere gok te doen) consequent beter presteerde dan de oude, willekeurige gokmethodes.
De Uitdaging: Ze ontdekten ook dat deze slimme zoektools moeten worden aangepast om de specifieke eigenaardigheden van AI-problemen aan te kunnen, zoals het omgaan met "ruis" in resultaten (waarbij de soep elke keer dat je het maakt iets anders smaakt) of hoge dimensionale ruimtes (waar er te veel ingrediënten zijn om te tellen).

5. Waarom Dit Belangrijk Is

Voordat BOLT bestond, zat de gemeenschap van mensen die "slim zoeken" bestudeerden (Black-Box Optimization) vast aan het testen van hun ideeën op neppe, makkelijke wiskundeproblemen die niet leken op echte AI-uitdagingen.

Democratisering: BOLT fungeert als een openbare speeltuin. Nu kan een onderzoeker met een laptop zijn nieuwe ideeën testen tegen echte AI-problemen zonder een supercomputer nodig te hebben.
Reproduceerbaarheid: Omdat iedereen dezelfde "Magische Simulator" gebruikt, kunnen ze hun resultaten eerlijk vergelijken, wetende dat ze allemaal op exact dezelfde grond testen.

Kortom: BOLT is een gratis, open-source toolkit die onderzoekers in staat stelt hun "slimme zoek"-strategieën voor AI te oefenen en te perfectioneren op een goedkope, snelle simulator, zodat ze die strategieën uiteindelijk kunnen toepassen op de echte, dure AI-modellen om sneller betere resultaten te krijgen.

Technische Samenvatting: BOLT - Een Benchmark om Onderzoek naar Black-box Optimalisatie voor Duurzame LLM-taken te Democratiseren

Probleemstelling

Het optimaliseren van configuraties voor Large Language Models (LLM), met name hyperparameters, data-mengsels en prompts, is cruciaal voor prestaties, maar wordt in de praktijk momenteel benaderd via heuristieken, wat vaak leidt tot suboptimale resultaten. Hoewel Bayesiaanse Optimalisatie (BO) en andere Black-Box Optimalisatie (BBO) methoden principiële, steekproef-efficiënte oplossingen bieden voor ruisgevoelige, dure en afgeleide-vrije problemen, wordt hun toepassing op LLM's ernstig gehinderd door rekenkosten. De meeste BBO-onderzoekers missen de middelen om nieuwe methoden te valideren op echte LLM-taken. Bijgevolg vertrouwt het veld op synthetische testfuncties of kleinschalige klassieke machine learning-benchmarks (bijv. BBOB, HPO-B) die de specifieke uitdagingen van moderne LLM-optimalisatie niet vastleggen, zoals zoekruimtes met gemengde variabelen, simplex-beperkingen en hoogdimensionale embeddings. Deze kloof belemmert de ontwikkeling en evaluatie van BBO-methoden die op LLM's zijn toegesneden.

Methodologie: De BOLT Benchmark

Om deze beperkingen aan te pakken, introduceren de auteurs BOLT (Benchmark for optimization of expensive LLM Tasks), de eerste LLM-gerichte benchmark die onderzoek voor de BBO-gemeenschap democratiseren. BOLT vervangt dure, niet-reproduceerbare LLM-trainingloops door lichtgewicht, deterministische emulators (surrogaatmodellen) die zijn getraind op meer dan 20.000 echte LLM-experimentele evaluaties.

Kerncomponenten

Takenfamilies: BOLT bestrijkt drie actieve gebieden van LLM-onderzoek, elk geformuleerd als een afgeleide-vrij optimalisatieprobleem:
- Hyperparameter Optimalisatie (HPO): Optimaliseren van LoRA-finetuning-configuraties (rang, alpha, doelmodules, leersnelheid, batchgrootte) voor Qwen3-modellen (4B en 8B) op het OpenMathInstruct-2 dataset.
- Data Mengsel Optimalisatie (DMO): Optimaliseren van het aandeel instructievolgende, wiskundige en code-data over twee trainingsfasen voor een Qwen3-4B model.
- Prompt Optimalisatie (PO): Selecteren van optimale prompts voor wiskundig redeneren uit een vooraf gegenereerd corpus van 5.014 kandidaten, geëvalueerd op de MATH-500 benchmark.
Probleemvarianten & Uitdagingen: Elke takenfamilie bevat varianten die zijn ontworpen om specifieke BBO-uitdagingen te testen:
- Multi-fidelity: Continue (tokenaantal) en discrete (modelgrootte) fideliteitsinstellingen om kostenbewuste optimalisatie te testen.
- Multi-objectief: Simultane optimalisatie van meerdere metrics (bijv. IFEval, MATH-500, MBPP+).
- Heteroscedastische Ruis: Invoer-afhankelijke ruismodellering voor data-mengsel optimalisatie.
- Hoogdimensie: Prompt optimalisatie taken variërend van 128 tot 768 dimensies (met behulp van Matryoshka Representation Learning embeddings).
- Beperkingen: Simplex-beperkingen voor data-mengsels en ruimtes met gemengde variabelen (continu, geheel getal, categorisch) voor hyperparameters.
Constructie van Emulators:
- HPO en DMO: Getraind met behulp van 2-laags Multi-Layer Perceptrons (MLP's) op echte experimentele data.
- PO: Maakt gebruik van tabulaire data van vooraf gegenereerde promptkandidaten en hun embeddings, aangezien interpolatie in de embeddingruimte niet eenvoudig decodeerbaar is naar natuurlijke taal.
- Validatie: Emulators worden gevalideerd met behulp van de rangcorrelatie van Spearman ( $\rho_s$ ) tussen voorspellingen en vastgehouden testsets, waarbij hoge fideliteit in het rangschikken van kandidaten wordt gewaarborgd (bijv. $\rho_s \approx 0,96$ voor HPO).

Belangrijkste Bijdragen

Een Suite van LLM-gerichte BBO-problemen: De auteurs introduceren drie takenfamilies die zijn gebaseerd op echte LLM-doelstellingen, variërend van ruimtes met gemengde variabelen, simplex-beperkingen, multi-fidelity, multi-objectief en hoogdimensionale instellingen.
Democratisering via Emulators: Door het verstrekken van gevalideerde surrogaatmodellen en tabulaire datasets, stelt BOLT onderzoekers in staat om BBO-methoden te benchmarken zonder toegang tot dure LLM-infrastructuur, waardoor reproduceerbaarheid en toegankelijkheid worden gewaarborgd.
Uitgebreide Empirische Evaluatie: Het artikel benchmarkt een breed scala aan BO-methoden (waaronder LogNEI, GIBBON, MES, PES) tegen standaard baselines (Random, TPE, CMA-ES, NSGA-2) over alle BOLT-taken.

Experimentele Resultaten

De auteurs hebben talloze acquisitiefuncties en optimalisatiestrategieën op BOLT geëvalueerd:

HPO: Op GP gebaseerde BO-methoden (specifiek LogNEI, MF-MES en MF-GIBBON) presteerden consistent beter dan niet-GP baselines (TPE, CMA-ES, BOHB) in zowel single-fidelity als multi-fidelity instellingen. De selectie van acquisitiefuncties toonde echter gevoeligheid voor kostenschaal en exploratieparameters (bijv. $\beta$ in UCB).
DMO: Op NEI gebaseerde methoden domineerden single-objectief taken, terwijl NEHVI met batchselectie ( $q=5$ ) evolutionaire baselines (NSGA-2) aanzienlijk overtrof op multi-objectief taken, waarbij een vergelijkbare kwaliteit van de Pareto-front werd bereikt met 50x minder functievoorspellingen. Ruisbewuste methoden (LogNEI+MLHGP) toonden bescheiden verbeteringen in heteroscedastische instellingen.
PO: Standaard acquisitiefuncties (LogEI, LogNEI, UCB) faalden om te schalen in hoogdimensionale embeddingruimtes, en stabiliseerden op het niveau van random search. Lokale zoekmethodes aangepast voor discrete ruimtes (dTuRBO en dBAxUS) gecombineerd met LogNEI behaalden aanzienlijke winsten, met een log simple regret van -10 tot -15. Batchevaluatie versnelde de convergentie verder. Opmerkelijk is dat subspace-reductie (dBAxUS) minder effectief was bij lagere dimensies (PO-128), waar de variantie niet geconcentreerd was in een laagdimensionale actieve subspace, wat suggereert dat LLM-embeddings niet altijd voldoen aan de laag-rang aannames van dergelijke methoden.

Betekenis en Claims

Het artikel beweert dat BOLT een cruciale stap is naar het moderniseren van BBO-onderzoek voor LLM's. Door een reproduceerbare, toegankelijke en realistische benchmark te bieden, doet BOLT het volgende:

Valideert het potentieel van BO: Het toont aan dat volwassen BBO-methoden, met name die gebaseerd op entropiezoek en ruizige verwachte verbetering, effectief zijn voor LLM-taken, maar aanpassing vereisen aan specifieke structurele uitdagingen (bijv. simplex-beperkingen, discrete zoekruimtes).
Benadrukt gaten: Het legt de beperkingen van huidige methoden bloot in hoogdimensionale, discrete en beperkte instellingen, en onderstreept de noodzaak van nieuwe algoritmische ontwikkelingen.
Maakt vooruitgang mogelijk: Het verwijdert de rekenkundige barrière die de BBO-gemeenschap eerder belette om zich te bezighouden met LLM-specifieke optimalisatieproblemen, en stimuleert de ontwikkeling van efficiëntere en principiële optimalisatiestrategieën voor LLM-pipelines.

De auteurs blijven bescheiden, met de opmerking dat de emulators zijn getraind op specifieke configuraties (bijv. kleinere tokenbudgetten, niet-denken modellen) en mogelijk niet de absoluut beste haalbare prestaties van frontier-modellen vertegenwoordigen, maar dat de optimalisatie-uitdagingen zelf (gemengde variabelen, beperkingen, ruis) inherent zijn aan LLM-taken en consistent blijven over configuraties heen.