🤖 machine learning

Feasible-First Exploration for Constrained ML Deployment Optimization in Crash-Prone Hierarchical Search Spaces

Dit artikel stelt Thermisch Budget-Annealing (TBA) voor, een haalbaarheids-gedreven exploratiemethode die vroege proef-timeouts en subspace-zwarte lijsten combineert met warm-started Tree-structured Parzen Estimators om geconstrueerde machine learning-implementaties in crash-gevoelige hiërarchische zoekruimtes efficiënt te optimaliseren, gevalideerd door de nieuwe DeployBench-benchmark over diverse GPU-doelen.

Oorspronkelijke auteurs: Christian Lysenstøen

Gepubliceerd 2026-04-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Christian Lysenstøen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef-kok bent die probeert het perfecte gerecht te creëren, maar je hebt een zeer strikte regel: je hebt slechts 25 ingrediënten om te testen voordat je het geld op hebt.

Je keuken is chaotisch. Sommige ingrediëntencombinaties ontploffen (crashen), sommige kosten uren om te koken (te traag), en sommige werken gewoon niet samen (onverenigbaar). Je moet het lekkerste gerecht vinden dat binnen je tijd- en budgetlimieten past.

Dit is precies het probleem dat het artikel oplost, maar in plaats van een keuken gaat het over het implementeren van Machine Learning-modellen op computerchips (GPU's).

Hier is de uiteenzetting van het verhaal van het artikel, met gebruikmaking van eenvoudige analogieën:

1. Het Probleem: De "Kans op Crash"-Keuken

In het verleden gebruikten computerwetenschappers slimme algoritmen (zoals TPE) om de beste instellingen voor AI-modellen te vinden. Deze algoritmen zijn als een chef-kok die een paar gerechten proeft, leert welke smaken werken, en vervolgens begint te raden op basis van wat hij heeft geleerd.

Maar er is een addertje onder het gras: In de echte wereld van AI-implementatie zijn de meeste willekeurige gissingen rampen.

Je kiest een model en een instelling, en de computer raakt zijn geheugen op (het "crasht").
Je kiest een instelling en het duurt 5 minuten om te draaien terwijl je slechts 20 seconden hebt.
Je kiest een instelling en de software weigert het te draaien.

Als je "slimme chef-kok" (het TPE-algoritme) zijn eerste 10 pogingen besteedt aan ontploffende gerechten of gerechten die eeuwig duren om te koken, raakt hij zijn ingrediënten op voordat hij ooit het beste type gerecht vindt. Hij blijft vastzitten in het optimaliseren van een "voldoende" gerecht (zoals een standaardburger), omdat hij nooit de kans kreeg om het "perfecte" gerecht te proeven (een zeldzaam, complex recept) dat hij in het begin gemist had.

Het artikel noemt dit "Voorbarige Exploitatie". De chef-kok stopt te vroeg met verkennen en begint het verkeerde ding te perfectioneren.

2. De Oplossing: "Thermal Budget Annealing" (TBA)

De auteurs stellen een nieuwe tweestapsstrategie voor genaamd TBA → TPE. Denk hierbij aan een kookwedstrijd in twee fasen:

Fase 1: De "Eerst Haalbaar"-Verkenningsmissie
Voordat de slimme chef-kok begint met raden, stuurt hij een verkenningsgroep uit met een specifieke taak: Vind alles wat niet ontploft.

De verkenningsgroep gebruikt een methode genaamd Simulated Annealing. Stel je dit voor als een "wilde verkenning"-modus waarbij de chef-kok elk type hoofdingrediënt (Modelfamilie) probeert om te zien welke er daadwerkelijk gekookt kunnen worden zonder de keuken op te blazen.
De Veiligheidsnetten:
- Proeftijd-Timeouts: Als een gerecht te lang begint te duren om te koken (bijvoorbeeld 5 minuten terwijl de limiet 20 seconden is), trekt de verkenningsgroep onmiddellijk de stekker eruit. Ze wachten niet tot het klaar is; ze markeren het gewoon als "te traag" en gaan verder.
- Subruimte-Zwarte Lijst: Als de verkenningsgroep drie keer op rij "Scherpe Salsa" probeert en het ontploft elke keer, zetten ze "Scherpe Salsa" op een tijdelijke "Niet Aanraken"-lijst. Ze verspillen voorlopig geen tijd meer aan het, maar verbieden het niet voor altijd (voor het geval het wel werkt met een ander hoofdingrediënt).

Fase 2: De Slimme Chef-Kok Keert Terug
Zodra de verkenningsgroep een lijst met "veilige" ingrediënten en configuraties heeft gevonden, geven ze die lijst door aan de Slimme Chef-kok (TPE).

Nu hoeft de Slimme Chef-kok niet meer blind te raden. Hij begint met een "warm start" – een voorsprong gebaseerd op de kaart van de verkenningsgroep over wat werkt.
Omdat de verkenningsgroep al de gevaarlijke zones heeft verkend, kan de Slimme Chef-kok zich richten op het verfijnen van de beste opties zonder tijd te verspillen aan ontploffingen.

3. De Resultaten: Het "Vit-Tiny"-Schat vinden

De onderzoekers testten dit op vijf verschillende computerchips (GPU's), variërend van krachtige datacenterservers tot kleinere laptopchips.

De Oude Weg (Cold-Start TPE): Bleef vaak vastzitten. Op de RTX 5080 laptopchip vond de oude methode het beste model (genaamd vit_tiny) in slechts 3 van de 10 pogingen. Het bleef een "veilig maar middelmatig" model kiezen (resnet50) omdat het nooit de kans kreeg om het beste te proberen.
De Nieuwe Weg (TBA → TPE): Vond het beste model (vit_tiny) in 8 van de 10 pogingen op dezelfde chip.
De Efficiëntie: De nieuwe methode waste minder "ingrediënten" (budget) aan mislukte pogingen. Hoewel willekeurig raden vaak het beste model vond, waste het 74% van zijn budget aan crashes. De nieuwe methode waste slechts 42%.

4. De Kernles

De belangrijkste conclusie van het artikel is simpel maar krachtig: In een gevaarlijke, crash-gevoelige omgeving kun je niet vertrouwen op een slim algoritme om de basics uit te zoeken.

Als je een slim algoritme direct laat beginnen, kan het vastlopen in een klein hoekje van de zoekruimte omdat het de tijd op heeft om de rest te verkennen. Je hebt een speciale "verkenningsfase" nodig om eerst de veilige zones in kaart te brengen.

De Analogie Samenvatting:

Het Probleem: Proberen de beste route te vinden door een stad waar 50% van de straten geblokkeerd is of doodloopt.
De Oude Methode: Een GPS die direct probeert de snelste route te berekenen. Het blijft vastzitten in een kleine wijk omdat de batterij leegraakte bij het proberen de geblokkeerde straten te navigeren.
De Nieuwe Methode: Een drone vliegt eerst over de stad (Fase 1) om te markeren welke straten open zijn. Daarna gebruikt de GPS (Fase 2) die kaart om de snelste route te vinden. De GPS vindt de bestemming veel vaker en gebruikt minder batterij.

Het artikel bewijst dat voor AI-implementatie eerst verkennen, dan exploiteren, de sleutel tot succes is wanneer het budget krap is en de omgeving vijandig.

1. Probleemstelling

Het artikel adresseert de uitdaging van het optimaliseren van de deployatie van Machine Learning (ML)-modellen onder strikte productiebeperkingen (latentie, geheugen, stroomverbruik). In tegenstelling tot standaard hyperparameteroptimalisatie (HPO), stelt deployatieoptimalisatie drie unieke uitdagingen:

Hiërarchische zoekruimten: De geldigheid van parameters hangt af van structurele keuzes (bijvoorbeeld: het selecteren van een specifieke backend activeert verschillende compiler-opties).
Gedeeltelijke ongeldigheid (Crash-zones): Een aanzienlijk deel van de configuraties (30–80%) is ongeldig vanwege out-of-memory (OOM)-fouten, niet-ondersteunde operatorcombinaties of compiler-fouten. Deze configuraties retourneren geen objectivewaarde, maar een crash.
Ongelijke evaluatiekosten: Het evalueren van een configuratie kan variëren van seconden tot minuten. Budget verspillen aan crash-configuraties is operationeel duur.

De kern van het falen: Standaard modelgeleide optimalisatoren (zoals Tree-structured Parzen Estimators, TPE) vertrouwen op vroege steekproeven om een surrogaatmodel te bouwen. In "crash-rijke" omgevingen spenderen deze optimalisatoren hun beperkte budget vaak aan ongeldige proeven of convergeren ze voortijdig naar een suboptimale modelfamilie (bijvoorbeeld ResNet-50), omdat ze de globaal optimale familie (bijvoorbeeld ViT-Tiny) nooit observeren voordat de exploitatiefase begint. Dit wordt voortijdige exploitatie genoemd.

2. Methodologie: Thermische Budget-annealing (TBA)

De auteurs stellen TBA voor, een hybride optimalisatiestrategie die het proces decomposeert in twee distincte fasen: Haalbaarheidsgerichte exploratie gevolgd door Modelgeleide exploitatie.

Fase 1: Haalbaarheidsgerichte Simulated Annealing (SA)

In plaats van direct een probabilistisch model te fitten, gebruikt Fase 1 een gemodificeerd Simulated Annealing-algoritme om geldige gebieden in kaart te brengen en structurele diversiteit te waarborgen.

Tweestapsdoel:
- Haalbaarheidsfase: Voordat er een geldige configuratie wordt gevonden, minimaliseert het algoritme de totale beperkingsovertreding ( $V(x)$ ).
- Optimalisatiefase: Zodra een haalbare configuratie is gevonden, schakelt het doel over naar het maximaliseren van de deployatiemetric (bijvoorbeeld nauwkeurigheid).
Adaptieve temperatuur: Gebruikt een herverwarmingsschema om brede exploratie te handhaven tijdens de haalbaarheidsfase.
Hiërarchische buurvoorstellingen: Het algoritme voert expliciet "structurele moves" uit (veranderen van modelfamilie, backend of kwantisatie) met een hoge waarschijnlijkheid in het begin, die afneemt in de tijd om lokale verfijning te bevorzorgen.
Robuustheidsmechanismen voor vijandige hardware:
- Proeftime-outs: Brengt proeven voortijdig af als initiële latentiemetingen de drempelwaarde voor beperkingen met $5\times$ overschrijden, waardoor tijdverspilling aan catastrofale onhaalbare configuraties wordt voorkomen.
- Subruimte-blacklisting: Supprimeert tijdelijk specifieke categorische waarden (bijvoorbeeld een specifieke kwantisatiemodus) na drie opeenvolgende mislukkingen, waardoor de zoektocht niet vast komt te zitten in "crash-traps".
- Elite-herstart en Snap-back: Mechanismen om te herstellen uit lokale minima en stagnatie te voorkomen.

Fase 2: Warm-started TPE

Zodra de exploratiefase voldoende data heeft verzameld (minimaal haalbare en ongeldige observaties), wordt de volledige geschiedenis (inclusief crashes en beperkingsmetadata) geïnjecteerd in de Optuna TPE-sampler.

Adaptieve overdracht: De overgang vindt plaats wanneer specifieke criteria zijn voldaan (bijvoorbeeld $N_{feas} \ge 5$ , $N_{bad} \ge 3$ ), zodat de TPE start met een diverse, informatieve dataset in plaats van een koude start.
Beperkte acquisitie: TPE gebruikt de verzamelde geschiedenis om exploitatie te sturen, nu geconditioneerd op een breder begrip van de haalbare ruimte.

3. Belangrijkste bijdragen

Probleemformalisatie: Definieerde budget-beperkte deployatieoptimalisatie in gedeeltelijk ongeldige hiërarchische ruimten, waarbij "voortijdige exploitatie" werd geïdentificeerd als een kritieke faalmodus.
TBA-algoritme: Introduceerde een haalbaarheidsgerichte exploratieprocedure met adaptieve temperatuur, crash-bewuste statetransities en specifieke robuustheidsmechanismen (time-outs, blacklisting) die zijn toegespitst op vijandige hardware.
DeployBench: Creëerde een nieuwe benchmark-suite met verborgen crash-zones, hiërarchische conditionals en ongelijke evaluatiekosten, die real-world deployatiescenario's simuleert over vijf GPU-doelen (H100, A100, RTX 5080, L4, T4).
Empirische validatie: Toonde aan dat het warm-starten van TPE met haalbaarheidsgerichte exploratie de ontdekking van de globaal optimale modelfamilie onder strakke beperkingen significant verbetert in vergelijking met cold-start TPE.

4. Experimentele resultaten

De methode werd geëvalueerd op synthetische benchmarks (Crashy Branin) en real-world ImageNette-deployatie over vijf GPU-hardware-doelen.

Synthetische benchmarks: TBA→TPE presteerde beter dan cold-start TPE en Random Search bij het vinden van de beste haalbare objectief, vooral bij lage budgetten ( $B=20$ ). Het verminderde het "verspilde budgetaandeel" (proeven die crashten of beperkingen schonden) aanzienlijk.
Real deployatie (RTX 5080):
- Ontdekkingspercentage: De hybride methode ontdekte de globaal optimale modelfamilie (vit_tiny) in 8/10 seeds, terwijl cold-start TPE deze slechts in 3/10 seeds vond.
- Efficiëntie: Hoewel Random Search ook vaak vit_tiny vond (8/10), verspilde het 74% van zijn budget aan ongeldige proeven. De hybride methode verspilde slechts 42%.
- Voortijdige exploitatie: TPE convergeerde vaak naar resnet50 (een suboptimale keuze) in 7/10 seeds, omdat zijn vroege willekeurige steekproeven naar die familie waren bevooroordeeld en het later nooit vit_tiny exploreerde.
Multi-hardware generalisatie:
- De hybride methode kwam overeen met of overtrof het ontdekkingspercentage van TPE over alle vijf GPU's (H100, A100, RTX 5080, L4, T4).
- H100: Hybride vond vit_tiny in 5/5 seeds versus TPE's 3/5.
- T4 (Vijandig): Met robuustheidsmechanismen kwam de hybride overeen met TPE (3/5) maar met minder verspilling (36% versus 38%). Zonder deze mechanismen faalde de hybride methode op T4.
Trade-off: De hybride methode neemt een unieke positie in in de "Ontdekking versus Verspilling"-trade-off: het bereikt hoge ontdekkingspercentages die vergelijkbaar zijn met Random Search, maar met aanzienlijk minder verspild budget, en presteert beter dan TPE, dat weinig verspilling heeft maar slechte ontdekking in crash-rijke regimes.

5. Betekenis en conclusie

Het artikel betoogt dat in beperkte, crashgevoelige deployatieomgevingen de kwaliteit van vroege exploratie het succes van latere exploitatie bepaalt.

Smalle maar kritieke claim: De auteurs claimen niet dat TBA een universeel vervanging is voor TPE. In plaats daarvan bewijzen ze dat in vijandige ruimten met kleine budgetten, expliciete haalbaarheidsgerichte exploratie noodzakelijk is om modelgeleide optimalisatoren te voorkomen dat ze vastlopen op suboptimale modelfamilies.
Praktische impact: Door evaluatietijd te verminderen en de ontdekking van de beste modelarchitectuur (bijvoorbeeld vit_tiny) te waarborgen, biedt deze aanpak een betrouwbaardere en kosteneffectievere weg voor het deployen van ML-modellen op diverse hardware.
Toekomstig werk: De auteurs suggereren adaptieve overdrachtscriteria gebaseerd op structurele diversiteit en het uitbreiden van de benchmark naar NLP en multi-model pipelines.

Samenvattend slaagt TBA erin de kloof te overbruggen tussen robuuste exploratie in vijandige omgevingen en efficiënte exploitatie, en lost het probleem van "voortijdige exploitatie" op dat standaard AutoML-tools in real-world deployatiescenario's teistert.