📊 statistics

Statistically Valid Hyperparameter Selection: From Tuning to Guarantees

Deze monografie introduceert een verenigd statistisch kader gebaseerd op het learn-then-test-paradigma dat de selectie van hyperparameters mogelijk maakt met bewijsbare, finite-sample garanties voor het voldoen aan applicatiespecifieke betrouwbaarheidseisen, waarmee het gebrek aan formele veiligheidsgaranties in traditionele empirische afstemmethoden aanpakt.

Oorspronkelijke auteurs: Amirmohammad Farzaneh, Osvaldo Simeone

Gepubliceerd 2026-06-25

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Amirmohammad Farzaneh, Osvaldo Simeone

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Guess and Check"-valstrik

Stel je voor dat je een chef bent die een nieuw soeprecept perfectioneert. Je hebt een lijst met 100 verschillende variaties (sommigen hebben meer zout, anderen minder pittigheid, sommige gebruiken andere kruiden). Deze variaties zijn je hyperparameters.

Traditioneel gebruiken chefs (en AI-engineers) een methode genaamd "Best-Effort Tuning." Ze proeven elke versie, kiezen de versie die het lekkerst smaakte in de keuken, en serveren deze aan de klanten.

Het Probleem: De keuken is klein en de smaaktest was snel. Alleen omdat een soep geweldig smaakte in de keuken, betekent niet dat het ook geweldig zal smaken aan een miljoen klanten in verschillende stemmingen, met verschillende smaakpapillen, of op een regenachtige dinsdag. De "beste" soep in de keuken kan ook gewoon een gelukkige uitschieter zijn. Als je deze serveert, loop je het risico een ramp te serveren.

Het paper stelt dat huidige AI-systemen zoals deze soep zijn. Ze zijn afgestemd om er goed uit te zien op de data waarop ze zijn getest, maar we hebben geen statistische garantie dat ze in de echte wereld ook daadwerkelijk veilig of betrouwbaar zullen werken.

De Oplossing: De "Veiligheidsinspecteur" (LTT)

De auteurs stellen een nieuwe methode voor genaamd Learn-Then-Test (LTT). In plaats van alleen de "lekkerste" soep te kiezen, treden zij op als een strenge veiligheidsinspecteur.

Zo werkt het, stap voor stap:

Stel de Regel vast: Voordat je iets proeft, bepaal je een harde regel. "Deze soep moet veilig zijn voor consumptie voor ten minte least 99 van de 100 mensen." (In het paper wordt dit een risicodrempel genoemd).
Het Hypothese-spel: In plaats van te vragen "Welke soep is de beste?", stelt de inspecteur voor elke soep een andere vraag: "Is er sterk statistisch bewijs dat deze soep onveilig is?"
- Als het bewijs zegt: "Ja, deze soep is waarschijnlijk onveilig," wordt deze weggegooid.
- Als het bewijs zegt: "Nee, we kunnen niet bewijzen dat deze soep onveilig is," krijgt deze een Veiligheidscertificaat.
De Garantie: De magie van deze methode is dat het de "False Positive"-fout controleert. Het garandeert dat als je een soep kiest uit de stapel met "Gecertificeerd Veilig", de kans dat deze daadwerkelijk onveilig is, extreem laag is (bijv. minder dan 5%).

De Analogie: Denk aan een metaaldetector bij een vliegveld.

Oude Manier (Optimalisatie): Je kiest de persoon die er het minst verdacht uitziet en laat die doorgaan. (Die persoon kan nog steeds een wapen bij zich hebben).
Nieuwe Manier (LTT): Je laat iedereen door de metaaldetector gaan. Als het alarm afgaat, stop je ze. Als het alarm niet afgaat, geef je ze een "Clear"-badge. Het systeem is zo ontworpen dat de kans dat een gevaarlijk persoon door een "Clear"-badge glipt, wiskundig bewezen minuscuul is.

De Tools: P-waarden en E-waarden

Om deze "Veiligheidsinspecteur" te laten werken, gebruikt het paper twee statistische hulpmiddelen: P-waarden en E-waarden.

P-waarden (Het Traditionele Alarm): Dit is als een standaard metaaldetector. Ze vertellen je: "Als deze persoon onschuldig zou zijn, is de kans dat dit alarm afgaat zeer klein." Als het alarm luid genoeg is (de p-waarde is laag genoeg), verwerp je de claim van "onschuldigheid".
- Beperking: Je moet van tevoren beslissen hoe hard het alarm moet klinken. Als je de regels blijft aanpassen op basis van wat je ziet terwijl je de alarmen controleert, breekt de wiskunde (dit wordt "p-hacking" genoemd).
E-waarden (De Wedscore): Dit is een nieuwere, flexibelere tool. Stel je een wedkantoor voor. Een E-waarde is als een wedscore.
- Als je $1 wed dat een soep veilig is, en de E-waarde is 10, betekent dit dat je zojuist $10 hebt gewonnen.
- De schoonheid van E-waarden is dat je kunt blijven wedden naarmate je meer data krijgt. Je kunt op elk moment stoppen wanneer je wilt, en de wiskunde blijft kloppen. Het is alsoals een wedchip die nooit zijn waarde verliest, ongeacht wanneer je hem verzilvert.

Verder kijken dan het Gemiddelde: Het "Staart"-probleem

Het paper legt ook uit dat alleen controleren op de "gemiddelde" prestaties niet genoeg is.

De Analogie: Stel je een brug voor die gemiddeld 10 ton kan dragen. Dat klinkt veilig! Maar wat als er 1% van de tijd een vrachtwagen van 100 ton overheen rijdt? Het gemiddelde is prima, maar het worst-case scenario is een ramp.

Quantile Risk: Het paper introduceert een manier om te garanderen dat de brug standhoudt voor de zwaarste 95% van de vrachtwagens, niet alleen voor de gemiddelde vrachtwagen. Dit is cruciaal voor zaken als zelfrijdende auto's (je wilt geen crash van 1 op de miljoen willen) of draadloze netwerken (je wilt geen vertraging van 1 op de miljoen willen).
Information Bottleneck: Het paper past dit ook toe op "compressie". Stel je voor dat je een boek samenvat. Je wilt de belangrijkste plotpunten behouden (relevantie), maar de overbodige informatie weggooien (compressie). Het paper laat zien hoe je kunt garanderen dat je samenvatting de plot zeker behoudt, zelfs als je niet precies weet hoe het boek later gelezen zal worden.

De Multi-Objective Uitdaging: De "Balansact"

Vaak moet je conflicterende doelen balanceren.

Voorbeeld: Een draadloos netwerk moet snel zijn (doorvoersnelheid), maar ook eerlijk (iedereen krijgt een beurt) en betrouwbaar (geen onderbroken gesprekken).

Het paper introduceert Pareto Testing.

De Analogie: Stel je voor dat je een auto koopt. Je wilt dat hij snel, veilig en goedkoop is. Meestal kun je niet alle drie hebben. Je moet de "Pareto Frontier" vinden—de set auto's waarbij je niet meer snelheid kunt krijgen zonder veiligheid of prijs op te offeren.
De methode van het paper vindt de auto's op deze "Frontier" die gegarandeerd veilig zijn, en kiest vervolgens de snelste onder die veilige auto's. Het gebruikt een "Reliability Graph" (zoals een stamboom van ideeën) om de meest veelbelovende opties eerst te testen, wat tijd en geld bespaart.

De Adaptieve Toekomst: De "Slimme Shopper"

Ten slotte spreekt het paper over Adaptive Selection.

De Oude Manier: Je koopt 100 monsters van de soep, proeft ze allemaal en kiest er dan één. Dit is duur.
De Nieuwe Manier (aLTT): Je koopt één monster, proeft het. Als het verschrikkelijk is, gooi je het direct weg. Als het oké is, koop je er nog een. Je blijft alleen de exemplaren kopen die er veelbelovend uitzien.
Door gebruik te maken van E-processes (de wedscores die eerder werden genoemd), kan het systeem stoppen zodra het een "Veilige" soep heeft gevonden, wat een enorme hoeveelheid geld en tijd bespaart. Het garandeert dat zelfs als je vroeg stopte, de soep nog steeds veilig is.

Samenvatting van de Claims van het Paper

Huidige AI-tuning is riskant: Het optimaliseert voor het verleden (trainingsdata) zonder te garanderen dat het veilig is voor de toekomst.
LTT biedt een vangnet: Door hyperparameterselectie te behanden als een "veiligheidstest" in plaats van een wedstrijd om de "beste score", kunnen we wiskundig garanderen dat de gekozen instellingen niet vaker zullen falen dan een vooraf overeengekomen, minimaal deel.
Het werkt voor complexe regels: Het gaat niet alleen over "gemiddelde snelheid"; het werkt voor "worst-case vertragingen", "veiligheidsbeperkingen" en "informatielimieten".
Het handelt meerdere doelen tegelijk af: Het kan snelheid, veiligheid en kosten tegelijkertijd balanceren.
Het bespaart geld: Door adaptief te testen (stoppen wanneer een oplossing is gevonden), vermindert het de noodzaak voor enorme hoeveelheden data.

De Kernboodschap: Het paper verplaatst AI van "Hopelijk werkt het" naar "We hebben een wiskundig bewijs dat het werkt."

Technisch Overzicht: Statistisch Geldige Selectie van Hyperparameters

1. Probleemdefinitie

De monografie behandelt de kritieke kloof in moderne AI-implementatie tussen empirische hyperparameteroptimalisatie (HPO) en statistische betrouwbaarheid. Hoewel standaard HPO-methoden (bijv. grid search, Bayesiaanse optimalisatie) effectief het empirische risico op een validatieset minimaliseren, missen ze formele garanties dat de geselecteerde hyperparameter aan specifieke betrouwbaarheidsrestricties zal voldoen (bijv. risicogrenzen, latentiebeperkingen, eerlijkheidsmetrieken) op de werkelijke onderliggende datadistributie.

Het kernprobleem wordt als volgt gedefinieerd: Gegeven een eindige kandidaatset van hyperparameters $\Lambda = \{\lambda_1, \dots, \lambda_K\}$ en een eindige kalibratiedataset $D_{cal}$ , is het doel om een hyperparameter $\hat{\lambda}$ te selecteren waarvan het werkelijke risico $R(\hat{\lambda})$ met hoge waarschijnlijkheid ( $1-\delta$ ) gegarandeerd onder een door de gebruiker gespecificeerde drempelwaarde $\alpha$ ligt. Cruciaal is dat deze garantie moet gelden post-selectie, rekening houdend met de willekeur die wordt geïntroduceerd door het zoeken over meerdere kandidaten en de eindige omvang van de kalibratiedata.

2. Methodologie: Het Learn-Then-Test (LTT) Paradigma

Het artikel stelt een verenigd framework voor genaamd Learn-Then-Test (LTT), dat hyperparameterselectie herformuleert als een Multiple Hypothesis Testing (MHT) probleem.

2.1 Kernframework

In plaats van het empirische risico direct te minimaliseren, associeert LTT elke kandidaat $\lambda_k$ met een nulhypothese:
$H_k: R(\lambda_k) > \alpha$
Het doel is om $H_k$ te verwerpen (het certificeren van $\lambda_k$ als betrouwbaar) alleen als er voldoende statistisch bewijs is dat het werkelijke risico niet boven $\alpha$ uitkomt.

De workflow omvat:

Risico-inschatting: Het berekenen van empirische risico-inschattingen $\hat{R}_n(\lambda_k)$ op de kalibratiedata.
Bewijsconstructie: Het transformeren van deze inschattingen naar geldige statistische bewijsmaten: p-waarden of e-waarden.
Multiple Testing: Het toepassen van een MHT-procedure om globale foutenpercentages te controlen (Family-Wise Error Rate - FWER, of False Discovery Rate - FDR) over de set van kandidaten.
Selectie: Het selecteren van een definitieve hyperparameter uit de gecertificeerde set $\hat{\Lambda}$ (de subset van verworpen nulhypothesen) op basis van secundaire doelstellingen (bijv. nauwkeurigheid, efficiëntie).

2.2 Statistische Machinekamer

De monografie ontwikkelt de noodzakelijke statistische instrumenten vanuit eerste principes:

P-waarden: Geconstrueerd via concentratie-ongelijkheden (bijv. de Hoeffding-ongelijkheid) om de waarschijnlijkheid te begrenzen dat een empirisch risico aanzienlijk lager is dan het werkelijke risico onder de nulhypothese.
E-waarden: Geïntroduceerd als een alternatieve bewijsmaat die voldoet aan $E[e_k | H_k] \le 1$ . E-waarden worden benadrukt vanwege hun superieure eigenschappen in sequentiële en adaptieve settings, inclusief post-hoc validiteit (validiteit ongeacht wanneer de test wordt gestopt) en compositionele validiteit (het vermogen om bewijs te combineren via middeling of vermenigvuldiging).
Foutcontrole:
- FWER-controle: Garandeert dat met een waarschijnlijkheid van $1-\delta$ , geen enkele onbetrouwbare hyperparameter wordt geselecteerd (met behulp van procedures zoals Bonferroni of Fixed Sequence Testing).
- FDR-controle: Garandeert dat het verwachte deel van de onbetrouwbare hyperparameters in de geselecteerde set maximaal $\delta$ is (met behulp van Benjamini-Hochberg of e-BH procedures).

3. Belangrijkste Bijdragen en Uitbreidingen

De monografie breidt het kern-LTT-framework uit langs vier primaire richtingen om complexe real-world restricties aan te pakken:

3.1 Voorbij Gemiddeld Risico (Algemene Betrouwbaarheidsfuncties)

Het framework wordt gegeneraliseerd om risicofuncties te kunnen afhandelen die verder gaan dan het gemiddelde ( $E[L]$ ).

Quantile Risk Control (QLTT): Certificeert dat een specifiek kwantiel van de verliesdistributie (bijv. de 90e percentiel latentie) onder een drempelwaarde ligt, ter bescherming tegen tail-events.
Informatie-theoretische Constraints (IB-LTT): Is van toepassing op het Information Bottleneck-probleem, waarbij het certificeert dat de wederzijdse informatie $I(T; Y)$ (relevantie) de drempelwaarde overschrijdt terwijl compressie $I(X; T)$ wordt geoptimaliseerd.

3.2 Multi-Objective Selectie

Het framework adresseert scenario's met meerdere gelijktijdige betrouwbaarheidsrestricties ($LC$) en hulpdoelstellingen ($L - LC$).

Pareto Testing (PT): Beperkt hypothesetests tot de geschatte Pareto-front van de kandidaatset. Het gebruikt een tweestapsbenadering: (1) identificeer de Pareto-front met behulp van een subset van de data ( $D_{opt}$ ), en (2) pas Fixed Sequence Testing (FST) toe op de geordende front met een disjunct dataset ( $D_{MHT}$ ).
Reliability Graph-Based Pareto Testing (RG-PT): Integreert voorafgaande structurele kennis (bijv. promptlengte versus betrouwbaarheid) via een Directed Acyclic Graph (DAG). Het gebruikt het DAGGER-algoritme om de graaf te doorlopen, wat parallel exploratie van betrouwbaarheidspaden mogelijk maakt en de efficiëntie verbetert ten opzichte van lineaire ordening.

3.3 Adaptieve en Sequentiële Selectie

Om labelbudgetten en computationele kosten te verlagen, introduceert de monografie Adaptive LTT (aLTT).

Mechanisme: In plaats van een vaste batch komt data sequentieel binnen. De procedure gebruikt e-processen om het bewijs voor elke kandidaat dynamisch bij te werken.
Anytime-Valid Inference: Door gebruik te maken van e-waarden kan de procedure op elk datariënt moment stoppen (bijv. zodra een target aantal betrouwbare kandidaten is gevonden) zonder de statistische garanties ongeldig te maken.
Acquisitie-policies: Maakt gebruik van strategieën (bijv. $\epsilon$ -greedy) om evaluatieresources toe te wijzen aan de meest veelbelovende kandidaten, waarbij slecht presterende kandidaten vroegtijdig worden beëindigd.

3.4 Autoevaluatie met Beperkte Ground Truth

Het framework wordt aangepast voor settings waar "ground-truth" labels duur zijn maar "autoevaluatie"-labels (bijv. van een LLM-as-a-judge) goedkoop zijn.

R-AutoEval / R-AutoEval+: Combineert testing-by-betting (e-processen) met Prediction-Powered Inference (PPI). Dit maakt betrouwbare selectie mogelijk met een mix van schaarse ground-truth data en overvloedige autoevaluatie-data, waarbij de bias van de autoevaluator wordt gecorrigeerd.

4. Experimentele Resultaten

De monografie valideert het framework via empirische vergelijkingen op drie verschillende toepassingen:

Beeldclassificatie (Fashion-MNIST):
- Setup: Selectie van regularisatieparameters voor logistische regressie.
- Resultaat: Conventionele Empirische HPO (E-HPO) overtrad de doel-risicodrempel ( $\alpha=0.2$ ) in 53% van de gevallen. LTT controleerde de schendingsratio op 3%, ruim onder de doelstelling $\delta=0.2$ .
Draadloze Planning (Wireless Scheduling):
- Setup: Selectie van hyperparameters voor een leerbare packet scheduler om vertraging te minimaliseren.
- Resultaat: E-HPO resulteerde in een gemiddelde vertraging die de 10ms drempel overschreed in 66% van de gevallen. LTT hield de scheidingsratio onder de doelstelling.
- Uitbreiding: In de multi-objective setting (het controleren van vertragingen voor twee QoS-klassen simultaan), slaagde PT erin beide restricties te controleren, terwijl single-objective LTT faalde om de niet-geoptimaliseerde restrictie te garanderen.
Prompt Engineering (LLMs):
- Setup: Selectie van prompt templates voor sentimentanalyse met restricties op nauwkeurigheid en promptlengte.
- Resultaat: RG-PT, gebruikmakend van voorafgaande betrouwbaarheidsstructuren, identificeerde consistent kortere betrouwbare prompts vergeleken met LTT en PT, terwijl dezelfde FDR-garanties werden gehandhaafd.

5. Betekenis en Claims

Het artikel claimt dat de primaire bijdrage het verschuiven van het paradigma van hyperparameterselectie is van optimalisatie-gecentreerd (best-effort empirische minimalisatie) naar betrouwbaarheid-gecentreerd (statistisch gegarandeerde restrictie-naleving).

Formele Garanties: In tegenstelling tot standaard HPO biedt LTT eindige-steekproef, post-selectie garanties dat het geïmplementeerde systeem niet met een waarschijnlijkheid hoger dan een door de gebruiker gedefinieerde $\delta$ kritieke veiligheids- of prestatiebeperkingen zal schenden.
Modulariteit: Het framework is agnostisch voor de upstream methode die wordt gebruikt om de kandidaatset $\Lambda$ te generen (bijv. grid search, Bayesiaanse optimalisatie). Het fungeert als een "veiligheidslaag" die op elke set kandidaten kan worden toegepast.
Robuustheid tegen Selectiebias: Door het selectieproces expliciet te modelleren als een multiple testing probleem, corrigeert het framework voor de "selectiebias" die inherent is aan het kiezen van de best presterende kandidaat uit een grote pool, een gebrek dat standaard empirische methoden teistert.
Flexibiliteit: De uitbreiding naar kwantielrisico's, informatie-theoretische restricties, multi-objective settings en sequentiële datacollectie demonstreert de toepasbaarheid van het framework aan diverse en complexe AI-implementatiescenario's, inclusief veiligheidskritische systemen en omgevingen met beperkte middelen.

De monografie concludeert dat hoewel heuristische tuning nuttig blijft voor het vinden van hoogpresterende configuraties, statistisch geldige selectie noodzakelijk is wanneer betrouwbaarheid, veiligheid en strikte naleving van Service Level Agreements (SLA's) van groot belang zijn.