📊 statistics

Post-Selection Distributional Model Evaluation

Dit paper introduceert PS-DME, een statistisch geldig raamwerk dat post-selectie vertekening aanpakt door e-waarden te gebruiken om betrouwbare verdelingsmaten voor modelprestaties te schatten na datagestuurde modelselectie.

Oorspronkelijke auteurs: Amirmohammad Farzaneh, Osvaldo Simeone

Gepubliceerd 2026-03-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Amirmohammad Farzaneh, Osvaldo Simeone

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Hoe je de beste auto kiest zonder je in de gaten te laten bedriegen

Stel je voor dat je een nieuwe auto wilt kopen. Je hebt een lijst met 20 verschillende modellen (van goedkoop en snel tot duur en luxueus). Je wilt niet alleen weten welke auto het snelst is, maar ook hoe betrouwbaar hij is. Soms wil je een auto die heel snel is, maar dan moet je accepteren dat hij soms een beetje trager reageert. Soms wil je juist een auto die altijd perfect werkt, zelfs als hij iets minder snel is.

Het probleem is: je hebt maar één setje testdata. Je rijdt met alle auto's een rondje om te zien hoe ze presteren.

Het Dilemma: De "Kies en Vraag" Valstrik
Normaal gesproken doe je het zo:

Je kijkt naar de resultaten van alle 20 auto's.
Je kiest de 3 beste eruit (bijvoorbeeld de snelste).
Je kijkt dan heel nauwkeurig naar hoe betrouwbaar die 3 specifieke auto's zijn.

Maar hier zit een valstrik in! Omdat je die 3 auto's op basis van dezelfde test hebt uitgekozen, ben je waarschijnlijk te optimistisch. Je hebt per ongeluk de auto's gekozen die op die ene dag toevallig het beste reden, niet per se de auto's die altijd het beste zijn. Als je nu zegt: "Deze auto is 99% betrouwbaar", is dat waarschijnlijk een leugen. Je hebt je eigen selectie niet eerlijk getoetst.

In de wetenschap noemen we dit post-selection bias (na-selectie bias). Het is alsof je een wiskundig proefje doet, de antwoorden kijkt, de beste kiest, en dan doet alsof je dat antwoord van tevoren al had voorspeld.

De Oplossing: PS-DME (De "Alles-in-Één" Methode)
De auteurs van dit paper, Amirmohammad Farzaneh en Osvaldo Simeone, hebben een nieuwe manier bedacht om dit op te lossen. Ze noemen het PS-DME.

Stel je voor dat je in plaats van de auto's te splitsen in twee groepen (één groep om te kiezen, één groep om te testen), je alle testdata gebruikt voor beide stappen, maar op een slimme manier.

Hoe doen ze dat?

De Slimme Rekenmachine (E-values): Ze gebruiken een wiskundig trucje dat "e-values" heet. Je kunt dit zien als een speciale soort "betrouwbaarheidsmeter". Deze meter is zo ontworpen dat hij weet: "Ah, je hebt al gekeken naar de data om een keuze te maken. Ik ga mijn berekening iets strakker maken om die keuze te compenseren."
De Volledige Foto: In plaats van een foto te knippen in twee stukken (waarbij je één stuk weggooit), maken ze een foto van de hele auto, maar ze voegen een speciale "waarschuwingsrand" toe. Deze rand is net groot genoeg om zeker te weten dat, zelfs als je de beste auto's hebt gekozen, de werkelijkheid er nog steeds binnen zit.

Waarom is dit beter?
Stel je voor dat je een grote taart hebt.

De oude methode (Data Splitting): Je snijdt de taart in tweeën. Je gebruikt de ene helft om te kiezen welke smaak je wilt, en de andere helft om te proeven. Je proeft maar een klein stukje, dus je weet niet precies hoe de smaak is.
De nieuwe methode (PS-DME): Je gebruikt de hele taart om te proeven. Maar omdat je de hele taart hebt gebruikt om te kiezen, moet je een beetje "straf" betalen in de vorm van een iets dikkere rand om je conclusie. Toch is het stukje taart dat je overhoudt voor de feitelijke smaaktest vaak groter en nauwkeuriger dan bij de oude methode.

Wat levert dit op?
Met deze nieuwe methode kun je niet alleen zeggen: "Deze auto is de snelste."
Je kunt zeggen: "Kijk, als je bereid bent om 10% van de tijd een beetje trager te rijden, kun je deze luxe auto nemen. Maar als je 99% zekerheid wilt, moet je kiezen voor die andere, iets langzamere auto."

Je krijgt dus een volledig overzicht van de trade-off (de afweging) tussen snelheid en betrouwbaarheid, zonder dat je je zorgen hoeft te maken dat je door je eigen keuze bent bedrogen.

Samenvattend in één zin:
Deze paper leert ons hoe we de beste opties kunnen kiezen uit een grote lijst, zonder onze eigen keuzes te laten bedriegen door toeval, zodat we een eerlijk en betrouwbaar beeld krijgen van hoe goed die opties écht zijn.

Titel: Post-Selection Distributional Model Evaluation (PS-DME)

Auteurs: Amirmohammad Farzaneh en Osvaldo Simeone
Instituut: King's College London & Northeastern University London

1. Het Probleem

Traditionele methoden voor formeel modelbeoordeling en -selectie focussen erop te garanderen dat een model een vooraf gespecificeerde drempelwaarde voor een Key Performance Indicator (KPI) haalt (bijv. "de latentie moet onder de 100ms blijven"). Dit vereist echter dat de gebruiker de gewenste betrouwbaarheidsdrempel a priori kent.

In de praktijk is deze drempel vaak niet bekend of verandert deze naarmate de use-case evolueert. Gebruikers willen vaak de volledige trade-off tussen prestaties en betrouwbaarheid verkennen. Dit vereist de schatting van de volledige verdeling (CDF) van de KPI voor kandidaat-modellen.

Het centrale probleem is post-selectie bias:

Gebruikers selecteren vaak een subset van veelbelovende modellen uit een grote pool op basis van dezelfde dataset die later wordt gebruikt om de prestatieverdeling te schatten.
Het naïef toepassen van klassieke betrouwbaarheidsbanden (confidence bands) na deze data-afhankelijke selectie leidt tot te optimistische schattingen en een te hoog risico op miscoverage (het niet bevatten van de ware verdeling).
Bestaande methoden om dit op te lossen, zoals data splitting (het splitsen van data in een selectie- en een inferentie-deel), zijn inefficiënt omdat ze de effectieve steekproefgrootte voor de inferentie verkleinen, wat leidt tot brede en minder nuttige betrouwbaarheidsbanden.

2. Methodologie: PS-DME

De auteurs introduceren Post-Selection Distributional Model Evaluation (PS-DME), een raamwerk dat statistisch geldige verdelingsbeoordeling mogelijk maakt na willekeurige, data-afhankelijke modelselectie, terwijl de volledige dataset wordt hergebruikt.

Kerncomponenten:

Doel: Het construeren van betrouwbaarheidsbanden voor de Cumulatieve Verdelingsfunctie (CDF) van de KPI voor een subset van geselecteerde modellen $\mathcal{K}$ , zodat de False Coverage Rate (FCR) wordt gecontroleerd.
- FCR is de verwachte fractie van geselecteerde modellen waarvan de CDF-band de ware CDF niet bevat.
- Het doel is $FCR \leq \delta$ waar $\delta$ een door de gebruiker gekozen foutmarge is.
Technische Aanpak (E-waarden):
- In plaats van data splitting, gebruikt PS-DME het concept van e-waarden (e-values), die robuuster zijn dan p-waarden voor post-hoc selectie.
- Het proces verloopt als volgt:
  - Selectie: Een willekeurige, data-afhankelijke regel selecteert een subset $\mathcal{K}$ van modellen.
  - Inferentie: Voor elk model in $\mathcal{K}$ wordt de CDF geschat met de volledige dataset.
  - Correctie: Er wordt een correctiefactor toegepast, afgeleid van de eigenschappen van e-waarden en een zogenaamde e-calibrator (een functie die p-waarden omzet in e-waarden). Dit zorgt ervoor dat de betrouwbaarheidsbanden geldig blijven ondanks de selectie.
Vergelijking met Baseline (SS-DME):
- De auteurs vergelijken PS-DME met een Sample-Splitting methode (SS-DME), waarbij data wordt gesplitst in selectie- en inferentie-deel.
- Theoretisch voordeel: PS-DME is efficiënter (levert smalere banden op) wanneer de winst van het gebruik van de volledige steekproefgrootte opweegt tegen de "straf" (penalty) voor post-selectie correctie. Dit wordt wiskundig bewezen via vergelijking van de bandbreedtes.

3. Belangrijkste Bijdragen

Nieuw Raamwerk: PS-DME is het eerste framework dat volledige data-hergebruik mogelijk maakt voor verdelingsinferentie na willekeurige modelselectie, met gegarandeerde controle van de FCR.
Statistische Validiteit: Het bewijst dat de methode de FCR controleert voor elke data-afhankelijke selectieregel, wat cruciaal is voor betrouwbare vergelijkingen.
Efficiëntie: Het toont aan dat PS-DME statistisch efficiënter is dan data splitting, wat resulteert in nauwkeurigere (smallere) betrouwbaarheidsbanden, vooral bij beperkte datasets.
Flexibiliteit: Het ondersteunt het verkennen van trade-offs tussen prestaties en betrouwbaarheid op elk gewenst niveau (bijv. verschillende percentielen van latentie), in plaats van vast te zitten aan één vooraf bepaalde drempel.

4. Resultaten en Experimenten

De methode werd getest op drie verschillende domeinen:

Synthetische Data (Lineaire Regressie):
- PS-DME leverde consistent smalleren betrouwbaarheidsbanden op dan SS-DME.
- In scenario's met weinig data (scarce data) presteerde PS-DME aanzienlijk beter, terwijl SS-DME door de splitsing te conservatieve (brede) banden produceerde.
- De "naive" in-sample methode (zonder correctie) faalde in het controleren van de FCR, wat de noodzaak van de PS-DME correctie bevestigt.
LLM Decoding (Text-to-SQL):
- Toepassing op het Spider-benchmark met een Large Language Model (Qwen2.5-7B).
- Verschillende decoding-strategieën (greedy, Best-of-n, Iterative refinement) werden vergeleken.
- PS-DME stelde de gebruiker in staat om de beste configuratie te selecteren op basis van een gegarandeerde KPI (foutkans) over een reeks betrouwbaarheidsniveaus, met betere prestaties dan SS-DME.
Telecom Netwerkprestaties (O-RAN):
- Evaluatie van bufferbezettingsniveaus in een 5G-netwerk.
- PS-DME leverde sterkere garanties voor bufferbezettingsniveaus dan SS-DME, vooral in regimes met strenge betrouwbaarheidseisen (lage uitvalkansen).
- Experimenten toonden aan dat bij zeer beperkte data, data splitting (SS-DME) leidt tot onnodig conservatieve resultaten, terwijl PS-DME de volledige dataset optimaal benut.

5. Betekenis en Conclusie

Deze paper biedt een fundamentele doorbraak in de betrouwbare evaluatie van machine learning-modellen in real-world scenario's waar de optimale prestatiedrempel niet vooraf bekend is.

Praktische Impact: Het stelt ingenieurs en datawetenschappers in staat om modellen te vergelijken op basis van hun volledige prestatieverdeling (bijv. "hoe vaak overschrijdt de latentie 200ms?") zonder te hoeven kiezen tussen data-efficiëntie en statistische geldigheid.
Toekomstige Richtingen: Het werk opent de deur voor het uitbreiden van dit raamwerk naar multivariate prestatie-maatstaven en het integreren van deze verdelingsgaranties in downstream besluitvorming voor modeldeployments.

Kortom, PS-DME lost het dilemma op tussen het willen hergebruiken van data voor efficiëntie en het nodig hebben van strikte statistische correcties na selectie, en biedt een superieur alternatief voor traditionele data-splitting methoden.