📊 statistics

Robust model selection using likelihood as data

Deze paper introduceert een robuuste methode voor modelselectie die de onzekerheid over de benadering van de ware data-genererende proces kwantificeert door de likelihood-waarden zelf te modelleren als een multivariate normale verdeling, zelfs wanneer het ware proces niet in de set van kandidaat-modellen zit.

Oorspronkelijke auteurs: Jongwoo Choi, Neil A. Spencer, Jeffrey W. Miller

Gepubliceerd 2026-03-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jongwoo Choi, Neil A. Spencer, Jeffrey W. Miller

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Perfecte" Kaart bestaat niet

Stel je voor dat je op zoek bent naar de beste route door een onbekend landschap. Je hebt een map met tien verschillende kaarten (de modellen).

Kaart A is heel gedetailleerd, maar misschien te ingewikkeld.
Kaart B is heel simpel, maar mist belangrijke wegen.
Kaart C ziet er goed uit, maar is misschien net iets te ver weg van de werkelijkheid.

Het probleem is: De echte wereld (de "True Data-Generating Process") staat niet op één van deze kaarten. Alle kaarten zijn imperfect. Ze zijn allemaal "misspecified" (foutief).

De traditionele methoden om de beste kaart te kiezen (zoals AIC, BIC of Bayesiaanse methoden) doen alsof er één perfecte kaart is. Ze proberen de kaart te vinden die het dichtst bij de waarheid ligt. Maar als alle kaarten fout zijn, worden deze methoden vaak gek. Ze kiezen steeds complexere kaarten, zelfs als een simpele kaart bijna net zo goed werkt, of ze worden onstabiel als twee kaarten even goed lijken. Ze kunnen je niet vertellen: "Hoeveel beter is deze kaart dan die ene?" of "Is dit verschil wel significant, of is het toeval?"

De Oplossing: "Likelihood als Data" (De Waarde van de Kaart)

De auteurs van dit paper, Jongwoo Choi, Neil Spencer en Jeffrey Miller, hebben een slimme nieuwe aanpak bedacht: Likelihood as Data (LaD).

In plaats van te kijken naar de kaarten zelf, kijken ze naar de fouten die elke kaart maakt op elk punt in het landschap.

Stel, je hebt 4000 punten (bijvoorbeeld de snelheid van 4000 sterrenstelsels).
Voor elk punt bereken je: "Hoe ver zit Kaart A van de werkelijkheid af? Hoe ver Kaart B? Hoe ver Kaart C?"
In plaats van één getal per kaart te nemen (zoals een gemiddelde), houden ze alle die fouten voor elk punt apart bij.

Ze behandelen deze lijst van fouten niet als een statistisch middel, maar als data op zich. Het is alsof je niet kijkt naar de gemiddelde snelheid van een auto, maar naar de snelheid op elk milliseconde, om te zien hoe de auto zich echt gedraagt.

De Creatieve Analogie: De Smaaktest

Laten we dit vertalen naar een smaaktest.

Stel je hebt 10 verschillende recepten voor een soep (de modellen). Je wilt weten welk recept het dichtst bij de "perfecte soep" (de waarheid) komt. Maar de perfecte soep bestaat niet; je hebt alleen de recepten.

De Oude Methode: Je proeft een lepel van elke soep, rekent de gemiddelde smaak uit en kiest de winnaar. Als twee soepen bijna even goed zijn, wordt de winnaar willekeurig gekozen, of wordt er gekozen voor het recept met de meeste ingrediënten (complexiteit), zelfs als het niet veel lekkerder is.
De Nieuwe Methode (LaD): Je geeft aan 4000 mensen elk een lepel van elke soep. Vervolgens vraag je aan elke persoon: "Hoe goed smaakte dit?"
- Je hebt nu 4000 rijen met 10 scores (één score per persoon per soep).
- Je analyseert deze matrix van scores. Je kijkt niet alleen naar het gemiddelde, maar naar de onzekerheid.
- Je ziet bijvoorbeeld: "Recept 3 is gemiddeld iets beter dan Recept 4, maar de scores van Recept 3 variëren enorm. Recept 4 is iets minder goed, maar heel consistent."

Wat levert dit op?

Met deze methode kunnen ze drie dingen doen die de oude methoden niet kunnen:

Onzekerheid kwantificeren: Ze kunnen zeggen: "Recept 3 is waarschijnlijk beter, maar er is een 20% kans dat Recept 4 net zo goed is."
De "Goed Genoeg" Zone vinden: Ze introduceren een begrip genaamd tolerantie ( $\delta$ ).
- Vraag: "Is Recept 3 zo veel beter dan Recept 2 dat we de extra ingrediënten (complexiteit) waarderen?"
- Als het verschil klein is, kiezen ze voor Recept 2 (simpel en goed genoeg).
- Als het verschil groot is, kiezen ze voor Recept 3.
- Dit voorkomt dat ze kiezen voor een super-complex recept dat nauwelijks beter smaakt.
Stabiliteit bij gelijke stand: Als twee recepten precies even goed zijn, kiezen ze niet willekeurig. Ze geven beide een eerlijke kans, in plaats van dat de ene willekeurig de winnaar wordt door een klein meetfoutje.

Hoe werkt het technisch (in het kort)?

Ze nemen de "negatieve log-likelihood" (een maat voor hoe slecht een model past) voor elke data-punt.
Ze behandelen deze waarden als een dataset.
Ze passen een statistisch model toe (een Bayesiaans model) om de verdeling van deze waarden te schatten.
Ze berekenen een SLC-score (Smooth LaD Criterion). Dit is een soort "vertrouwensscore" die rekening houdt met zowel de kwaliteit van de fit als de complexiteit van het model.

Waarom is dit belangrijk?

In de echte wereld zijn de meeste modellen niet perfect. Of het nu gaat om het voorspellen van de groei van bacteriën, het begrijpen van de genetica van forenzen, of het tellen van sterrenstelsels: de waarheid is complex en onze modellen zijn altijd een vereenvoudiging.

Deze nieuwe methode zegt: "Laten we niet doen alsof we de waarheid hebben gevonden. Laten we eerlijk kijken hoe goed onze benaderingen zijn, hoe zeker we daarover zijn, en of de extra complexiteit het waard is."

Het is alsof je stopt met zoeken naar de "enige juiste kaart" en begint met het maken van een vergelijkende gids die je vertelt welke route het meest betrouwbaar is, zelfs als geen enkele route perfect is.

Kortom: Het is een manier om modellen te kiezen die niet alleen "de winnaar" aanwijzen, maar je een eerlijk, robuust en begrijpelijk advies geeft over de kwaliteit van je keuzes, zelfs als je weet dat je geen van de opties perfect is.

Titel: Robuuste modelselectie met likelihood als data

Auteurs: Jongwoo Choi, Neil A. Spencer, en Jeffrey W. Miller

1. Het Probleem

Modelselectie is een fundamentele taak in de statistiek, waarbij het doel is om het beste model te kiezen uit een reeks kandidaten. Traditionele methoden, zoals het Akaike Informatiecriterium (AIC), het Bayesiaanse Informatiecriterium (BIC) en standaard Bayesiaanse posteriors, hebben echter ernstige beperkingen in realistische scenario's:

Modelmisspecificatie: In de praktijk is het "ware" data-genererende proces (DGP) zelden exact aanwezig in de set van kandidaatmodellen. Alle modellen zijn dan per definitie misspecificaties.
Gebrek aan onzekerheidskwantificering: Bestaande methoden schatten welk model het dichtst bij de waarheid ligt (gemeten via Kullback-Leibler (KL) divergentie), maar kwantificeren niet de onzekerheid rondom deze schattingen. Ze geven geen inzicht in hoe goed een model de waarheid benadert.
Instabiliteit bij gelijke prestaties: Wanneer meerdere modellen een vergelijkbare KL-divergentie hebben (ties), concentreren standaard methoden zich vaak willekeurig op één model of worden ze zeer instabiel, zelfs bij grote steekproefgroottes.
Drift naar complexiteit: Onder misspecificatie neigen methoden zoals AIC, BIC en Bayesiaanse posteriors ernaar om steeds complexere modellen te selecteren naarmate de steekproefgrootte ( $n$ ) toeneemt, zelfs als een simpeler model bijna net zo goed presteert.

2. Methodologie: "Likelihood as Data" (LaD)

De auteurs introduceren een nieuw raamwerk genaamd Likelihood as Data (LaD). De kernidee is om de waarden van de negatieve log-likelihood niet alleen als een criterium te gebruiken, maar deze op te vatten als de data zelf die geanalyseerd moet worden.

De kernstappen:

Data-matrix constructie: Voor $n$ observaties en $K$ kandidaatmodellen wordt een $n \times K$ matrix $Z$ gecreëerd, waarbij $Z_{ik} = -\log(f_k(X_i))$ de negatieve log-likelihood is voor observatie $i$ onder model $k$ .
Statistische interpretatie: De verwachtingswaarde van elke rij in deze matrix, $\mu_k = E[Z_{ik}]$ $μ_{k} = E [Z_{ik}]$ , is gelijk aan de KL-divergentie tussen het ware DGP en model $k$ $k$ , plus een constante (de entropie van het ware DGP).
- $\mu_k = D(f_0 || f_k) + H(f_0)$ .
Bayesiaanse modellering: In plaats van alleen het gemiddelde te nemen, modelleren de auteurs de vectoren $Z_i$ $Z_{i}$ als onafhankelijke en identiek verdeelde (i.i.d.) trekkingen uit een multivariate normale verdeling $N(\mu, \Sigma)$ $N (μ, Σ)$ .
- Ze plaatsen een Normal-Inverse-Wishart (NIW) prior op de onbekende mean-vector $\mu$ en de covariantiematrix $\Sigma$ .
- Dit maakt het mogelijk om de volledige posterieure verdeling van $\mu$ te berekenen, wat onzekerheid kwantificeert over de relatieve afstanden van alle modellen tot de waarheid.
Correctie voor overfitting: Omdat parameters ( $\theta_k$ ) worden geschat op dezelfde data, is de gemiddelde log-likelihood naar beneden bevooroordeeld (overfitting). De auteurs passen een bias-correctie toe gebaseerd op de asymptotische verdeling van de likelihood-ratio test (vergelijkbaar met AIC-correcties), waarbij een term $d_k/(2n)$ wordt toegevoegd (waarbij $d_k$ het aantal parameters is).
Robuuste selectie-criteria (SLC):
- $\delta$ -optimaliteit: Een model wordt als "voldoende goed" beschouwd als zijn KL-divergentie binnen een tolerantie $\delta$ ligt van de minimale KL-divergentie.
- Complexiteit: Binnen de set van $\delta$ -optimale modellen wordt de model met de laagste complexiteit ( $c(k)$ ) geprioriteerd.
- Smooth LaD Criterion (SLC): Om instabiliteit bij "ties" (meerdere modellen met dezelfde beste fit) te voorkomen, gebruiken de auteurs een "zachte" selectiefunctie in plaats van een harde minimum. De SLC-score combineert de kans dat een model de minimale complexiteit heeft binnen de $\delta$ -optimale set, met een gewogen score voor de fit binnen die complexiteitsklasse.

3. Belangrijkste Bijdragen

Nieuw Raamwerk: De introductie van "Likelihood as Data", waarbij likelihood-waarden direct worden gemodelleerd als data-punten om onzekerheid in KL-divergenties te kwantificeren.
Robuustheid: De methode vereist geen aanname dat een van de kandidaatmodellen correct is. Het is volledig robuust tegen misspecificatie.
Theoretische garanties: De auteurs bewijzen dat de SLC-score asymptotisch consistent is. Dit betekent dat naarmate $n \to \infty$ , de methode met waarschijnlijkheid 1 het juiste set van modellen selecteert (de eenvoudigste modellen binnen de $\delta$ -tolerantie).
Stabiliteit bij Ties: In tegenstelling tot traditionele Bayesiaanse posteriors die willekeurig kiezen tussen gelijkwaardige modellen, blijft de LaD-methode stabiel en verdeelt de "score" eerlijk over de tied-modellen.
Interpreteerbare Tolerantie: Door een "ruis-model" (noise model) toe te voegen, kunnen de auteurs de tolerantie $\delta$ herschalen naar een interpreteerbare schaal ( $\tau$ ), die aangeeft welk percentage van de verklaarbare informatie men bereid is op te offeren voor eenvoud.

4. Resultaten en Empirische Demonstraties

De methode werd getest op diverse datasets en simulaties:

Gaussische Mixtuermodellen (Shapley Galaxy Data): Traditionele methoden (AIC, BIC, standaard Bayes) bleven bij toenemende steekproefgrootte drift naar steeds complexere modellen (hoger aantal componenten). LaD stabiliseerde echter en selecteerde een redelijk complex model dat de data goed benaderde, met duidelijke onzekerheidsintervallen.
Sparse Multivariate Normale Modellen: In simulaties waar meerdere modellen even goed waren (ties), presteerde de "zachte" LaD-methode (LaD-soft) significant beter dan methoden met een "harde" selectie of coarsened posteriors. LaD-soft gaf de tied-modellen gelijke scores, terwijl andere methoden willekeurig één model kozen.
Thermische Prestatiecurves (Microbiële Ecologie): Bij het kiezen van modellen voor groeisnelheid in functie van temperatuur, toonde LaD aan dat complexere modellen (7 parameters) niet noodzakelijk beter waren dan eenvoudigere (3-4 parameters) binnen een redelijke tolerantie.
Populatiestructuur (Admixing): Bij het bepalen van het aantal populaties in genetische data (brook trout), gaf de populaire "Evanno-methode" (gebruikt in software STRUCTURE) een resultaat ( $k=2$ ) dat volgens LaD niet de beste balans bood tussen complexiteit en fit. LaD toonde aan dat $k=1$ bijna net zo goed was en $k=4$ nodig was voor een significante verbetering.

5. Betekenis en Conclusie

Dit artikel biedt een fundamentele verschuiving in hoe statistici omgaan met modelselectie onder misspecificatie.

Praktische Toepasbaarheid: De methode is eenvoudig te berekenen (gebaseerd op Monte Carlo simulaties van een NIW-posterior) en vereist geen complexe MCMC-over de modelruimte zelf.
Betrouwbaarheid: Het biedt gecalibreerde inferenties, wat betekent dat de onzekerheidsschattingen betrouwbaar zijn, zelfs als de modellen fout zijn.
Besluitvorming: Het stelt onderzoekers in staat om een bewuste afweging te maken tussen modelcomplexiteit en fit, gebaseerd op een kwantitatieve tolerantie ( $\delta$ of $\tau$ ), in plaats van blind te vertrouwen op criteria die vaak leiden tot overfitting of instabiliteit.

Kortom, "Likelihood as Data" is een krachtige, theoretisch onderbouwde en robuuste oplossing voor het probleem van het kiezen van het juiste model in een wereld waar geen enkel model perfect is.