📊 statistics

Objective Model Prior Probabilities in Variable Selection

Dit artikel bespreekt de beperkingen van gelijke en Jeffreys-priori-kansen voor modelselectie en introduceert en onderzoekt nieuwe objectieve alternatieven voor het toekennen van prior-kansen aan modellen.

Oorspronkelijke auteurs: James Berger, Gonzalo García-Donato, Elías Moreno, Luis Pericchi

Gepubliceerd 2026-03-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: James Berger, Gonzalo García-Donato, Elías Moreno, Luis Pericchi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een groot mysterie probeert op te lossen. Je hebt een tas vol met 100 mogelijke verdachten (variabelen). Je weet dat er een paar echte daders zijn, maar je weet niet wie. Je taak is om de juiste groep verdachten te vinden die samen het misdadige complot vormen.

In de statistiek noemen we dit variabele selectie. De vraag is: hoe geef je elke mogelijke combinatie van verdachten een eerlijke kans voordat je de feiten (de data) hebt onderzocht? Dit noemen we een "prior" (voorafgaande kans).

Dit artikel van Berger en collega's is een discussie over de beste manier om die eerlijke kansen te verdelen. Ze zeggen: "De oude methodes werken niet goed, en de nieuwe 'populaire' methode heeft ook een groot gebrek."

Hier is de uitleg in simpele taal, met wat creatieve vergelijkingen:

1. Het probleem met de oude methodes

De "Gelijkheids-methode" (Uniform Prior)
Stel je voor dat je zegt: "Elke mogelijke groep verdachten heeft evenveel kans."

Het probleem: Als je 100 mensen hebt, zijn er meer manieren om een groep van 50 mensen te vormen dan een groep van 1 of een groep van 100. Door elke groep even zwaar te wegen, geef je per ongeluk een enorme kans aan groepen met precies de helft van de mensen (bijv. 50 daders).
De analogie: Het is alsof je denkt dat het net zo waarschijnlijk is dat er één dader is als dat er 50 daders zijn. In werkelijkheid (en in de biologie of geneeskunde) zijn er meestal maar een paar echte daders. Deze methode leidt tot te grote, rommelige modellen.

De "Jeffreys-methode" (De populaire vervanger)
Om het probleem van de grote groepen op te lossen, stelde de wiskundige Harold Jeffreys voor: "Laten we eerst beslissen hoeveel daders er zijn (bijv. 0, 1, 2... tot 100). Geef elke 'aantal-daders'-groep evenveel kans (1 op 101). Verdeel die kans dan gelijk over alle mogelijke groepen binnen dat aantal."

Het probleem: Dit klinkt eerlijk, maar het heeft een vreemd effect. Het geeft de nul-dader-groep (niemand is schuldig) precies evenveel kans als de 100-dader-groep (iedereen is schuldig).
De analogie: Het is alsof je in een rechtszaak zegt: "De kans dat de verdachte onschuldig is, is precies even groot als de kans dat iedereen in de stad de dader is." In de echte wereld geloven we dat er meestal een paar schuldigen zijn, niet dat iedereen schuldig is. In een studie over obesitas (overgewicht) leidde deze methode tot het absurde resultaat dat het beste model alle 47 mogelijke factoren bevatte. Dat is onzin; er zijn niet 47 oorzaken voor overgewicht.

2. De zoektocht naar het "Gouden Middel"

De auteurs zoeken een methode die parsimonie toepast. Dat is een moeilijke term voor: "Houd het simpel."

Te simpel: Je denkt dat er maar 1 dader is, terwijl er 5 zijn.
Te complex: Je denkt dat er 50 daders zijn, terwijl er maar 5 zijn.
Het doel: Een methode die de kans op enorme groepen (te complex) verkleint, maar niet zo extreem dat hij kleine groepen (te simpel) negeert.

Ze testen zes nieuwe manieren om de kansen te verdelen:

De Harmonische methode: Geeft iets minder kans naarmate de groep groter wordt. Het is een zachte daling.
- Resultaat: Werkt goed, maar in het overgewicht-experiment faalde het weer en koos het voor de te grote groep.
De "Half-p" en "Half-k" methoden: Deze zeggen: "We geloven niet dat meer dan de helft van de variabelen belangrijk is." Ze stoppen de kans op grote groepen abrupt.
- Resultaat: Ze zijn heel streng (ze "doden" grote modellen), wat misschien te streng is, maar ze voorkomen wel dat je in de valkuil van de Jeffreys-methode trapt.
De Beta en Hiërarchische methoden: Dit zijn slimme wiskundige trucs die een "gemiddelde" waarschijnlijkheid gebruiken. Ze geven kleine groepen een beetje meer kans dan grote groepen, maar laten de deur nog een klein kiertje open voor grote groepen.
- Resultaat: Dit lijkt de beste balans te zijn. Ze zijn niet te streng, maar ze vermijden wel de gekke resultaten van de oude methodes.

3. De conclusie: Wat moeten we doen?

De auteurs zeggen: "Er is geen perfecte oplossing, maar hier is wat we hebben geleerd."

Vergeet de oude methodes: Gebruik niet de "Gelijkheids-methode" (te rommelig) en niet de "Jeffreys-methode" (geeft te veel kans aan extreme situaties).
De winnaars:
- Als je wilt dat je model niet te groot wordt, maar je wilt ook niet te streng zijn, zijn de Beta(1,2) en Hiërarchische Beta methoden de beste keuze. Ze zijn als een ervaren detective die zegt: "Waarschijnlijk zijn er een paar daders, maar we sluiten niemand uit zonder goed bewijs."
- Als je extreem streng wilt zijn (bijvoorbeeld als je zeker weet dat er maar heel weinig daders zijn), kun je de Half-p methode gebruiken.
- De Harmonische methode is ook mooi, maar in dit specifieke geval (overgewicht) werkte hij niet goed genoeg.

Samenvattend in één zin:
Het kiezen van de juiste "voorafgaande kans" in statistiek is als het kiezen van de juiste bril om te kijken; de oude brillen maakten alles te vaag of te scherp, maar de nieuwe brillen (zoals de Hiërarchische Beta) geven je een scherp beeld van de werkelijkheid zonder je te laten zien wat er niet is.

Titel: Objectieve Model Priori-kansen bij Variabele Selectie

Auteurs: James Berger, Gonzalo García-Donato, Elias Moreno en Luis Pericchi.
Datum: 23 maart 2026 (voorgesteld in de tekst).

1. Probleemstelling

In de Bayesiaanse modelonzekerheidsanalyse is het decennialang gebruikelijk geweest om gelijke priori-kansen toe te kennen aan alle mogelijke modellen (Uniforme prior). Bij een set van $k$ potentiële variabelen zijn er $2^k$ mogelijke modellen. De uniforme prior geeft elk model een kans van $2^{-k}$ .

Het artikel identificeert twee fundamentele problemen met deze aanpak en de daaropvolgende populaire alternatieven:

Gebrek aan parsimonie (spaarzaamheid): Bij grote $k$ (bijvoorbeeld in genomica met miljoenen genen) impliceert de uniforme prior dat modellen met ongeveer $k/2$ variabelen de hoogste priori-kans hebben. Dit leidt tot het selecteren van veel te grote modellen die niet overeenkomen met wetenschappelijke verwachtingen.
Problemen met de Jeffreys-prior: Als reactie op de uniforme prior werd de aanbeveling van Harold Jeffreys populair. Hierbij krijgt elke mogelijke modelgrootte $d$ $d$ ( $d=0, \dots, k$ $d = 0, \dots, k$ ) een totale priori-kans van $1/(k+1)$ $1/ (k + 1)$ , die gelijk wordt verdeeld over alle modellen van die grootte.
- Kritiek: Hoewel dit multiplicitätscontrole biedt, geeft de Jeffreys-prior de nulmodel (geen variabelen) en het volledige model (alle variabelen) exact dezelfde priori-kans ( $1/(k+1)$ ). In veel toepassingen (zoals een studie over baby-obesiteit met 47 variabelen) leidt dit ertoe dat het volledige model de hoogste posteriori-kans krijgt, wat in strijd is met wetenschappelijke intuïtie en het principe van parsimonie.

Het doel van het artikel is het introduceren en evalueren van nieuwe, objectieve alternatieven voor model priori-kansen die een noodzakelijke mate van parsimonie inbouwen zonder te extreem te zijn.

2. Methodologie

A. Statistisch Kader

Het artikel focust op variabele selectie in het algemene lineaire model.

Gegeven: $k$ potentiële variabelen en een vector $\gamma$ die aangeeft welke variabelen in het model zitten.
Benadering: De auteurs gebruiken intrinsieke priors (afgeleid uit [1]) voor de modelparameters om Bayes-factoren te berekenen.
Berekening: De posteriori-kans van een model $M_\gamma$ is evenredig met de Bayes-factor $B_\gamma$ vermenigvuldigd met de model priori-kans $Pr(M_\gamma)$ .
$Pr(M_\gamma | y) \propto B_\gamma Pr(M_\gamma)$

B. Onderzochte Priori-keuzes

Naast de Uniforme en Jeffreys-prior, worden zes nieuwe of bestaande alternatieven geanalyseerd:

Harmonische prior: Geeft prior-kans evenredig aan $(1+d)^{-1}$ voor modellen van grootte $d$ . Dit daalt zeer langzaam.
CMG-prior: Gebaseerd op een Poisson-verdeling voor de modelgrootte, gemengd met een intrinsieke prior op de parameter $\lambda$ .
Half-p Jeffreys prior: Neemt aan dat de inclusiekans $p$ uniform verdeeld is op $[0, 0.5]$ in plaats van $[0, 1]$ .
Half-k Jeffreys prior: Een gladgemaakte versie waarbij modellen tot grootte $k/2$ de Jeffreys-verdeling volgen, en grotere modellen een aangepaste, lagere kans krijgen om discontinuïteiten te voorkomen.
Beta(1, 2) prior: Een eenvoudige keuze waarbij $p \sim Beta(1, 2)$ , wat leidt tot een lineair afnemende kans op modelgrootte.
Hiërarchische Beta prior: Een hiërarchisch model waarbij de parameter $\alpha$ van de Beta-verdeling zelf een prior heeft ( $\pi(\alpha) \propto \alpha^{-3/2}$ ).

C. Evaluatiemethoden

De auteurs vergelijken deze priors op twee manieren:

Numeriek:
- Gebruik van het R-pakket BayesVarSel en leaps.
- Toepassing op een dataset met 47 variabelen (obesiteitsstudie).
- Analyse van:
  - Posteriori inclusiekansen voor individuele variabelen.
  - Het Highest Posteriori Model (HPM): het model met de hoogste totale kans.
  - Het Median Probability Model (MPM): het model bestaande uit variabelen met een posteriori inclusiekans > 0.5.
Theoretisch:
- Analyse van de totale priori-kans per modelgrootte $M(d)$ .
- Analyse van de priori-kans dat een willekeurige variabele wordt opgenomen ( $Pr(x_j)$ ).
- Onderzoek naar asymptotisch gedrag voor grote $k$ .

3. Belangrijkste Resultaten

Numerieke Bevindingen (Obesiteitsvoorbeeld)

Uniform & Jeffreys: Bevestigen de problemen. De Uniforme prior leidt tot hoge kansen voor grote modellen. De Jeffreys prior (en ook de Harmonische prior) resulteert in het volledige model als het HPM, wat onwenselijk is.
CMG-prior: Is te streng (te parsimonieus). Het "doodt" vrijwel alle modellen met meer dan 14 variabelen en leidt tot zeer lage inclusiekansen.
Half-p & Half-k: Deze priors zijn zeer streng en elimineren modellen groter dan 34 variabelen. Ze voldoen aan strikte parsimonie, maar zijn mogelijk te restrictief.
Beta(1, 2) & Hiërarchische Beta: Presteren het meest evenwichtig. Ze leiden tot kleinere, meer realistische modellen (8-12 variabelen) en zijn stabiel.
MPM vs. HPM: Een cruciale observatie is dat het Median Probability Model (MPM) zeer stabiel blijft over verschillende priori-keuzes (behalve bij CMG), terwijl het HPM sterk varieert. Dit ondersteunt eerdere literatuur die de voorkeur geeft aan het MPM boven het HPM.

Theoretische Bevindingen

Parsimonie: De Uniforme en Jeffreys priors falen in het opleggen van voldoende parsimonie. De CMG-prior is te extreem.
Inclusiekans per variabele:
- Uniform/Jeffreys: $Pr(x_j) = 0.5$ (te hoog).
- Beta(1,2): $Pr(x_j) = 1/3$ .
- Hiërarchische Beta: $Pr(x_j) \approx 0.22$ .
- Harmonische & CMG: De prior inclusiekans daalt naarmate $k$ toeneemt. Dit wordt gezien als een eigenschap die geschikt is als men "ruis" (junk variables) in de dataset heeft, maar minder geschikt als alle variabelen van wetenschappelijk belang zijn.
Asymptotisch gedrag: Voor grote $k$ geven de Hiërarchische en Harmonische priors vergelijkbaar gewicht aan het volledige model, terwijl de CMG-prior dit gewicht drastisch verlaagt.

4. Bijdragen en Conclusies

Het artikel levert een kritische bijdrage aan de Bayesiaanse statistiek door aan te tonen dat er geen "one-size-fits-all" objectieve prior bestaat, maar dat de keuze afhankelijk is van de context en de gewenste mate van parsimonie.

Samenvatting van de aanbevelingen:

Afwijzing: De Uniforme en Jeffreys priors worden afgekeurd als ongeschikt voor variabele selectie bij grote $k$ vanwege gebrek aan parsimonie.
Te streng: De CMG-prior is te parsimonieus om als "objectief" te worden beschouwd in veel scenario's.
Aanbevolen opties:
- Harmonische prior: Heeft mooie eigenschappen, maar faalde in het obesiteitsvoorbeeld (te weinig parsimonie). Geschikt als dalende prior inclusiekansen gewenst zijn.
- Half-p prior: Zeer eenvoudig en voldoet aan strikte parsimonie, maar kan te agressief zijn (doodt grote modellen).
- Beta(1, 2) en Hiërarchische Beta: Deze presteren het beste in de balans tussen parsimonie en objectiviteit.
  - De Hiërarchische Beta geeft meer gewicht aan kleine modellen.
  - De Beta(1, 2) is aantrekkelijk vanwege zijn eenvoud en goede prestaties.

Significantie:
Het artikel biedt een gestructureerd kader voor onderzoekers om een objectieve prior te kiezen die niet alleen wiskundig zuiver is, maar ook praktisch bruikbaar in moderne, hoog-dimensionale data-analyses (zoals genomica). Het benadrukt dat "objectiviteit" in dit domein betekent het minimaliseren van subjectieve bias, maar wel met een noodzakelijke, minimale straal van parsimonie om overfitting te voorkomen. De stabiliteit van het Median Probability Model (MPM) wordt bevestigd als een robuuste strategie voor modelselectie.