Technische Samenvatting: Wel of niet selecteren: Predictief consistente priors in plaats van modelselectie

Probleemstelling

In Bayesiaanse modelleringsworkflows worden beoefenaars vaak geconfronteerd met een afweging tussen modelcomplexiteit en generaliseerbaarheid. De statistische folklore suggereert dat het selecteren van eenvoudigere modellen (parsimonie) noodzakelijk is om overfitting te voorkomen, met name in scenario's met beperkte hoeveelheden data. Echter, modelselectie zelf is een bron van instabiliteit en kan selectie-geïnduceerde bias introduceren, wat potentieel gunstig is voor modellen die overfitten of onderfitten, afhankelijk van de gebruikte criteria.

Het kernprobleem dat wordt aangepakt, is het bepalen wanneer modelselectie noodzakelijk is versus wanneer het onnodig of zelfs schadelijk is voor de voorspellende prestaties buiten de steekproef (out-of-sample). De auteurs onderzoeken of de vermeende noodzaak om eenvoudigere modellen te selecteren voortkomt uit de modelstructuur zelf, of uit slechte prior-specificaties die niet langer zinvol blijven naarmate de modelcomplexiteit toeneemt. Specifiek onderzoeken zij hoe de keuze van priors de stabiliteit van de voorspellende prestaties beïnvloedt bij het toevoegen van covariaten of het vergroten van de niet-lineaire complexiteit.

Methodologie

Theoretisch Kader

Het artikel formaliseert het concept van predictief consistente priors. De auteurs definiëren een sequentie van geneste modellen $\{M_d\}$ met toenemende complexiteit $d$ (bijv. aantal predictoren of basisfuncties). Zij introduceren twee belangrijke eigenschappen voor priors in deze sequentie:

1. Tweede-orde Predictieve Consistentie: Een prior-sequentie is predictief consistent als de variantie van de geïnduceerde signaalverdeling (de systematische component $\eta_d$) globaal begrensd blijft en convergeert naar een eindige limiet naarmate $d \to \infty$. Formeel: $\sup_{d} \text{Var}_{q_d}(\eta_d) \leq C$ en $\lim_{d \to \infty} \text{Var}_{q_d}(\eta_d) = L$. Dit zorgt ervoor dat het toevoegen van modelcomponenten niet leidt tot een explosie of een onzinnige prior-predictieve distributie.
2. Predictieve Parsimonie: Een zwakkere conditie die vereist dat de Kullback-Leibler (KL) divergentie tussen opeenvolgende geïnduceerde signaalverdelingen optelbaar is. De auteurs tonen aan dat predictieve parsimonie alleen onvoldoende is om variantie-explosie te voorkomen (bijv. onafhankelijke normale priors voldoen aan parsimonie maar falen op consistentie).

De auteurs contrasteren dit met standaard onafhankelijke normale priors (bijv. $\beta_j \sim \mathcal{N}(0, \tau^2)$), die zij laten zien vaak de predictieve consistentie te schenden omdat de totale signaalvariantie lineair groeit met het aantal predictoren ($d\tau^2$), wat leidt tot onwaarschijnlijke prior-predictieve distributies.

Experimenteel Ontwerp

De auteurs evalueren deze concepten via vier experimentele settings met gesimuleerde data:

1. Toevoegen van Covariaten in Logistische Regressie: Een dicht regime waarin het werkelijke datagenererende proces (DGP) alle covariaten bevat. Zij vergelijken onafhankelijke normale priors met R2D2-priors (die een prior plaatsen op de Bayesiaanse $R^2$).
2. Forward Stepwise Selection: Een spaars regime waar slechts een subset van de covariaten relevant is. Zij vergelijken forward selectie met onafhankelijke normale priors tegenover R2D2-priors, naast projectieve predictieve inferentie (projpred).
3. Toenemende Niet-lineaire Complexiteit: Een setting met één predictor waarbij het polynomiale graad of de basisfuncties toenemen (ruwe polynomen, orthogonale polynomen, thin plate splines en Hilbert Space Approximate Gaussian Processes).
4. Gerandomiseerde Gecontroleerde Onderzoeken (RCT's): Een causale inferentie-setting waarbij behandelingseffecten worden geschat terwijl wordt geconditioneerd op hoog-dimensionale covariaten. Zij vergelijken gezamenlijke priors (R2D2 over alle coëfficiënten) met gesplitste priors (R2D2 voor covariaten, onafhankelijke normale prior voor de behandeling).

Prestaties worden gemeten via de Expected Log Predictive Density (elpd) op onafhankelijke testdata, geschat via PSIS-LOO-CV wanneer testdata niet beschikbaar is.

Belangrijkste Bijdragen

1. Formalisering van Predictief Consistente Priors: Het artikel biedt een rigoureuze wiskundige definitie voor priors die stabiele voorspellende implicaties behouden naarmate de modelcomplexiteit groeit. Het onderscheidt "parsimonie" (het straffen van complexiteit) van "predictieve consistentie" (het controleren van de schaal van de prior-predictieve distributie).
2. Demonstratie van Schadelijke Selectie: De auteurs tonen aan dat wanneer men predictief consistente priors gebruikt, het selecteren van een eenvoudiger model vaak onnodig is. In veel experimenten evenaart of overtreft het volledige complexe model met een consistente prior de geselecteerde eenvoudigere modellen. Omgekeerd, wanneer modelselectie lijkt te "helpen" (d.w.z. een eenvoudiger model presteert beter), is dit vaak een indicatie dat de prior op het complexe model slecht gespecificeerd was (bijv. door te veel massa te plaatsen op onwaarschijnlijke waarden), in plaats van dat de modelstructuur inherent gebrekkig is.
3. R2D2 en Function-Space Priors als Oplossingen: De auteurs operationaliseren predictieve consistentie via:
   • R2D2 Priors: Door een prior te plaatsen op de verklaarde variantie ($R^2$), schaalt de geïnduceerde prior op coëfficiënten automatisch om variantie-explosie te voorkomen wanneer er meer predictoren worden toegevoegd.
   • Function-Space Priors: Gaussian processes en penalised splines blijken van nature aan predictieve consistentie te voldoen door de marginale variantie van de functie te begrenzen.
4. Implicaties voor Causale Inferentie: In de RCT-setting onthult het paper dat een gezamenlijke R2D2-prior een bias kan introduceren in de schatting van het behandelingseffect naarmate het aantal covariaten ($p$) toeneemt, door overmatige shrinkage van de behandelingscoëfficiënt. Dit benadrukt dat hoewel predictieve consistentie cruciaal is voor voorspelling, causale inferentie gesplitste priors vereist om onbedoelde shrinkage op specifieke parameters van belang te vermijden.

Resultaten

• Lineaire en Logistische Regressie: In experimenten waarbij covariaten werden toegevoegd, vertoonden modellen met onafhankelijke normale priors een scherpe daling in de out-of-sample voorspellende prestaties (elpd) naarmate het aantal predictoren toenam, vanwege de exploderende prior-variantie. In contrast hiermee behielden modellen met R2D2-priors een stabiele prestatie tot de omvang van het ware model.
• Forward Selection: Bij het gebruik van onafhankelijke normale priors stopte forward selectie vaak vroegtijdig om overfitting te voorkomen, maar de resulterende modellen presteerden nog steeds minder goed dan het volledige model met een R2D2-prior. De R2D2-prior maakte het mogelijk om alle covariaten te gebruiken zonder prestatieverlies.
• Niet-lineaire Modellering: Rauwe polynoomregressie met onafhankelijke priors vertoonde een exploderende prior-predictieve variantie en verslechterende testprestaties bij hogere graden. Penalised thin plate splines en HSGPs (die predictief consistent zijn) bleven stabiel.
• Causale Inferentie: In de RCT-experiment werd de gezamenlijke R2D2-prior geconfronteerd met een ernstige neerwaartse bias in de geschatte behandelingseffect naarmate het aantal covariaten ($p$) toenam, wat leidde tot slechte dekking (coverage). De "gesplitste" prior (R2D2 voor covariaten, vaste normale voor de behandeling) bereikte de beste balans door variantiereductie van de covariaten te bieden zonder bias te introduceren.

Betekenis en Claims

Het artikel betoogt dat de traditionele afhankelijkheid van modelselectie om complexiteit te beheersen vaak een workaround is voor een slechte prior-specificatie. De auteurs claimen dat predictief consistente priors modellereerders in staat stellen om veilig modellen uit te breiden met alle beschikbare informatie zonder angst voor overfitting, mits de priors gespecificeerd zijn om de prior-predictieve distributie zinvol te houden.

Belangrijke lessen voor de praktijk zijn:

• Gezamenlijke Prior Specificatie: Onafhankelijkheidsaannames tussen modelcomponenten zijn geen veilige standaard; ze kunnen zeer informatieve en onrealistische gezamenlijke priors impliceren.
• Prior Predictive Checks: Het controleren van gezamenlijke grootheden (zoals de prior $R^2$) is essentieel om te detecteren wanneer priors te veel massa op onzinnige waarden leggen.
• Heroverweging van Selectie: Als modelselectie een eenvoudiger model bevoordeelt, kan dit een indicatie zijn van een slechte prior op het complexe model, in plaats van een werkelijke behoefte aan parsimonie.
• Context Is Cruciaal: Hoewel predictieve consistentie vitaal is voor voorspelling, vereist causale inferentie een zorgvuldige overweging van welke parameters moeten worden ingekrompen (shrinkage). Een gezamenlijke prior die predictief consistent is voor de uitkomst, kan nog steeds biased zijn voor specifieke causale parameters.

De auteurs concluderen dat het doel moet zijn om priors te specificeren die zinvol blijven in de voorspellende ruimte naarmate modellen complexer worden, in plaats van parsimonie af te dwingen op componentniveau via selectie. Deze aanpak ondersteunt veiligere en iteratieve workflows voor modeluitbreiding.