Introducing RobustiPy: An efficient next generation multiversal library with model selection, averaging, resampling, and explainable artificial intelligence

Dit paper introduceert RobustiPy, een open-source Python-bibliotheek die wetenschappelijke inferentie verbetert door multiversum-analyse, modelonzekerheid en uitlegbare AI te verenigen in een efficiënt, reproduceerbaar framework dat de transparantie en robuustheid van empirisch onderzoek verhoogt.

De kern

Wat is RobustiPy? De "Super-Keuken" voor Data-onderzoek

Stel je voor dat onderzoekers als kokken zijn in een gigantische keuken. Hun doel is om een gerecht (een wetenschappelijke conclusie) te bereiden. Maar er is een groot probleem: er zijn tienduizenden manieren om datzelfde gerecht te maken. Je kunt andere kruiden gebruiken, de temperatuur iets hoger of lager zetten, of een ander type pan kiezen.

In de wetenschap noemen we dit de "Multiversum" (of het "tuin van kruisende paden"). Als elke kok een beetje anders kookt, krijg je heel verschillende smaken. Het probleem is dat onderzoekers vaak maar één recept kiezen, dat ze presenteren als het enige waarheid. Als dat recept toevallig net de juiste smaak heeft (bijvoorbeeld door toeval of door slimme keuzes), lijkt het resultaat heel sterk. Maar als je het recept een beetje aanpast, kan de smaak volledig verdwijnen. Dit heet p-hacking of het "kweken" van resultaten.

RobustiPy is een nieuwe, gratis computerprogramma (een bibliotheek voor Python) dat dit probleem oplost. Het is als een super-keukenrobot die niet één gerecht maakt, maar duizenden variaties tegelijk bereidt.

Hoe werkt het? (De Analogie van de Regenscherm)

Stel je voor dat je een paraplu wilt testen om te zien of hij waterdicht is.

• De oude manier: Je houdt de paraplu één keer onder een straal water. Als hij droog blijft, zeg je: "Deze paraplu is perfect!" Maar misschien was het toeval, of regende het net heel zacht.
• De RobustiPy-methode: Je neemt je paraplu en test hem onder duizenden verschillende omstandigheden: zware storm, lichte motregen, zijwaartse wind, of zelfs als je hem een beetje scheef houdt. Je test hem met verschillende materialen en maten.

RobustiPy doet precies dit met data. In plaats van één statistisch model te draaien, draait het:

1. Alle mogelijke combinaties: Welke variabelen tellen mee? Welke niet?
2. Resampling: Het pakt steeds willekeurige stukjes van de data (alsof je steeds nieuwe regenbuien simuleert) om te zien of het resultaat stabiel blijft.
3. Uitleggen: Het vertelt je niet alleen of het resultaat klopt, maar ook waarom (welke variabelen zijn het belangrijkst?).

De Vijf Krachten van RobustiPy

Het paper beschrijft vijf manieren waarop dit programma onderzoekers helpt:

1. De "Vanilla" Modus (De Basis):
   Dit is het standaardrecept. Je geeft de data, en RobustiPy draait alle mogelijke combinaties van controlevariabelen. Het is als het testen van een auto op elke mogelijke weg: asfalt, grind, modder, ijs. Je ziet direct of de auto (je conclusie) overal goed rijdt, of alleen op de snelweg.

2. De "Altijd Meegenomen" Variabelen:
   Soms weet je zeker dat bepaalde ingrediënten altijd in het gerecht moeten (bijvoorbeeld zout in een soep). RobustiPy zorgt dat deze variabelen in elke versie van het model blijven staan, terwijl hij de rest van de kruiden laat variëren.

3. Groepsgevoelige Modellen (Fixed Effects):
   Stel je voor dat je de gezondheid van mensen in verschillende dorpen vergelijkt. Iedereen in Dorp A heeft misschien een ander dieet dan in Dorp B. RobustiPy kan dit "dorpseffect" eruit filteren, zodat je alleen kijkt naar de echte oorzaak, en niet naar de locatie.

4. Ja/Nee Beslissingen (Binair):
   Soms is de uitkomst niet een getal (zoals inkomen), maar een ja/nee (zoals: "Heeft de patiënt een hartaanval gehad?"). RobustiPy kan ook voor deze ja/nee-vragen duizenden modellen tegelijk testen.

5. Meerdere Doelen (Meerdere Afhankelijke Variabelen):
   Soms meet je hetzelfde concept op verschillende manieren. Bijvoorbeeld: "Hoe gelukkig is iemand?" Je kunt dat meten via een vragenlijst, een interview, of een dagboek. RobustiPy combineert al deze verschillende metingen tot één groot plaatje, zodat je ziet of de conclusie klopt, ongeacht hoe je geluk hebt gemeten.

Waarom is dit belangrijk? (De "Recept-Check")

In het verleden hebben onderzoekers soms onbewust (of bewust) hun recept aangepast totdat het resultaat "leuk" was (bijvoorbeeld een significant effect). Dit leidt tot resultaten die niet reproduceerbaar zijn.

RobustiPy dwingt onderzoekers om transparant te zijn. Het laat zien:

• "Kijk, in 90% van de 10.000 mogelijke recepten is dit effect positief."
• "Maar in 10% van de gevallen is het negatief. Dat betekent dat je conclusie niet zo stevig is als je dacht."

Het paper toont aan dat RobustiPy dit allemaal extreem snel kan doen. Ze hebben getest met ongeveer 672 miljoen regressies (rekenvoorbeelden). Dat is meer dan wat een mens in een heel leven zou kunnen doen, maar RobustiPy doet het in een handomdraai.

Conclusie: Een Nieuwe Standaard voor Wetenschap

RobustiPy is als een veiligheidsnet voor de wetenschap. Het zorgt ervoor dat we niet blindelings vertrouwen op één enkel getal, maar dat we kijken naar het hele spectrum van mogelijke antwoorden.

• Voor de leek: Het is alsof je niet vraagt aan één kok of zijn soep lekker is, maar dat je 1.000 koks de soep laat maken en dan kijkt of ze het er allemaal over eens zijn.
• Voor de wetenschap: Het maakt onderzoek eerlijker, transparanter en betrouwbaarder. Het helpt om te voorkomen dat we "nep-resultaten" publiceren die alleen bestaan omdat iemand de juiste knoppen heeft gedraaid.

Kortom: RobustiPy helpt ons te begrijpen dat de waarheid vaak complex is, en dat we niet tevreden moeten zijn met één simpele, maar misschien misleidende, verklaring.

Technische samenvatting

Titel: Introducing RobustiPy: Een efficiënte next-generation multiverse-bibliotheek met modelselectie, averaging, resampling en uitlegbare AI

Auteurs: Daniel Valdenegro Ibarra, Jiani Yan, Duiyi Dai en Charles Rahal (Universiteit van Oxford).
Datum: April 2026

---

1. Het Probleem: Het "Multiversum" van Modelkeuzes

Wetenschappelijke inferentie wordt vaak ondermijnd door het enorme maar zelden verkende "multiversum" van verdedigbare modelkeuzes. Onderzoekers maken talloze beslissingen tijdens het modelbouwproces (de "tuin van kruisende paden"), zoals:

• Selectie van covariaten (controlevariabelen).
• Keuze van de functionele vorm (estimator).
• Definitie van de afhankelijke en onafhankelijke variabelen.

Deze keuzes kunnen leiden tot resultaten die net zo variabel zijn als de fenomenen die worden bestudeerd. Huidige praktijken leiden vaak tot:

• Selectieve rapportage: Onderzoekers rapporteren alleen de specificaties die statistisch significant zijn (p-hacking) of hypothesevorming na het zien van de resultaten (HARKing).
• Gebrek aan transparantie: Consumenten van onderzoek zien slechts een handvol gecureerde specificaties, terwijl de volledige verdeling van mogelijke resultaten verborgen blijft.
• Reproductiecrisis: De validiteit van empirische bevindingen wordt ondermijnd door deze "researcher degrees of freedom".

Hoewel concepten als Specification Curve Analysis en Multiverse Analysis deze problemen adresseren, zijn ze computatief zeer veeleisend. Bestaande tools (voornamelijk in R) zijn vaak beperkt in schaalbaarheid, functionaliteit of integratie in moderne data science-pipelines.

2. Methodologie: RobustiPy

RobustiPy is een open-source Python-bibliotheek die multiverse-analyse en kwantificering van modelonzekerheid op grote schaal systematiseert. Het biedt een modulair, reproduceerbaar raamwerk dat de volgende kerncomponenten verenigt:

A. Formele Definitie van de Modelruimte

Het paper formaliseert het probleem als een zoektocht naar de beste benadering van de ware data-genererende functie $Y = F(X, Z) + \epsilon$.

• De totale modelruimte $\Pi$ wordt gedefinieerd als het cartesisch product van mogelijke operationalisaties van de afhankelijke variabele ($\vec{Y}$), de functionele vorm ($\vec{F}$), de focuspredictor ($\vec{X}$) en de controlevariabelen ($\vec{Z}$).
• De grootte van deze ruimte kan exponentieel groeien (bijv. $2^{d_Z}$ combinaties voor $d_Z$ controlevariabelen).
• RobustiPy maakt het mogelijk om deze ruimte systematisch te verkennen, in plaats van een enkel "basismodel" te kiezen.

B. Kernfunctionaliteiten

1. Combinatorische Specificatiezoektocht: Automatische generatie en schatting van duizenden tot miljarden modelspecificaties.
2. Modelselectie en Averaging:
   • Ondersteuning voor ongewogen medianen en gewogen schattingen (via AIC, BIC, HQIC).
   • Bayesiaanse Model Averaging (BMA) met priors gebaseerd op informatiecriteria.
3. Resampling en Inference:
   • Bootstrapping: Cluster-bootstrapping voor groepsgescheiden data en standaard bootstrapping voor onafhankelijke data om betrouwbaarheidsintervallen te berekenen.
   • K-voudige Cross-Validation: Voor out-of-sample validatie.
   • Joint Inference: Een curve-level test (Stouffer's test) om te beoordelen of het patroon van schattingen over het hele multiversum consistent is met een nulhypothese, rekening houdend met de correlatie tussen specificaties.
4. Uitlegbare AI (Explainable AI):
   • Integratie van SHAP-waarden (Shapley Additive exPlanations) om de marginale bijdrage van elke covariabele te kwantificeren over het modelmultiversum.
5. Flexibele Modeltypes:
   • OLSRobust: Voor lineaire regressie (inclusief Fixed Effects voor paneldata).
   • LRobust: Voor logistische regressie (binair resultaat).
   • Ondersteuning voor meervoudige afhankelijke variabelen (composieten van gestandaardiseerde scores).

C. Technische Efficiëntie

• Parallelisatie: Geautomatiseerde parallelle verwerking om runtime te minimaliseren.
• Sub-sampling: Voor zeer grote ruimtes biedt RobustiPy een methode om een willekeurige subset van specificaties te trekken zonder de representativiteit te verliezen.
• Benchmarking: Getest op ongeveer 672 miljoen gesimuleerde regressies, waarbij het state-of-the-art computationele efficiëntie toont.

3. Belangrijkste Resultaten en Empirische Toepassingen

De auteurs demonstreren de bruikbaarheid van RobustiPy via vijf simulaties en tien empirische replicaties uit economie, sociologie, psychologie en geneeskunde:

• Unie-dataset (Wage Premium): Replicatie van een klassiek probleem. De mediane schatting over het multiversum (13,5%) verschilt aanzienlijk van het oorspronkelijke "conventionele" resultaat (10,18%), maar ligt dichter bij de verwachte premie. Dit toont aan hoe gevoelig resultaten zijn voor controlevariabelen.
• Ehrlich (1973) - Criminaliteit: De richting van het effect van inkomensongelijkheid op criminaliteit keerde om afhankelijk van de specificatie (van -0,87 tot +2,03), wat de instabiliteit van eerdere bevindingen benadrukt.
• Solow Groeimodel (Mankiw et al., 1992): RobustiPy toonde aan dat het toevoegen van menselijk kapitaal de $R^2$ systematisch verhoogt, maar ook dat de coëfficiënten van de kernvariabelen enorm variëren in grootte en teken, wat de robuustheid van de oorspronkelijke conclusies in vraag stelt.
• Gino et al. (2020) - Replicatiecrisis: Een analyse van een gereviseerde studie over morele onreinheid. RobustiPy kon de oorspronkelijke (gereconstrueerde) data vergelijken met de gepubliceerde data. De resultaten toonden aan dat het effect in de gereconstrueerde data veel zwakker was en in de tegenovergestelde richting lag, wat de validiteit van de oorspronkelijke claims ondersteunde (of juist ontkende, afhankelijk van de interpretatie van de data-manipulatie).
• Orben & Przybylski (2019): Replicatie van het onderzoek naar digitale technologie en welzijn, waarbij de distributie van effecten over vele maatstaven werd gevisualiseerd, bevestigend dat effecten vaak marginaal en niet-robust zijn.

Performance: De tijdprofielanalyse toont aan dat RobustiPy een complexiteit van ongeveer $O(K(2^b + k))$ heeft (waarbij $b$ het aantal bootstraps en $k$ het aantal folds is), wat schaalbaar is op moderne hardware.

4. Bijdragen en Significance

Technische Bijdragen:

• Eerste uitgebreide Python-toolkit: RobustiPy vult een gat in de Python-ecosystemen (dat dominant is in data science) voor multiverse-analyse, waarvoor eerder vooral R-tools (zoals multiverse en specr) beschikbaar waren.
• Unificatie van methoden: Het combineert bootstrapping, modelaveraging, out-of-sample validatie en SHAP-analyse in één workflow.
• Reproduceerbaarheid: Alle scripts en interactieve notebooks zijn openbaar beschikbaar via Zenodo en GitHub, wat de transparantie van empirisch onderzoek vergroot.

Wetenschappelijke Impact:

• Transparantie: RobustiPy dwingt onderzoekers om de volledige verdeling van mogelijke resultaten te visualiseren in plaats van slechts één "beste" model te presenteren.
• Audit-tool: Het dient als een krachtig instrument om bestaande studies te auditeren en de robuustheid van gepubliceerde bevindingen te testen, vooral bij controversiële of gereconstrueerde datasets.
• Versnelling van Robuustheid: Door de drempel voor het uitvoeren van complexe multiverse-analyses te verlagen, maakt het robuustheidstests een standaardpraktijk in plaats van een uitzondering.

Beperkingen en Toekomst:

• De tool vereist nog steeds dat onderzoekers een "verdedigbare" ruimte van specificaties definiëren; slecht gedefinieerde ruimtes leiden tot slechte resultaten ("garbage in, garbage out").
• Het biedt geen automatische tests voor modelmispecificatie (zoals heteroskedasticiteit), die nog door de onderzoeker moeten worden uitgevoerd.
• Toekomstige versies zullen Laplace-benaderingen en meer estimators omvatten om de rekenkosten verder te verlagen.

Conclusie

RobustiPy transformeert hoe onderzoekers omgaan met modelonzekerheid. Door de "multiversum" van analytische keuzes systematisch en efficiënt te verkennen, biedt het een praktische basis voor meer reproduceerbare, transparante en interpreteerbare computationele wetenschap. Het stelt onderzoekers in staat om niet alleen te vragen "wat is het resultaat?", maar "hoe stabiel is dit resultaat over alle verdedigbare modellen heen?".