Introducing RobustiPy: An efficient next generation multiversal library with model selection, averaging, resampling, and explainable artificial intelligence

Il paper presenta RobustiPy, una libreria Python open-source che sistematizza l'analisi multiverso e quantifica l'incertezza dei modelli integrando tecniche di inferenza, selezione e spiegabilità dell'IA in un framework modulare ed efficiente per migliorare la riproducibilità della ricerca scientifica.

L'essenziale

Immagina di dover cucinare una torta per un concorso culinario molto importante. Il tuo obiettivo è dimostrare che il tuo ingrediente segreto (diciamo, la vaniglia) rende la torta davvero speciale.

Fino a poco tempo fa, la scienza funzionava così: un ricercatore prendeva la sua ricetta, aggiungeva un po' di vaniglia, un po' di zucchero, un po' di farina, e presentava il risultato. Se la torta era buona, vinceva. Ma c'era un problema: quante altre ricette avrebbe potuto provare?
Avrebbe potuto usare il lievito invece della farina? Mettere il cioccolato invece dello zucchero? Cuocerla a 180 gradi invece che a 200? Se avesse provato tutte queste varianti, forse avrebbe scoperto che la vaniglia funziona solo se si usa la farina, ma non con il cioccolato.

Il problema è che i ricercatori spesso provano solo una o due ricette, scelgono quella che dà il risultato migliore e la pubblicano, nascondendo tutte le altre. Questo crea un'illusione di certezza che spesso non esiste.

RobustiPy è come un robot cuoco super-intelligente che è stato appena inventato per risolvere questo caos.

Ecco come funziona, spiegato in modo semplice:

1. Il "Multiverso" delle Ricette

Immagina che ogni possibile combinazione di ingredienti e temperature sia un universo parallelo. In statistica, questo si chiama "multiverso".

• Il vecchio modo: Il ricercatore sceglie un universo, cucina la torta e dice: "Guardate, è perfetta!".
• Il modo RobustiPy: Il robot cucina tutte le possibili varianti della ricetta (migliaia, milioni!) contemporaneamente. Non si limita a una sola torta, ma crea un intero parco divertimenti di torte.

2. Cosa fa esattamente questo robot?

RobustiPy è un programma per computer (una libreria scritta in Python) che fa tre cose fondamentali:

• Esplora tutto: Invece di chiederti "Qual è la ricetta migliore?", ti chiede "Quali ingredienti sono ragionevoli da provare?". Poi, prova ogni combinazione possibile. Se hai 10 ingredienti, prova 1.024 ricette diverse. Se ne hai 20, ne prova più di un milione!
• Controlla la qualità (Resampling): Non si fida della prima cottura. Prende gli ingredienti, li mescola in ordine casuale, cuoce, assaggia, e ripete l'operazione 1.000 volte per vedere se il risultato è stabile o se è solo fortuna. È come se assaggiasse la torta 1.000 volte per essere sicuro che non sia venuta male solo perché ha storto il cucchiaio.
• Spiega il perché (Explainable AI): Se la torta viene buona, il robot ti dice esattamente quale ingrediente ha fatto la differenza. "Ehi, la vaniglia ha funzionato solo quando c'era il cioccolato, ma non con il limone". Questo aiuta a capire la verità nascosta dietro i numeri.

3. Perché è rivoluzionario?

Prima, per fare queste analisi, i ricercatori dovevano scrivere codice complesso e personalizzato, come se dovessero costruire il proprio forno da zero ogni volta. Era lento, costoso e spesso nessuno lo faceva davvero.

RobustiPy è come un forno automatico industriale che tutti possono usare con un semplice pulsante.

• Velocità: È così veloce che ha simulato 672 milioni di regressioni (un numero astronomico) per dimostrare di funzionare.
• Trasparenza: Non nasconde i risultati "brutti". Se la vaniglia non funziona in 900 ricette su 1.000, RobustiPy te lo dice chiaramente. Non ti dà un solo numero magico, ma ti mostra l'intera gamma di possibilità.
• Affidabilità: È stato testato su studi famosi in economia, medicina e psicologia. In alcuni casi, ha dimostrato che le conclusioni di studi molto famosi erano fragili perché dipendevano da scelte specifiche di ricetta che non erano state testate.

In sintesi

Immagina che la scienza sia una grande caccia al tesoro.

• Prima: I cacciatori prendevano una mappa, sceglievano un percorso a caso, trovavano un piccolo oggetto e gridavano: "Abbiamo trovato il tesoro!".
• Ora con RobustiPy: Il robot esamina ogni singolo sentiero possibile nella foresta. Se il tesoro esiste davvero, lo troverà in tutti i sentieri. Se il tesoro esiste solo in un sentiero specifico (e non in altri), il robot lo dirà: "Attenzione, il tesoro è solo qui, non è una regola generale".

RobustiPy non ci dice quale sia la "verità assoluta" (perché la realtà è complessa), ma ci dà gli strumenti per smettere di indovinare e iniziare a capire quanto siamo sicuri delle nostre scoperte. È uno strumento per rendere la scienza più onesta, trasparente e robusta, trasformando il caos delle scelte possibili in una mappa chiara per tutti.

Sommario tecnico

Sintesi Tecnica: RobustiPy

1. Il Problema: L'Incertezza del Modello e il "Multiverso" Analitico

La ricerca scientifica quantitativa, specialmente nelle scienze sociali e sanitarie, è spesso minata dalla vasta ma raramente esplorata "multiverso" di scelte di modellazione difendibili. Queste scelte (la selezione delle variabili di controllo, la forma funzionale, la definizione delle variabili dipendenti) possono generare risultati altamente variabili, talvolta contraddittori, per lo stesso fenomeno studiato.
Il problema centrale è l'asimmetria informativa: i ricercatori tendono a variare le proprie decisioni analitiche e a riportare selettivamente solo le specifiche che producono risultati significativi (pratiche come il p-hacking o l'HARKing), creando un senso illusorio di consenso empirico e compromettendo la riproducibilità. Sebbene concetti come l'analisi della curva di specifica e l'analisi multiverso esistano, la loro implementazione è spesso computazionalmente onerosa e frammentata in strumenti ad-hoc inefficienti.

2. Metodologia: RobustiPy

RobustiPy è una libreria Python open-source di nuova generazione progettata per sistematizzare l'analisi multiverso e la quantificazione dell'incertezza del modello su larga scala. La libreria opera all'interno di un framework modulare e riproducibile che unifica diverse tecniche statistiche avanzate.

Formalizzazione Matematica

Il problema è formalizzato considerando la relazione tra una variabile dipendente $Y$ e una indipendente $X$, condizionata da un insieme di variabili di controllo $Z$. Dato che la vera funzione di generazione dei dati $F$ è sconosciuta, i ricercatori devono operare su uno spazio di "operazionalizzazioni difendibili" ($\Pi$).
RobustiPy definisce lo spazio delle specifiche come il prodotto cartesiano di:

1. Operazionalizzazioni della variabile dipendente ($\Pi_{\vec{Y}}$).
2. Forme funzionali/estimatori ($\Pi_{\vec{F}}$).
3. Specifiche dei predittori focali ($\Pi_{\vec{X}}$).
4. Sottogruppi di variabili di controllo candidate ($\Pi_{\vec{Z}}$).

La libreria dimostra teoricamente che l'espansione del catalogo dei modelli ammissibili ($\Pi_D$) porta a una migliore approssimazione della verità, anche quando si utilizza una selezione casuale dello spazio delle specifiche.

Funzionalità Chiave e Tipi di Analisi

RobustiPy supporta cinque tipi principali di analisi, gestendo sia dati continui (OLS) che binari (Logit) e dati panel (Fixed Effects):

1. Calcolo "Vanilla": Esegue regressioni OLS robuste con convalida incrociata (k-fold) e resampling bootstrap (es. 1000 iterazioni) su tutte le combinazioni di variabili di controllo.
2. Array di Variabili Fisse: Permette di includere predittori che non variano mai nello spazio delle specifiche (es. per ragioni teoriche), riducendo la complessità computazionale.
3. Fixed Effects OLS: Implementa modelli a effetti fissi per dati panel, gestendo il demeaning delle variabili e il clustering nei bootstrap.
4. Variabili Dipendenti Binari: Utilizza la classe LRobust per la regressione logistica, supportando la convalida incrociata stratificata e il calcolo degli odds ratio.
5. Variabili Dipendenti Multiple: Gestisce casi in cui esistono più misure per lo stesso costrutto teorico. RobustiPy standardizza le variabili (z-score) e crea combinazioni composite (medie ponderate) per esplorare l'intero spazio delle definizioni di $Y$.

Metriche e Inferenza

La libreria calcola un'ampia gamma di metriche per ogni specifica:

• Metriche In-Sample: $R^2$ aggiustato, Log-Likelihood, e criteri di informazione (AIC, BIC, HQIC) per la selezione del modello.
• Metriche Out-of-Sample: Convalida incrociata k-fold con metriche come RMSE, Pseudo-$R^2$ (Brier Skill Score), Cross-Entropy e InterModel Vigorish (IMV).
• Inferenza e Spiegabilità:
  • Bayesian Model Averaging (BMA): Pesi basati sul BIC per combinare le stime dei coefficienti.
  • SHAP Values: Calcolo dei valori SHAP per il modello "completo" per spiegare il contributo marginale di ogni covariata.
  • Inferenza congiunta: Test di ipotesi sulla curva intera (curve-level test) e test di Stouffer per valutare la coerenza dei risultati attraverso tutte le specifiche, correggendo per la dipendenza tra i modelli.

3. Risultati e Validazione

Gli autori hanno validato RobustiPy attraverso:

• Benchmark Computazionale: Su circa 672 milioni di regressioni simulate, RobustiPy ha dimostrato un'efficienza computazionale all'avanguardia, gestendo spazi di specifiche di dimensioni esponenziali (es. $2^{20}$ modelli) in tempi ragionevoli grazie alla parallelizzazione e all'ottimizzazione del codice.
• Repliche Empiriche: La libreria è stata applicata a 10 casi di studio reali in economia, sociologia, psicologia e medicina, tra cui:
  • La relazione tra sindacati e salari (Union Dataset).
  • L'analisi della crescita economica (Mankiw et al., 1992).
  • La riproducibilità dello studio di Gino et al. (2020) sulla "impurità morale", dimostrando come l'uso di dati ricostruiti cambi radicalmente i risultati rispetto a quelli pubblicati.
  • L'analisi dell'impatto della spesa sociale sul benessere (Zhang et al., 2021).

I risultati mostrano una variazione enorme nei coefficienti stimati e nella significatività statistica a seconda della specifica scelta, confermando l'ipotesi che la selezione selettiva dei modelli distorca la letteratura scientifica. RobustiPy ha permesso di visualizzare queste distribuzioni complete, identificando modelli che massimizzano la bontà di adattamento e quantificando la stabilità delle stime.

4. Contributi Chiave

1. Unificazione e Scalabilità: RobustiPy è il primo strumento Python che integra in un'unica libreria l'analisi multiverso, la selezione di modelli, l'averaging, la convalida out-of-sample e l'IA spiegabile (XAI) su scala industriale.
2. Efficienza Computazionale: Supera i limiti degli strumenti esistenti (spesso basati su R o DSL personalizzati) offrendo prestazioni elevate su grandi dataset e spazi di specifiche complessi.
3. Trasparenza e Riproducibilità: Fornisce un framework standardizzato che costringe i ricercatori a considerare l'intero spettro di scelte difendibili, riducendo il rischio di p-hacking e migliorando la trasparenza della ricerca.
4. Flessibilità Metodologica: Supporta nativamente dati panel, variabili binarie e multiple, e permette di definire spazi di specifiche personalizzati (es. variabili fisse vs. variabili combinatorie).

5. Significato e Implicazioni

RobustiPy rappresenta un passo fondamentale verso una scienza computazionale più robusta e interpretabile. Trasformando l'analisi di sensibilità da un esercizio manuale e ad-hoc a un processo automatizzato e sistematico, la libreria:

• Mitiga la crisi della riproducibilità fornendo strumenti per auditare la letteratura esistente.
• Sposta il focus dai singoli "punti di stima" ottimali alla distribuzione delle stime plausibili, offrendo una visione più onesta dell'incertezza epistemica.
• Democratizza l'uso di metodi avanzati di incertezza del modello, rendendoli accessibili a una vasta comunità di ricercatori attraverso un'interfaccia Python intuitiva.

In sintesi, RobustiPy non è solo un software, ma un cambio di paradigma metodologico che incoraggia i ricercatori a interrogare la robustezza delle proprie conclusioni attraverso l'intero "multiverso" delle scelte analitiche, piuttosto che limitarsi a una singola specifica preferita.