Reconciling Bayesian and frequentist approaches to robustness against outliers

Il Grande Stallo tra i Detective dei Dati

Immaginate di essere un detective che cerca di risolvere un mistero osservando un mucchio di indizi. La maggior parte degli indizi racconta una storia chiara e coerente: un sospettato è corso a sinistra, poi a destra, poi si è nascosto in un cespuglio. Ma poi, trovate alcuni appunti bizzarri. Uno dice che il sospettato è volato sulla luna, un altro sostiene che si sia trasformato in un tostapane. Nel mondo della statistica, questi appunti bizzarri sono chiamati outlier. Sono punti dati che non si adattano al modello, spesso a causa di un errore o di un evento raro e caotico. Se cercate di tracciare una linea retta attraverso tutti gli indizi — inclusi quelli del tostapane volante — la vostra linea verrà trascinata fuori rotta e la vostra conclusione sul percorso del sospettato sarà errata.

Per risolvere questo problema, i statistici hanno sviluppato due squadre principali di detective: i Bayesiani e i Frequentisti. Entrambi vogliono ignorare i note bizzarre e concentrarsi sulla storia reale, ma usano kit di attrezzi diversi. I Frequentisti sono come ingegneri che costruiscono una speciale "spugna" che assorbe i dati bizzarri e li restringe finché non contano più nulla. I Bayesiani sono come artisti che ridisegnano la mappa del mondo per rendere più facile accettare che i tostapane volanti possano esistere, ma solo se la mappa viene disegnata con molta cura. Per molto tempo, queste due squadre hanno pensato di risolvere lo stesso problema, ma in realtà stavano usando mappe che non coincidevano del tutto. Questo articolo parla della scoperta del perché le loro mappe erano diverse e di come finalmente disegnare un'unica mappa che funzioni per tutti.

Lo Scontro tra le Mappe

La storia inizia con una domanda semplice: come possiamo ignorare i punti dati del "tostapane volante" senza buttare via l'intero puzzle?

La squadra dei Frequentisti ha uno strumento preferito chiamato biweight di Tukey. Immaginatelo come un righello magico che, una volta che un punto dati si allontana troppo dal gruppo, smette semplicemente di interessarsene. Se un punto è un po' strano, il righello gli dà una piccola spinta. Se è follemente strano (come il tostapane), il righello dice: "Ho finito con te", e gli assegna un peso pari a zero. È incredibilmente efficace nell'ignorare il rumore. Tuttavia, c'è un problema: questo righello magico non segue le rigide regole della probabilità. È quello che i matematici chiamano un modello "improprio". È come una ricetta che funziona perfettamente per fare una torta deliziosa, ma che non elenca gli ingredienti in un modo che sommi a un numero intero.

La squadra dei Bayesiani, d'altra parte, è molto pignola riguardo alle proprie ricette. Insistono che ogni modello debba essere "proprio", il che significa che deve seguire rigide regole di probabilità dove tutto si somma perfettamente. Per gestire gli outlier, utilizzano modelli a code pesanti (come la distribuzione t di Student o l'LPTN). Pensateli come mappe con bordi molto ampi e morbidi. Se un punto dato è lontano, la mappa si allunga per includerlo, ma più va verso l'esterno, meno influenza ha. Il problema è che anche le code più "pesanti" che questi Bayesiani sono autorizzati a usare non sono abbastanza pesanti da ignorare completamente gli appunti del tostapane volante. Lasciano comunque che un po' di rumore folle si insinui nella risposta finale.

Gli autori di questo articolo si sono resi conto che i Frequentisti stavano usando uno strumento super potente e leggermente "illegale" (l'improprio biweight di Tukey) che i Bayesiani non potevano toccare. A causa di ciò, quando entrambe le squadre guardavano gli stessi dati disordinati, ottenevano risposte diverse. I Frequentisti ottenevano una linea pulita che ignorava perfettamente gli outlier. I Bayesiani, bloccati con le loro mappe "proprie", ottenevano ancora una linea che veniva leggermente trascinata verso gli outlier.

Colmare il Divario con la "Bayes Generalizzata"

L'articolo propone una soluzione che somiglia a un colpo di mano legale. Gli autori suggeriscono che i Bayesiani dovrebbero adottare un nuovo quadro chiamato Bayes Generalizzata. Questo framework è come un permesso speciale che consente alla squadra Bayesiana di utilizzare gli strumenti "impropri" (come il biweight di Tukey) che i Frequentisti amano, a patto di accoppiarli con una convinzione iniziale "propria" (un prior).

Pensatela in questo modo: l'artista Bayesiano di solito rifiuta di dipingere con un pennello che gocciola vernice ovunque (il modello improprio). Ma con questo nuovo permesso, può usare il pennello che gocciola se prima stende una tela pulita (il prior proprio). Il risultato? La vernice gocciola, ma l'immagine finale è comunque un'immagine perfetta e completa.

Gli autori hanno testato questa idea con dati del mondo reale, tra cui un dataset su ratti che corrono in un labirinto e un altro sulle richieste assicurative. In entrambi i casi, il metodo bayesiano tradizionale veniva ancora trascinato fuori rotta dagli outlier. Ma quando hanno utilizzato il nuovo approccio della Bayes Generalizzata con il biweight di Tukey, i risultati ottenuti dai praticanti Bayesiani sono stati simili ai risultati del praticante Frequentista, e le linee di regressione stimate erano essenzialmente le stesse. Gli outlier venivano efficacementmente ignorati e l'influenza degli appunti del "tostapane volante" era significativamente ridotta.

Cosa Dice la Matematica

L'articolo non dimostra solo che questo funziona su un computer; lo dimostra con una matematica pesante. Hanno dimostato che man mano che gli outlier si allontanano sempre di più (come il tostapane che vola via nello spazio profondo), il modello Bayesiano che utilizza questo nuovo metodo si avvicina a uno stato in cui smette di ascoltarli. La matematica prova che il modello diventa "totalmente robusto" in questo limite asintotico, il che significa che gli outlier hanno un effetto trascurabile sulla risposta finale, a condizione che il numero di outlier non superi una certa soglia (il punto di rottura dell'estimatore della scala).

Hanno anche capito come calibrare l'incertezza. Di solito, quando si utilizzano questi strumenti "impropri", è difficile sapere quanto bisogna essere fiduciosi nella propria risposta. Gli autori hanno sviluppato un modo per regolare una manopola della "temperatura" (chiamata parametro di tempering) in modo che gli intervalli di confidenza (l'intervallo delle risposte probabili) siano giusti: né troppo ampi, né troppo stretti. Hanno eseguito simulazioni con migliaia di dataset finti per dimostrare che questo metodo funziona in modo affidabile, fornendo risposte che sono altrettanto affidabili dei vecchi metodi standard, ma molto migliori nell'ignorare il rumore.

La Conclusione

Il risultato principale è che il divario tra le due squadre statistiche era causato da una differenza nel regolamento: i Frequentisti potevano usare modelli "impropri" per ignorare perfettamente gli outlier, mentre i Bayesiani no. Adottando il framework della Bayes Generalizzata, i Bayesiani possono ora utilizzare gli stessi potenti strumenti dei Frequentisti. Ciò significa che, sia che siate un Frequentista che un Bayesiano, potete ora ottenere risultati simili e altamente accurati, anche quando i vostri dati sono pieni di tostapane volanti e note folli. L'articolo suggerisce che questo non è solo un piccolo aggiustamento; è un modo per riconciliare completamente i due approcci, dando a tutti accesso ai migliori strumenti per il compito.