Proper Bayes minimax multiple shrinkage estimation

Immagina di cercare di indovinare la posizione di un tesoro nascosto su una mappa gigante e invisibile. Hai una bussola (i tuoi dati) che ti indica la direzione giusta, ma è un po' traballante e soggetta a scatti. Nel mondo della statistica, questo è come cercare di indovinare la media vera di un gruppo di cose — come l'altezza media degli studenti in una scuola o la temperatura media di una città — quando hai a disposizione un campione rumoroso. Per molto tempo, la regola d'oro è stata quella di fidarsi esattamente di ciò che la tua bussola indicava. Se la tua bussola diceva "vai 5 miglia a nord", andavi 5 miglia a nord. Questo era considerato il rischio "sicuro" perché, mediamente, non poteva essere battuto da nessun altro metodo semplice.

Tuttavia, negli anni '50, un matematico di nome Charles Stein scoprì un segreto sconvolgente: se stai cercando di indovinare più di due cose contemporaneamente (come l'altezza, il peso e la misura delle scarpe di uno studente tutti insieme), fidarsi ciecamente della propria bussola è in realtà una cattiva idea. Si scopre che si può fare di meglio "restringendo" (shrinking) la propria ipotesi verso un punto centrale, come il centro della mappa. È come dire: "La mia bussola dice di andare 5 miglia a nord, ma dato che di solito sbaglio un po', andiamo 4 miglia a nord invece". Questo trucco del "restringimento" funziona così bene che batte la vecchia regola d'oro quasi ogni volta. Ma ecco il problema: questo trucco funziona meglio di solito se sai esattamente dove si trova il centro. E se avessi l'intuizione che il tesoro sia vicino a una montagna, ma avessi anche l'intuizione che potrebbe essere vicino a un fiume? Hai due diversi "centri" verso cui restringere la tua ipotesi, e non sai quale sia quello giusto. Questo è il puzzle che i statistici hanno cercato di risolvere per decenni: come costruire una macchina per indovinare intelligente che possa restringersi verso più obiettivi contemporaneamente, senza rompere le regole del gioco.

Questo articolo, scritto da Pankaj Bhagwat, William E. Strawderman ed Edward I. George, riesce finalmente a decifrare questo codice. Gli autori dimostrano, per la prima volta, che è possibile costruire una macchina per indovinare "appropriata" che si restringa verso più obiettivi ed è garantita come la scelta migliore possibile (una proprietà chiamata minimaxità) pur essendo matematicamente "appropriata" (il che significa che segue tutte le rigide regole della probabilità senza imbrogliare).

Prima di questa scoperta, i statistici dovevano scegliere tra due brutte opzioni. Potevano costruire una macchina che si restringesse verso più obiettivi, ma doveva essere "impropria" — un modo elegante per dire che si basava su un trucco matematico che non aveva molto senso come probabilità reale. Oppure, potevano costruire una macchina "appropriata" che seguiva tutte le regole, ma poteva restringersi solo verso un singolo obiettivo. Gli autori si sono resi conto che i vecchi trucchi erano troppo rigidi. Hanno trovato un nuovo modo per costruire queste macchine utilizzando un tipo speciale di "rete di sicurezza" matematica (chiamata marginale superarmonica radice quadrata) che permette alla macchina di essere sia appropriata che flessibile.

Pensa a un GPS intelligente. Il vecchio GPS a "singolo obiettivo" saprebbe navigare solo verso una città specifica. Il vecchio GPS a "più obiettivi" poteva guardare un elenco di città e sceglierne una, ma era costruito su fondamenta traballanti che lo rendevano inaffidabile a lungo termine. Il nuovo GPS descritto in questo articolo è costruito su un terreno solido. Guarda un elenco di possibili città (obiettivi), controlla il traffico (i dati) e mescola fluidamente il suo percorso verso la città più promettente. Se i dati sembrano indicare che il tesoro è vicino alla montagna, la sua ipotesi si restringe verso la montagna. Se i dati sembrano indicare che è vicino al fiume, la sua ipotesi si restringe verso il fiume. E se i dati sono confusi, trova un perfetto punto di equilibrio.

Gli autori non si sono limitati a sognarlo; lo hanno provato con una matematica rigorosa e testato con simulazioni al computer. Hanno dimostrato che il loro nuovo metodo funziona perfettamente quando il numero di cose da indovinare è cinque o più. Hanno persino creato un esempio specifico utilizzando un tipo di prior (un'ipotesi iniziale) chiamato "prior di Strawderman", che agisce come un elastico flessibile capace di estendersi per coprire più obiettivi. Nelle loro simulazioni, hanno impostato scenari con due diversi obiettivi separati da grandi distanze. Hanno scoperto che il loro nuovo stimatore a "restrizione multipla" era incredibilmente efficace, riducendo l'errore della stima quasi quanto poteva fare il miglior stimatore a bersaglio singolo, ma senza dover sapere in anticipo quale fosse l'obiettivo giusto.

Una delle parti più entusiasmanti di questa scoperta è che i "pesi" che la macchina usa per decidere quanto fidarsi di ogni obiettivo possono essere compresi come probabilità reali. Nei vecchi metodi "impropri", questi pesi erano solo segnaposto matematici senza un vero significato. In questo nuovo metodo, se la macchina decide di pendere per il 70% verso la montagna e per il 30% verso il fiume, quel 70% può essere interpretato genuinamente come la probabilità che la montagna sia il posto giusto. Questo rende il metodo non solo matematicamente solido, ma anche molto più utile per il processo decisionale nel mondo reale, dove le persone hanno bisogno di capire perché è stata fatta una stima.

L'articolo fornisce anche una "ricetta" per costruire questi stimatori. Spiega che a volte, per far funzionare la matematica, è necessario "riscalare" la propria mappa — essenzialmente allungando o restringendo la distanza tra gli obiettivi per adattarli alle regole del gioco. Gli autori mostrano esattamente quanto allungare la mappa in base a quanto sono distanti gli obiettivi e a quanti dati si hanno. Hanno persino eseguito simulazioni con diverse impostazioni (come cambiare la dimensione da 6 a 10 e regolare quanto siano "stretti" i tentativi di indovinare) per dimostrare che il metodo regge sotto pressione.

In breve, questo articolo risolve un mistero statistico durato 35 anni. Dimostra che si può avere il meglio dei due mondi: si può avere una macchina per indovinare che è matematicamente perfetta, segue tutte le regole della probabilità ed è abbastanza intelligente da adattarsi a più risposte possibili contemporaneamente. È un grande passo avanti per chiunque abbia bisogno di dare un senso a dati disordinati e sfaccettati, dalla previsione dei modelli meteorologici all'analisi di complessi mercati finanziari. Gli autori, tra cui l'ultimo William Strawderman che ha iniziato questo viaggio decenni fa, ci hanno finalmente consegnato uno strumento che è allo stesso tempo robusto e flessibile, pronto per essere utilizzato nel mondo reale.