Quantum probability for statisticians; some new ideas

Per la maggior parte dell'ultimo secolo, la scienza della statistica si è basata su un unico, rigido framework per comprendere il caso e l'incertezza. Questo framework, noto come probabilità classica, tratta il mondo come una vasta biblioteca di possibilità dove ogni domanda ha una singola, fissa risposta in attesa di essere scoperta. Funziona magnificamente per contare i voti, prevedere il tempo o analizzare sperimentazioni mediche, assumendo che i parametri che studiamo siano solo numeri in un insieme privo di struttura nascosta. Tuttavia, un ramo separato della scienza, la fisica quantistica, opera da tempo secondo un insieme di regole differenti. Nel mondo quantistico, l'atto di porre una domanda può cambiare la risposta, e due domande diverse sullo stesso sistema possono essere così profondamente legate che conoscere la risposta a una rende l'altra fondamentalmente incerta. Per molto tempo, i statistici hanno considerato queste regole quantistiche come strumenti esotici riservati solo al mondo microscopico di atomi e particelle, ritenendo che non avessero posto nel mondo macroscopico dei dati umani e del processo decisionale.

Questa separazione ha creato un divario nella nostra comprensione. Mentre la fisica quantistica ha rivoluzionato la nostra visione dell'universo, il suo linguaggio matematico è rimasto in gran parte isolato dal lavoro quotidiano dei statistici. Eppure, sviluppi recenti suggeriscono che il comportamento strano delle particelle quantistiche potrebbe non essere un'eccezione limitata al mondo infinitesimale, ma piuttosto un riflesso di come noi, come osservatori, raccogliamo ed elaboriamo le informazioni. Se le regole che governano lo spin di un elettrone sono in realtà regole sui limiti di ciò che possiamo sapere, allora quelle stesse regole potrebbero applicarsi al modo in cui analizziamo i dati in medicina, economia o intelligenza artificiale. La domanda non è più se la meccanica quantistica sia reale, ma se la sua logica possa aiutarci a dare un senso migliore ai dati complessi e rumorosi che definiscono il nostro mondo moderno.

In un nuovo articolo, Inge S. Helland dell'Università di Oslo propone un audace ponte tra questi due mondi. Egli sostiene che le probabilità quantistiche non siano solo per gli atomi; possono servire come un potente nuovo strumento per i statistici. Helland costruisce la sua tesi su una base fresca per la teoria quantistica, una che spoglia la teoria del suo misticismo "spettrale" e la sostituisce con una struttura logica chiara basata su ciò che un osservatore può effettivamente misurare. Egli suggerisce che l'universo sia pieno di "variabili teoriche" — quantità che esistono in un modello ma che non sono tutte accessibili contemporaneamente. Alcune di queste variabili sono "accessibili", il che significa che possiamo misurarle con alta precisione, mentre altre sono "inaccessibili", nascoste alla vista diretta. Il nucleo del suo argomento è che quando cerchiamo di misurare due diverse variabili accessibili che sono profondamente connesse, esse si comportano in un modo che la statistica classica non può spiegare, ma che la probabilità quantistica gestisce naturalmente.

Per rendere questo concetto concreto, Helland descrive un esperimento mentale che coinvolge un trial medico con quattro diversi trattamenti per un'irritazione cutanea. Immaginate un paziente che riceve un trattamento sul lato sinisto della schiena e una miscela degli altri tre sul lato destro. L'obiettivo è vedere quale lato migliora di più. In una visione classica, potremmo assumere di poter calcolare la probabilità esatta che un lato vinca basandoci sulla forza nascosta dei quattro trattamenti. Tuttavia, Helland mostra che se trattiamo la situazione come un problema quantistico, dove la "domanda" che poniamo (quale lato è migliore) dipende da una "domanda" precedente (come sono stati mescolati i trattamenti), la risposta cambia. Egli calcola che, sotto un set specifico di simmetrie, la probabilità di un certo esito passa da una stima classica di circa il 43 percento a una stima quantistica di esattamente il 33 percento. Questo non è solo un trucco matematico; suggerisce che quando i nostri dati sono limitati o i nostri parametri sono complessi, l'approccio quantistico offre un modo più robusto per impostare le nostre credenze iniziali, o "prior", prima ancora di vedere i risultati.

L'articolo va oltre, mostrando come queste idee possano semplificare problemi di dati complessi, in particolare nel campo del machine learning. Nell'intelligenza artificiale moderna, i computer spesso faticano quando si trovano di fronte a miglia o migliaia di variabili ma solo pochi punti dati, una situazione nota come "maledizione della dimensionalità". Helland dimostra che le tecniche matematiche utilizzate per risolvere questo problema nella fisica quantistica — specificamente, un metodo chiamato riduzione del modello — possono essere applicate ai modelli statistici. Trattando gli strati nascosti di una rete neurale come se fossero sistemi quantistici, egli mostra che possiamo ridurre il numero di variabili che dobbiamo monitorare senza perdere informazioni importanti. Questo approccio, che è strettamente correlato a una tecnica statistica chiamata regressione dei minimi quadrati parziali, permette ai ricercatori di trovare i pattern più essenziali in un dataset concentrandosi sulle variabili "massimali" che trasportano la maggior parte delle informazioni, filtrando efficacemente il rumore.

Uno dei risultati più significativi dell'articolo è la derivazione della "regola di Born", la famosa formula che i fisici usano per calcolare la probabilità di un evento quantistico. Di solito, questa regola è presa come un postulato fondamentale della natura, qualcosa che semplicemente funziona. Helland, tuttavia, la deriva da un insieme di principi logici riguardanti ciò che un osservatore può conoscere. Egli sostiene che se accettiamo che la nostra conoscenza sia limitata a ciò che possiamo misurare, e che le nostre misurazioni siano soggette a certe simmetrie, la regola di Born emerge naturalmente come l'unico modo logico per assegnare probabilità. Questo sposta la prospettiva della teoria quantistica da una descrizione di come il mondo "sia" a una descrizione di ciò che possiamo "sapere" del mondo. In questa visione, le strane probabilità della meccanica quantistica non sono una proprietà delle particelle stesse, ma un riflesso della struttura della nostra stessa indagine.

Le implicazioni per la statistica sono profonde. Helland suggerisce che adottando questi metodi di ispirazione quantistica, i statistici possono gestire situazioni in cui i metodi tradizionali falliscono, come quando i dati sono scarsi o quando le variabili sono profondamente interconnesse. Egli fornisce un elenco di potenziali applicazioni, che vanno dal miglioramento dell'accuratezza degli algoritmi di machine learning al raffinamento dell'interpretazione dei trial clinici. L'articolo non afferma che l'intero mondo sia un computer quantistico, né suggerisce che la statistica classica sia obsoleta. Al contrario, offre una nuova lente attraverso cui guardare i dati, una che riconosce i limiti della conoscenza umana e utilizza gli strumenti matematici della teoria quantistica per navigare in quei limiti.

In definitiva, questo lavoro è un invito a ripensare le fondamenta di come apprendiamo dai dati. Proprio come l'introduzione di nuove strutture matematiche nel passato ha ampliato gli orizzonti della fisica, Helland sostiene che portare la probabilità quantistica nella statistica possa arricchire il campo, offrendo soluzioni a problemi che sono sempre sembrati intrattabili. L'articolo si conclude con una visione di un futuro in cui le culture della statistica e della fisica quantistica non siano più separate, ma facciano parte di una comprensione unificata di come osserviamo, misuriamo e comprendiamo il mondo intorno a noi. Trattando l'osservatore non come un registratore passivo di fatti, ma come un partecipante attivo le cui domande danno forma alle risposte, potremmo trovare un modo più accurato e potente per dare senso ai complessi dati che guidano la nostra società.