Uncertainty in Physics and AI: Taxonomy, Quantification, and Validation

Questo lavoro presenta una tassonomia unificata e una panoramica strutturata della quantificazione dell'incertezza nell'apprendimento automatico per la fisica, chiarificando le interpretazioni attraverso i framework statistici e delineando strumenti di validazione fondati su principi per garantire affermazioni probabilistiche affidabili per la scoperta scientifica.

L'essenziale

Il Quadro Generale: Perché Indovinare Non Basta

Immagina di essere un fisico che cerca di scoprire una nuova particella, o un medico che utilizza un'intelligenza artificiale per diagnosticare una malattia. In entrambi i casi, ottenere la risposta corretta è importante, ma sapere quanto sei sicuro di quella risposta è ancora più critico.

Se un'IA dice: "C'è il 99% di probabilità che questo sia un tumore", ma in realtà è solo un'ombra, è pericoloso. Se un fisico dice: "Abbiamo trovato una nuova particella", ma i suoi calcoli non tengono conto della "sfocatura" dei loro dati, potrebbe sbagliare.

Questo documento è una guida per scienziati e ricercatori di IA. Sostiene che abbiamo bisogno di un linguaggio comune per parlare di incertezza (la "sfocatura" o il "dubbio" nelle previsioni) e di regole rigorose per verificare se tale incertezza viene riportata onestamente.

---

1. Il Dizionario del Dubbio (Tassonomia)

Il documento inizia evidenziando che fisici ed esperti di IA usano spesso parole diverse per le stesse cose, il che genera confusione. Propongono un chiaro "dizionario" con due assi principali per ordinare l'incertezza:

Asse A: Da dove proviene il dubbio? (Fonte)

• Incertezza Statistica (Il "Rumore"): Immagina di cercare di indovinare l'altezza media delle persone in una stanza misurandone solo tre. La tua stima potrebbe essere sbagliata semplicemente perché non hai misurato abbastanza persone. Questa è Statistica. Se misuri 1.000 persone, questo dubbio svanisce.
• Incertezza Sistematica (Il "Righello Rotto"): Immagina di misurare 1.000 persone, ma il tuo righello è in realtà di 2,5 cm troppo corto. Non importa quante persone misuri, la tua risposta sarà sempre sbagliata. Questa è Sistematica. Deriva da strumenti difettosi o ipotesi errate, non dalla mancanza di dati.

Asse B: Possiamo risolverlo? (Natura)

• Incertezza Aleatoria (Il "Lancio dei Dadi"): Questa è la casualità intrinseca alla natura. Pensa a lanciare una moneta. Anche se conosci tutto sulla moneta e su chi la lancia, non puoi prevedere il lancio successivo. Questa è irriducibile. Non puoi risolverla ottenendo più dati; è semplicemente così che funziona il mondo.
• Incertezza Epistemica (Il "Pezzo Mancante del Puzzle"): Questo è il dubbio causato dalla mancanza di conoscenza. Immagina di cercare di risolvere un puzzle ma ti mancano metà dei pezzi. Se ottieni più pezzi (più dati) o un'immagine migliore di come appare il puzzle (una teoria migliore), questo dubbio svanisce. Questa è riducibile.

L'Insight Chiave del Documento: Queste categorie si sovrappongono. Ad esempio, un "righello rotto" (Sistematico) potrebbe essere un "pezzo mancante del puzzle" (Epistemico) se semplicemente non sappiamo ancora che il righello è rotto. Il documento fornisce un grafico per aiutare a distinguerle in modo che gli scienziati non le confondano.

---

2. Due Modi di Pensare (Frequentista vs Bayesiano)

Il documento spiega che esistono due principali scuole di pensiero su come gestire questi dubbi:

• Il Frequentista (Il "Giocatore a Lungo Termine"): Questo approccio chiede: "Se ripetessi questo esperimento 1.000 volte, quante volte la mia risposta sarebbe corretta?". Si concentra sulla Copertura. Se dicono "Sono sicuro al 95%", intendono che in 95 esperimenti su 100 ripetuti, la risposta vera cadrà all'interno del loro intervallo.
• Il Bayesiano (L'"Aggiornatore di Credenze"): Questo approccio chiede: "Dato ciò che sapevo prima e ciò che ho appena visto, quanto è probabile la mia risposta?". Iniziano con una "credenza a priori" (una stima basata sull'esperienza passata) e la aggiornano con nuovi dati per creare un "posteriore" (la nuova credenza aggiornata).

Il documento nota che la Fisica delle Particelle preferisce solitamente l'approccio Frequentista, mentre la Cosmologia preferisce spesso quello Bayesiano. Entrambi sono validi, ma parlano lingue diverse.

---

3. Il Test di Stress (Validazione)

La parte più importante del documento riguarda la validazione. Il fatto che un'IA dica di essere sicura al 95% non significa che lo sia davvero. Il documento suggerisce tre modi per "stressare" queste previsioni dell'IA:

• Test di Copertura (La "Rete di Sicurezza"): Se un'IA disegna una rete di sicurezza (un intervallo di previsione) dicendo che catturerà la risposta vera il 95% delle volte, devi controllare la rete. Se lasci cadere 100 palle e la rete ne cattura solo 80, l'IA sta mentendo (è troppo sicura di sé). Se ne cattura 99, sta essendo troppo cauta.
• Test di Bias (Il "Baricentro"): La migliore stima dell'IA è costantemente spostata a sinistra o a destra? Immagina un bersaglio. Se i dardi dell'IA sono tutti raggruppati strettamente ma di 5 cm a sinistra del centro, ha un bias. È precisa, ma non accurata.
• Regole di Punteggio (Il "Voto Scolastico"): Invece di controllare solo se l'IA aveva ragione o torto, questo assegna un punteggio all'IA in base a quanto bene la sua intera mappa di probabilità corrisponde alla realtà. Ricompensa l'IA per essere onesta riguardo alla sua incertezza. Se l'IA dice "Sono al 50/50" e in realtà è 50/50, ottiene un buon punteggio. Se dice "Sono sicuro al 100%" e sbaglia, ottiene un punteggio terribile.

---

4. Gli Esempi "Giocattolo" (Cosa Succede nel Mondo Reale?)

Gli autori hanno testato queste idee su semplici problemi matematici (regressione e classificazione) per vedere come si comportano diversi metodi di IA.

• La "Zona Sicura" (Interpolazione): Quando l'IA è chiamata a prevedere qualcosa di simile a ciò che ha già visto (come prevedere il tempo a luglio basandosi su dati di luglio), quasi tutti i metodi funzionano bene. Forniscono tutte risposte simili e livelli di confidenza simili.
• La "Zona Pericolosa" (Estrapolazione): Quando l'IA è chiamata a prevedere qualcosa che non ha mai visto (come prevedere il tempo a luglio basandosi solo su dati di gennaio), le cose si complicano.
  • La Lezione: Nella zona pericolosa, la confidenza dell'IA non è più basata sui dati; è basata su assunzioni.
  • L'Analogia: Immagina una mappa di una città. Se chiedi all'IA di dirti il nome della strada di una casa che non hai mai visto, ma si trova su una strada che conosci, può indovinare. Ma se le chiedi di dirti il nome della strada di una casa in un paese completamente diverso, deve indovinare basandosi su ciò che pensa siano le città.
  • Il Risultato: Il documento ha scoperto che in queste zone "sconosciute", diversi metodi di IA danno risposte e livelli di confidenza radicalmente diversi. Nessuno di essi era perfettamente affidabile. L'incertezza che riportavano era per lo più un riflesso della loro "personalità" interna (le loro assunzioni matematiche) piuttosto che di una conoscenza effettiva.

Riepilogo

Questo documento è un appello alla chiarezza e all'onestà nella scienza.

1. Smetti di confondere le parole: Sii chiaro se il tuo dubbio deriva dal rumore (casualità) o dall'ignoranza (mancanza di dati).
2. Controlla il tuo lavoro: Non fidarti ciecamente del numero dell'IA. Usa "test di copertura" e "test di bias" per vedere se l'IA sta effettivamente dicendo la verità sulla sua confidenza.
3. Diffida dell'ignoto: Quando l'IA è chiamata a indovinare cose che non ha mai visto, la sua confidenza è un'ipotesi, non un fatto. Gli scienziati devono trattare questi risultati di "estrapolazione" con estrema cautela.

L'obiettivo finale è garantire che quando l'IA aiuta a fare scoperte scientifiche, sappiamo esattamente quanto possiamo fidarci del risultato.

Sommario tecnico

Riepilogo Tecnico: Incertezza nella Fisica e nell'IA: Tassonomia, Quantificazione e Validazione

Enunciato del Problema

L'integrazione dell'apprendimento automatico (ML) nella fisica richiede una quantificazione dell'incertezza (UQ) affidabile per garantire che le conclusioni scientifiche siano statisticamente valide. Sebbene le stime dell'incertezza siano indispensabili in fisica per determinare la credibilità delle misurazioni, combinare i risultati e stabilire le soglie di scoperta, la loro applicazione nel ML spesso manca di un'interpretazione statistica unificata. La terminologia è incoerente tra le diverse comunità: i fisici distinguono tradizionalmente tra incertezze statistiche e sistematiche, mentre la letteratura statistica e sul ML utilizza spesso le distinzioni aleatorica (dati) ed epistemica (modello). Questi vocabolari si sovrappongono ma non sono sinonimi, portando a potenziali confusioni riguardo alla riducibilità e alla fonte dell'incertezza. Inoltre, i moderni metodi ML per l'UQ variano notevolmente nel loro fondamento teorico, spaziando da quelli con garanzie su campioni finiti (ad esempio, la previsione conformale) a quelli che si basano sulla validazione empirica (ad esempio, ensemble profondi). Vi è un bisogno critico di un quadro strutturato per chiarire questi concetti, distinguere tra incertezza inferenziale e predittiva e fornire strumenti principiali per la validazione.

Metodologia

Il documento stabilisce una panoramica strutturata dell'UQ attraverso tre pilastri metodologici principali:

1. Quadro Tassonomico: Gli autori propongono una tassonomia unificata basata su tre dimensioni:

   • Fonte: Statistica (fluttuazioni finite dei dati) vs. Sistematica (modellazione/assunzioni imperfette).
   • Natura: Aleatorica (casualità irriducibile nella generazione dei dati) vs. Epistemica (incertezza dovuta alla mancanza di conoscenza, riducibile con più dati o modelli migliori).
   • Oggetto: Incertezza inferenziale (riguardante i parametri $\theta$) vs. Incertezza predittiva (riguardante le osservabili future $y^*$).
     Il documento chiarisce che statistico/sistematico classificano le fonti, mentre aleatorico/epistemico classificano la natura. Decomponendo esplicitamente l'incertezza epistemica in variabilità dell'addestramento, variabilità dei dati, bias del modello e spostamento del dominio.

2. Prospettive Statistiche: Il documento confronta i quadri Frequentista e Bayesiano.

   • Frequentista: Si concentra su garanzie a lungo termine (ad esempio, intervalli di confidenza, previsione conformale) dove i dati sono casuali e i parametri sono fissi.
   • Bayesiano: Si concentra sulla modellazione probabilistica dei parametri (distribuzioni a posteriori) e sulle distribuzioni predittive tramite marginalizzazione.
   • Il testo discute i ponti tra questi, come il teorema di Bernstein–von Mises e gli approcci Generalizzati/Post-Bayesiani (ad esempio, Inferenza Variazionale Generalizzata) che disaccoppiano gli obiettivi inferenziali dalle assunzioni di verosimiglianza strette.

3. Validazione e Diagnostica: Gli autori dettagliano strumenti statistici specifici per validare l'UQ:

   • Test di Copertura: Valutazione se le regioni predittive contengono i risultati veri con la frequenza pubblicizzata (marginale vs. condizionata).
   • Calibrazione: Misura dell'allineamento tra le probabilità previste e le frequenze osservate (ad esempio, Errore di Calibrazione Atteso, diagrammi di affidabilità).
   • Test di Bias: Diagnosi di spostamenti sistematici nelle stime centrali utilizzando distribuzioni di "pull" e residui normalizzati.
   • Regole di Punteggio Corrette: Valutazione della fedeltà complessiva delle distribuzioni predittive (ad esempio, punteggio Brier, log-verosimiglianza negativa) per incentivare previsioni probabilistiche oneste.

4. Illustrazioni Empiriche: Il documento implementa e confronta cinque metodi UQ su compiti di regressione e classificazione controllati:

   • Metodi: Processi Gaussiani (GP), Previsione Conformale (CP), Reti Neurali Bayesiane (BNN) tramite Inferenza Variazionale (VI) e Monte Carlo Hamiltoniano (HMC), Ensemble Repulsivi (RE) e Apprendimento Profondo Evidenziale (EDL).
   • Compiti: Un problema di regressione 1D (test di interpolazione vs. estrapolazione) e un problema di classificazione binaria (dataset a due lune con un quadrato centrale rimosso).

Contributi Chiave

• Tassonomia Unificata: Il documento fornisce una classificazione chiara e multidimensionale dell'incertezza che riconcilia il linguaggio "statistico/sistematico" della fisica con il linguaggio "aleatorico/epistemico" del ML, mappando esplicitamente le loro intersezioni (ad esempio, Tabella 1).
• Distinzione degli Oggetti: Separa rigorosamente l'incertezza inferenziale (parametri) dall'incertezza predittiva (osservabili), chiarificando che i criteri di validazione (come la copertura) differiscono significativamente tra i due.
• Kit di Validazione: Consolida un insieme di strumenti diagnostici principiali (copertura, calibrazione, bias, regole di punteggio) necessari per valutare se le affermazioni di incertezza basate sul ML siano affidabili nei flussi di lavoro scientifici.
• Confronto Metodologico: Attraverso esempi pratici, il documento dimostra come diverse assunzioni di modellazione (bias induttivi) portino a stime di incertezza divergenti, in particolare nei regimi di estrapolazione dove i dati sono scarsi.

Risultati

Gli esempi empirici producono diverse scoperte critiche:

• Interpolazione vs. Estrapolazione: Nelle regioni di interpolazione ricche di dati, diversi metodi UQ (GP, BNN, Ensemble, CP) producono accuratezza e bande di incertezza comparabili. Tuttavia, nelle regioni di estrapolazione (fuori dal dominio di addestramento), i metodi divergono significativamente. Il loro comportamento è governato da bias induttivi (ad esempio, scelta del kernel nei GP, architettura nelle NN) piuttosto che da vincoli sui dati.
• Fallimento della Calibrazione nell'Estrapolazione: Le diagnostiche di validazione (curve di calibrazione e distribuzioni di pull) rivelano che, sebbene i metodi possano essere ben calibrati all'interno del dominio di addestramento, nessuno mantiene una copertura nominale o distribuzioni di pull di larghezza unitaria quando costretti a estrapolare. Le stime di incertezza in queste regioni riflettono assunzioni a priori piuttosto che vincoli statistici.
• Prestazioni di Classificazione: Nel compito di classificazione binaria, i metodi che eseguono inferenza a posteriori (HMC, VI, Ensemble) generalmente superano i baseline deterministici nella calibrazione (punteggio Brier ed ECE inferiori). Gli ensemble repulsivi hanno mostrato una calibrazione migliorata rispetto agli ensemble naif coprendo meglio il posteriore.
• Limiti di Approssimazione: Sebbene l'HMC serva come "standard aureo", la VI a campo medio e altre approssimazioni possono performare in modo comparabile in scenari semplici e unimodali. Tuttavia, il documento nota che per posteriori complessi (multimodali, a code pesanti), la scelta dell'approssimazione diventa critica.

Significato e Affermazioni

Il documento si posiziona come un contributo fondamentale all'iniziativa VERaiPHY, mirante a stabilire standard di verifica e validazione per il ML in fisica. Il suo significato risiede in:

• Chiarezza Concettuale: Colma le lacune terminologiche tra le comunità di fisica, statistica e ML, fornendo un linguaggio comune per discutere l'incertezza.
• Guida Pratica: Sottolinea che la validità dell'UQ non è garantita dalla derivazione formale di un metodo, ma deve essere validata empiricamente utilizzando diagnostiche specifiche.
• Aspettative Realistiche: Gli autori affermano modestamente che, sebbene esistano metodi UQ scalabili, la questione aperta più critica è la loro robustezza sotto assunzioni non ideali (mala specificazione del modello, spostamento della distribuzione). Sostengono che nei regimi di estrapolazione, l'incertezza dipende fondamentalmente dalle assunzioni di modellazione, richiedendo un'interpretazione attenta piuttosto che una fiducia cieca negli output algoritmici.
• Integrazione nella Pipeline: Il documento afferma che un UQ robusto non è un'aggiunta opzionale, ma un componente strutturale dell'intera pipeline di inferenza scientifica, essenziale per compiti a valle come l'unfold, la stima dei parametri e gli adattamenti globali.

Il lavoro conclude che un uso scientifico affidabile del ML richiede di rendere esplicite e verificabili le assunzioni di modellazione, le procedure inferenziali e le diagnostiche di validazione in ogni fase della pipeline.