Pointwise Metrics Mislead: An Evaluation Protocol for Multimodal Inverse Problems

Questo articolo sostiene che le metriche puntuali standard come RMSE e MAE falliscono strutturalmente nel valutare problemi inversi multimodali, introducendo sistematicamente un bias verso ricostruzioni con distribuzioni più strette, e propone un protocollo di valutazione in tre parti basato sull'accuratezza distribuzionale, sulla fedeltà spettrale e sulla calibrazione dell'incertezza per garantire conclusioni scientificamente valide.

L'essenziale

Il Grande Problema: La Trappola della "Media"

Immagina di dover indovinare la posizione di un tesoro nascosto. Hai una mappa, ma è un po' sfocata. A volte il tesoro si trova sicuramente nella grotta del Nord, e altre volte sicuramente nella grotta del Sud. Non si trova mai nel mezzo.

Nel mondo della scienza (come nella fisica delle particelle o nella diagnostica per immagini), gli scienziati usano spesso i computer per risolvere questi "giochi di indovinello". Da molto tempo, hanno giudicato quanto un computer sia bravo ponendo una domanda semplice: "Quanto è vicina la tua ipotesi alla risposta reale?"

Se il computer indovina "Nord" e il tesoro è "Nord", ottiene un punteggio alto. Se indovina "Sud" e il tesoro è "Nord", ottiene un punteggio basso.

Il documento sostiene che questo modo di giudicare è difettoso quando ci sono due risposte possibili (Nord e Sud).

Se un computer è costretto a fornire un solo numero come risposta per minimizzare il suo "punteggio di errore", barerà. Invece di dire "È o Nord o Sud", indovinerà "Mezzo".

• Perché? Matematicamente, il "Mezzo" è la media tra Nord e Sud. La distanza dal Mezzo al Nord è la stessa che dal Mezzo al Sud. Quindi, l'ipotesi "Mezzo" ha l'errore medio più basso.
• Il Problema: Il tesoro non si trova mai nel Mezzo. Il computer sta fornendo una risposta media matematicamente "perfetta" ma fisicamente impossibile.

La Conseguenza: Un'Immagine Sfocata e Distorta

Il documento mostra che quando gli scienziati usano questi punteggi "medi" (chiamati RMSE o MAE) per selezionare i migliori modelli informatici, scelgono accidentalmente modelli che appiattiscono la verità.

Immagina di dover ricreare una catena montuosa da foto sfocate.

• La Verità: Due picchi netti e distinti (Nord e Sud).
• Il Modello "Medio": Disegna un'unica collina larga e piatta nel mezzo.

Se guardi quella "collina piatta", potrebbe sembrare più vicina alle foto rispetto ai picchi netti, quindi il computer ottiene un punteggio migliore. Ma se usi quella collina piatta per costruire una stazione sciistica, sarai nei guai perché non ci sono veri picchi su cui sciare.

Nella scienza, queste "cime" e "code" dei dati contengono i segreti più importanti (come la massa di una nuova particella). Costringendo il computer a fornire una singola risposta "media", stiamo accidentalmente sfocando i dettagli più importanti, rendendo errate le nostre misurazioni scientifiche.

La Soluzione: Un Nuovo Test in Tre Fasi

Gli autori propongono un nuovo modo per testare questi computer, come una prova di guida con tre diverse parti invece di una sola.

1. Il Test della "Mappa Completa" (CRPS)
Invece di chiedere solo un'ipotesi, chiediamo al computer di disegnare l'intera mappa delle possibilità.

• Analogia: Invece di chiedere "Il tesoro è a Nord o a Sud?", chiediamo: "Disegna la mappa di probabilità".
• Un buon modello disegnerà due macchie distinte (una per Nord, una per Sud). Un modello scadente disegnerà una grande macchia nel mezzo. Questo test premia i modelli che ammettono: "Non so esattamente quale dei due sia, ma so che è uno di questi due".

2. Il Test della "Folla" (Fedeltà dello Spettro)
Osserviamo i risultati di 10.000 ipotesi prese tutte insieme.

• Analogia: Se chiedi a 1.000 persone di indovinare dove si trova il tesoro, e 500 dicono Nord e 500 dicono Sud, ottieni un'immagine perfetta delle due grotte. Se viene usato il modello "medio", tutti dicono "Mezzo", e ottieni l'immagine di un'unica grotta falsa.
• Questo test verifica se la collezione di ipotesi assomiglia al mondo reale, non solo se le singole ipotesi sono vicine.

3. Il Test della "Fiducia" (Calibrazione)
Verifichiamo se il computer è onesto riguardo a quanto è sicuro.

• Analogia: Se un'app meteo dice che c'è il 90% di probabilità di pioggia, dovrebbe piovere il 90% delle volte. Se dice 90% ma piove solo il 50% delle volte, l'app sta mentendo sulla sua fiducia.
• Questo test assicura che il computer non stia solo indovinando a caso, ma sia effettivamente sicuro nei punti giusti.

Cosa Hanno Scoperto

Gli autori hanno testato questo nuovo metodo su due cose:

1. Un problema matematico finto dove conoscevano la risposta esatta.
2. Un problema fisico reale che coinvolge i quark top (particelle minuscole) dove due neutrini (particelle fantasma) sfuggono alla rilevazione, rendendo la matematica molto complessa.

Il Risultato Scioccante:
I modelli che sembravano i "vincitori" sotto il vecchio test della "Media" (quelli che fornivano la singola risposta piatta e centrale) erano in realtà i peggiori nel preservare la vera forma dei dati.

I modelli che fornivano le risposte "disordinate" a due macchie (quelli che sembravano peggiori sotto il vecchio test) erano in realtà i migliori nel dire la verità.

Il Messaggio Chiave

Il documento conclude che il modo in cui misuri il successo determina ciò che trovi.

Se misuri solo "quanto l'ipotesi è vicina alla verità", costruirai modelli che cancellano le parti interessanti e complesse della realtà. Per ottenere la risposta scientifica corretta, devi smettere di chiedere un singolo numero e iniziare a chiedere l'intera storia delle possibilità.

In breve: Non chiedere solo: "Quanto eri vicino?". Chiedi: "Hai raccontato l'intera storia?"

Sommario tecnico

Enunciato del Problema

Nel campo della ricostruzione scientifica (ad esempio, fisica delle particelle, imaging medico, geofisica), la valutazione è attualmente dominata da metriche puntuali come l'Errore Quadratico Medio Radice (RMSE), l'Errore Assoluto Medio (MAE) e la risoluzione per evento. Queste metriche operano sotto l'assunzione implicita che un errore inferiore equivalga a una migliore ricostruzione.

Gli autori sostengono che questa assunzione fallisce strutturalmente per i problemi inversi sottodeterminati in cui la posteriora condizionata $p(z|x)$ è multimodale. In tali scenari, il predittore ottimale sotto MSE è l'aspettativa condizionata $E[z|x]$. Per posteriori multimodali, questa aspettativa cade spesso in regioni di densità di probabilità trascurabile (tra le modalità). Di conseguenza, i modelli addestrati per minimizzare gli errori puntuali producono previsioni che sono individualmente "non fisiche" e, quando aggregate, comprimono sistematicamente lo spettro marginale della variabile latente $z$. Questa compressione distorce le code, le modalità e le forme delle distribuzioni, che sono proprio le caratteristiche su cui si basano le misurazioni scientifiche a valle.

Fondamento Teorico

Il lavoro stabilisce un argomento teorico basato sulla Legge della Varianza Totale:
$$\text{Var}[z] = E[\text{Var}[z|x]] + \text{Var}[E[z|x]]$$
Gli autori dimostrano che per qualsiasi stimatore puntuale $f_\theta(x)$ che converge alla media condizionata $E[z|x]$, la varianza delle previsioni $\text{Var}[E[z|x]]$ è strettamente inferiore o uguale alla vera varianza marginale $\text{Var}[z]$, con l'uguaglianza che vale solo se la posteriora ha larghezza zero.

• Implicazione: Gli stimatori puntuali producono intrinsecamente uno spettro marginale che è più stretto della verità. Questo è un bias, non un termine di varianza, il che significa che non diminuisce con dimensioni maggiori del dataset.
• Conseguenza: Valutare i modelli esclusivamente tramite metriche puntuali premia attivamente la soppressione della struttura della posteriora e penalizza i modelli che la preservano, portando a conclusioni scientifiche distorte.

Metodologia: Un Protocollo di Valutazione in Tre Parti

Per affrontare queste modalità di fallimento, gli autori propongono un protocollo a tre metriche in cui ciascuna metrica mira a una specifica carenza non rilevata dalle altre:

1. Accuratezza Distribuzionale per Evento (CRPS):

   • Utilizza il Punteggio di Probabilità Classificato Continuo (CRPS), una regola di punteggio strettamente propria.
   • A differenza di RMSE/MAE, il CRPS è minimizzato solo quando la distribuzione predittiva corrisponde alla vera posteriora. Penalizza il "crollo della posteriora" (prevedere un singolo punto in uno spazio multimodale) invece di premiarlo.
   • Si riduce al MAE per gli stimatori puntuali, permettendo un confronto equo tra modelli generativi e di regressione.

2. Fedeltà dello Spettro a Livello di Popolazione:

   • Valuta la distribuzione marginale $p(z)$ su tutto il dataset, che è la quantità di interesse per la fisica a valle.
   • Utilizza una statistica $\chi^2$ binnata confrontando l'istogramma dei valori predetti con i valori veri.
   • Questa metrica rileva la compressione sistematica delle caratteristiche spettrali (code e modalità) che le metriche puntuali non colgono.

3. Affidabilità dell'Incertezza (Calibrazione):

   • Valuta se la larghezza della posteriora predetta è affidabile utilizzando la previsione conformale per generare curve di copertura.
   • Un modello perfettamente calibrato produce una curva di copertura che segue la diagonale (la copertura empirica è uguale al livello di confidenza nominale).
   • Questo distingue tra modelli che sono semplicemente nitidi (stretti) e quelli che sono sia nitidi che calibrati.

Contributi Chiave

1. Dimostrazione Teorica: È stato dimostrato che qualsiasi stimatore puntuale che minimizza MSE o MAE produce uno spettro marginale strettamente più stretto della verità ogni volta che la posteriora ha varianza non nulla, indipendentemente dall'architettura o dalla dimensione del dataset.
2. Protocollo di Valutazione: È stato introdotto un protocollo unificato (CRPS, Fedeltà dello Spettro, Calibrazione) applicabile attraverso famiglie di modelli di regressione, misti e generativi.
3. Validazione Empirica: È stato mostrato che le classifiche dei modelli si invertono tra metriche puntuali e distribuzionali su benchmark sia sintetici che reali.

Risultati Sperimentali

Benchmark I: Problema Inverso Sintetico

• Configurazione: Un problema controllato con una posteriora bimodale analiticamente trattabile ($x = z^2 + \epsilon$).
• Risultati:
  • Un MLP di regressione standard ha ottenuto il RMSE più basso, ma ha collassato lo spettro marginale in un picco a zero (la media condizionata), fallendo nel rappresentare la verità bimodale.
  • I modelli generativi (Flussi Normalizzanti, Reti a Densità di Misto) hanno avuto un RMSE più alto ma hanno raggiunto un CRPS e una fedeltà dello spettro quasi perfetti ($\chi^2_{spec}$ vicino ai gradi di libertà).
  • La media dei campioni della posteriora del Flusso Normalizzante ha recuperato il povero RMSE e la distorsione spettrale della Regressione, confermando che la Regressione è semplicemente la media condizionata del Flusso.

Benchmark II: Fisica delle Particelle (Ricostruzione del Quark Top)

• Configurazione: Ricostruzione di coppie di quark top da decadimenti dileptonici (un problema inverso molti-a-uno con ambiguità combinatoria e neutrini mancanti).
• Risultati:
  • Metriche Puntuali: Un Transformer addestrato con puro MSE ha ottenuto il miglior RMSE. Un Transformer con regolarizzazione MMD (Marginal Maximum Mean Discrepancy) ha performato leggermente peggio.
  • Metriche Distribuzionali: La classifica è cambiata. Un Flusso Normalizzante Discreto ha dominato su CRPS e fedeltà dello spettro. I Transformer, anche con regolarizzazione MMD, non sono riusciti a correggere la multimodalità per evento, risultando in valori massicci di $\chi^2_{spec}$ (ordini di grandezza peggiori dei flussi).
  • Calibrazione: Mentre CRPS e fedeltà dello spettro distinguevano i flussi dai transformer, la calibrazione distingueva tra le due architetture di flusso. Il Flusso Discreto (verosimiglianza esatta) era ben calibrato, mentre il Flusso Continuo (verosimiglianza approssimata basata su ODE) copriva sistematicamente meno del previsto, una distinzione invisibile al solo CRPS.

Significato e Affermazioni

Il lavoro afferma che è il protocollo di valutazione, non il modello, a determinare la conclusione scientifica. Affidandosi a metriche puntuali, la comunità scientifica ha favorito involontariamente modelli i cui spettri ricostruiti non possono supportare misurazioni a valle.

• Disallineamento Strutturale: Gli autori affermano che le metriche puntuali sono strutturalmente disallineate con gli obiettivi della ricostruzione scientifica in contesti multimodali.
• Necessità del Protocollo: Il protocollo proposto in tre passaggi è necessario per esporre le distinzioni tra architetture che appaiono identiche sotto metriche standard (ad esempio, distinguere tra flussi di verosimiglianza esatti e approssimati tramite calibrazione).
• Agnosticismo di Dominio: I risultati si applicano a qualsiasi problema inverso con varianza della posteriora non trascurabile (ad esempio, recupero di fase, inferenza cosmologica), non solo ai benchmark specifici testati.

Gli autori concludono che una valutazione attenta utilizzando questo protocollo rende visibile il bias della valutazione basata solo su metriche puntuali, fornendo ai praticanti una base di confronto su cui possono fondarsi le conclusioni scientifiche. Osservano che, sebbene i loro risultati siano robusti, i valori assoluti di performance sono specifici al loro setup sperimentale, e l'inversione stessa della classifica è il risultato robusto e generalizzabile.