Distributional Consistency Loss: Beyond Pointwise Data Terms in Inverse Problems

Titolo: Distributional Consistency Loss: Oltre i termini di dati puntuali nei problemi inversi

1. Il Problema

Il recupero di segnali veri da misurazioni rumorose è una sfida centrale nei problemi inversi, con applicazioni che spaziano dall'imaging medico (es. PET, risonanza magnetica) alla geofisica e all'elaborazione del segnale.
Le soluzioni attuali bilanciano tipicamente due termini:

1. Fidelità ai dati (Data-fidelity): Assicura che la soluzione ricostruita sia coerente con le misurazioni osservate.
2. Regolarizzazione: Incorpora assunzioni a priori sulla struttura del segnale (es. liscezza, sparsità).

Limitazione attuale: Le funzioni di perdita (loss functions) standard per la fidelità ai dati, come l'Errore Quadratico Medio (MSE) o la Negativa Log-Likelihood (NLL), operano su base puntuale. Esse penalizzano la differenza tra il valore previsto e la misurazione rumorosa punto per punto.

• Conseguenza: Questo approccio incoraggia il modello a "adattarsi" (overfitting) alle singole realizzazioni del rumore piuttosto che garantire la compatibilità statistica con il modello di rumore sottostante.
• Soluzioni tradizionali: Per mitigare l'overfitting, si fa spesso ricorso all'early stopping (fermare l'ottimizzazione prima che il rumore venga appreso) o a regole basate sulla discrepanza. Tuttavia, queste tecniche richiedono un'attenta regolazione dei parametri iperparametrici e non modificano l'obiettivo fondamentale dell'ottimizzazione.

2. Metodologia: Distributional Consistency (DC) Loss

Gli autori introducono la Distributional Consistency (DC) Loss, un nuovo termine di fidelità ai dati che valuta la coerenza dei dati a livello di distribuzione anziché punto per punto.

Concetto Fondamentale:
Invece di minimizzare la distanza tra $f(\hat{\theta})$ e $m$ (misurazione), la DC loss verifica se l'insieme delle misurazioni osservate è statisticamente coerente con la distribuzione del rumore prevista dal modello corrente.

Algoritmo e Formulazione:

1. Trasformata Integrale di Probabilità (PIT): Per ogni misurazione $m_i$ e la sua distribuzione di rumore prevista $D_i(\hat{y}_i)$, si calcola la probabilità cumulativa (CDF):
   $$s_i = F_i(m_i | \hat{y}_i)$$
   Se il modello è corretto, i valori $s_i$ dovrebbero essere distribuiti uniformemente nell'intervallo $[0, 1]$.
2. Trasformata Logit: Per evitare gradienti che svaniscono quando $s_i$ è vicino a 0 o 1, si applica la funzione logit:
   $$r_i = \text{logit}(s_i) = \ln\left(\frac{s_i}{1-s_i}\right)$$
   Questo mappa la distribuzione uniforme target su una distribuzione Logistica standard $Logistic(0, 1)$.
3. Distanza di Wasserstein-1: La perdita è definita come la distanza di Earth Mover (Wasserstein-1) tra la distribuzione empirica dei valori trasformati $\{r_i\}$ e i campioni di riferimento dalla distribuzione Logistica target:
   $$L_{DC}(\hat{\theta}) = \frac{1}{N} \sum_{i=1}^{N} |r_i - u_i|$$
   dove $\{u_i\}$ sono campioni ordinati da $Logistic(0, 1)$.

Comportamento Dinamico:

• Fase iniziale (lontano dalla soluzione): La DC loss si comporta in modo simile alla MSE/NLL, guidando l'ottimizzazione verso la regione della soluzione.
• Fase avanzata (vicino alla soluzione): Una volta che la distribuzione dei residui è coerente con il rumore, la DC loss smette di premiare l'adattamento ai singoli valori rumorosi. Questo crea un "piano" di soluzioni a perdita zero, impedendo l'overfitting senza bisogno di fermare l'ottimizzazione.

3. Contributi Chiave

1. Nuovo termine di fidelità: Introduzione della DC loss come alternativa principiale basata sulla calibrazione distribuzionale, semplice da implementare e compatibile con l'autodifferenziazione.
2. Analisi teorica: Dimostrazione che la DC loss converge come MSE/NLL nelle fasi iniziali ma rimuove l'incentivo all'adattamento al rumore nelle fasi finali, permettendo ottimizzazioni prolungate e stabili.
3. Miglioramenti pratici:
   • Denoising con Deep Image Prior (DIP): Rimuove la necessità di early stopping, raggiungendo PSNR (Peak Signal-to-Noise Ratio) più elevati rispetto alla MSE.
   • Ricostruzione PET: Riduce gli artefatti da rumore nelle ricostruzioni ad alto numero di iterazioni e migliora il compromesso rumore-dettaglio quando combinata con regolarizzazione TV (Total Variation), permettendo pesi di regolarizzazione molto più bassi.
4. Validazione su dati reali: Applicazione e successo su dati clinici reali 3D PET, dimostrando la fattibilità operativa.

4. Risultati Sperimentali

A. Denoising con Deep Image Prior (DIP) - Rumore Gaussiano

• Setup: Un'immagine rumorosa viene ricostruita usando una rete neurale convoluzionale inizializzata casualmente.
• Risultato: Con la MSE, l'immagine degrada dopo circa 1.000 iterazioni a causa dell'overfitting al rumore. Con la DC loss, l'immagine rimane stabile e di alta qualità anche dopo 10.000 iterazioni.
• Metriche: La DC loss raggiunge un PSNR di picco superiore rispetto alla MSE ottimizzata con early stopping, senza richiedere la selezione manuale del punto di arresto.

B. Ricostruzione Tomografica (PET) - Rumore Poissoniano

• Setup: Ricostruzione di immagini PET da dati a conteggio Poissoniano.
• Risultato: Gli algoritmi tradizionali (MLEM, NLL-Adam) iniziano a "inseguire il rumore" (noise-chasing) dopo un certo numero di iterazioni, generando artefatti. La DC loss (DC-Adam) si stabilizza al livello di errore minimo e non degrada.
• Regolarizzazione: Quando combinata con la regolarizzazione TV, la DC loss permette di usare pesi di regolarizzazione ($\beta$) ordini di grandezza più piccoli rispetto alla NLL, ottenendo immagini più dettagliate e meno sfocate. La DC loss gestisce il rumore a livello di fidelità, lasciando alla regolarizzazione il compito di preservare la struttura.

C. Dati Clinici Reali

• Su un dataset PET cerebrale 3D reale, la ricostruzione con DC loss mostra un comportamento stabile nelle iterazioni tardive, a differenza della ricostruzione NLL che mostra amplificazione di frequenze alte tipica dell'overfitting.

5. Significato e Implicazioni

La Distributional Consistency Loss rappresenta un cambio di paradigma significativo per una classe importante di problemi inversi non supervisionati dominati dal rumore.

• Superamento dell'Early Stopping: Elimina la dipendenza critica dall'early stopping, rendendo i processi di ottimizzazione più robusti e facili da gestire.
• Sinergia con la Regolarizzazione: Riduce la tensione tra fidelità ai dati e regolarizzazione. Poiché il termine di fidelità non "lotta" contro il rumore, la regolarizzazione può concentrarsi esclusivamente sulla preservazione della struttura del segnale.
• Generalità: È applicabile a qualsiasi problema inverso con un modello di rumore noto (Gaussiano, Poissoniano, ecc.) e un gran numero di misurazioni indipendenti.
• Limiti: Richiede un modello di rumore noto o stimabile e un numero sufficiente di misurazioni per valutare il comportamento collettivo dei residui. Non è progettata per problemi dove l'ill-posedness dell'operatore (es. inpainting) è la sfida principale piuttosto che il rumore.

In sintesi, la DC loss offre un'alternativa statisticamente fondata e ad alte prestazioni alle funzioni di perdita tradizionali, migliorando la qualità della ricostruzione e semplificando il processo di ottimizzazione in scenari complessi come l'imaging medico.