Sintesi Tecnica: Variational Sparse Paired Autoencoders (vsPAIR) per Problemi Inversi e Quantificazione dell'Incertezza

1. Definizione del Problema

I problemi inversi comportano la ricostruzione di quantità di interesse nascoste (QoI), denotate con $x$, a partire da osservazioni rumorose e indirette $y$, tipicamente modellate come $y = F(x) + \varepsilon$. Questi problemi sono spesso mal posti, il che significa che piccole perturbazioni in $y$ possono portare a grandi variazioni nella $x$ ammissibile.

Sebbene i metodi variazionali classici (ad esempio, Tikhonov, Total Variation) e gli approcci bayesiani forniscano garanzie teoriche, essi richiedono spesso valutazioni ripetute dell'operatore diretto $F$ e una calibrazione attenta dei parametri di regolarizzazione, il che può risultare computazionalmente costoso in contesti ad alta dimensionalità o non lineari. Al contrario, gli approcci guidati dai dati come le reti neurali end-to-end offrono un'inferenza rapida, ma tipicamente forniscono solo stime puntuali, mancando della struttura probabilistica necessaria per la Quantificazione dell'Incertezza (UQ).

I metodi generativi esistenti per l'UQ, come i modelli di diffusione basati sul punteggio (score-based diffusion models), possono approssimare la distribuzione a posteriori $p(x|y)$, ma spesso sacrificano la velocità di inferenza a causa dei requisiti di campionamento iterativo. Inoltre, molti approcci nello spazio latente soffrono di codici latenti "densi", dove l'informazione è intrecciata tra tutte le dimensioni, oscurando le fonti di incertezza e rendendo difficile interpretare quali caratteristiche dei dati guidino gli errori di ricostruzione.

2. Metodologia: Il Framework vsPAIR

Gli autori propongono il Variational Sparse Paired Autoencoder (vsPAIR), un framework progettato per fornire un'inferenza veloce e ammortizzata insieme a stime dell'incertezza strutturate e interpretabili. L'architettura integra tre componenti principali:

2.1 Struttura del Paired Autoencoder

Ispirandosi alle architetture "Latent Twin", vsPAIR impiega due autoencoder separati:

1. Encoder delle Osservazioni: Un Variational Autoencoder (VAE) standard codifica le osservazioni $y$ in uno spazio latente $z_y$ utilizzando una distribuzione posteriore variazionale gaussiana $q_{\phi_y}(z_y | y)$.
2. Encoder della QoI: Un Sparse Variational Autoencoder (sVAE) codifica le quantità di interesse $x$ in uno spazio latente $z_x$ utilizzando una distribuzione variazionale spike-and-slab $q_{\phi_x}(z_x | x)$.
3. Mappatura Latente: Una mappatura appresa $M_{\leftarrow}$ connette i due spazi latenti, trasformando i parametri della distribuzione dell'encoder delle osservazioni $(\mu_y, \sigma_y)$ in quelli dell'encoder della QoI $(\mu_x, \sigma_x, \omega_x)$.

Questa accoppiata permette all'encoder della QoI di apprendere caratteristiche ancorate a dati puliti ($x$) piuttosto che direttamente da osservazioni corrotte, separando l'apprendimento delle caratteristiche del segnale dal processo di inversione.

2.2 Rappresentazioni Latenti Sparse (sVAE)

Per affrontare il problema dell'informazione intrecciata, l'encoder della QoI utilizza una distribuzione spike-and-slab per il suo prior e la sua posteriore. Per ogni dimensione latente $i$, la distribuzione è un mix di una massa puntiforme sullo zero (lo "spike") e una Gaussiana continua (la "slab"):
$$q_{\phi}(z_i | x) = \omega_i \mathcal{N}(z_i | \mu_i, \sigma_i^2) + (1 - \omega_i)\delta_0(z_i)$$
Qui, $\omega_i$ rappresenta la probabilità che la $i$-esima dimensione sia attiva. Questa struttura forza il modello a concentrare l'informazione in un piccolo numero di fattori identificabili (dimensioni attive) invece di diffonderla in tutto lo spazio latente.

2.3 Obiettivo di Addestramento

Il framework viene addestrato end-to-end minimizzando una funzione di perdita composita (Equazione 14) che include:

• ELBO per la QoI ($L_{sVAE}$): Incoraggia la ricostruzione di $x$ a partire da codici latenti sparsi.
• ELBO per le Osservazioni ($L_{VAE}$): Incoraggia la ricostruzione di $y$.
• Perdita di Mappatura Latente ($L_M$): Minimizza l'Errore Quadratico Medio (MSE) tra i veri parametri latenti di $x$ e i parametri predetti derivati da $y$ tramite $M_{\leftarrow}$. Una penalità di entropia binaria opzionale viene aggiunta per incoraggiare un gating deciso (spingendo $\omega$ verso 0 o 1).
• Regolarizzazione Beta ($L_\rho$): Un termine utilizzato per apprendere il livello di sparsità del prior $\rho$.

Fondamentalmente, il framework non richiede l'accesso all'operatore diretto $F$ durante l'addestramento; si basa esclusivamente su campioni accoppiati $(x, y)$.

3. Contributi Principali

Il documento delinea tre contributi primari:

1. Il Framework vsPAIR: Una nuova architettura che combina inferenza probabilistica, sparsità e mappature latenti accoppiate per consentire un'inversione veloce e consapevole dell'incertezza senza richiedere l'operatore diretto.
2. Validazione Sperimentale: Dimostrazione di prestazioni di ricostruzione competitive su problemi inversi mal posti, inclusi l'inpainting cieco, la tomografia computerizzata (CT) e l'inferenza delle condizioni iniziali per l'equazione del calore.
3. Incertezza Strutturata e Interpretabile: Evidenza che vsPAIR produce rappresentazioni latenti sparse dove le dimensioni attive corrispondono a caratteristiche fondamentali della ricostruzione. Di conseguenza, l'incertezza non è diffusa ma localizzata in questi specifici fattori, permettendo alla varianza delle stime di essere ricondotta a fonti identificabili.

4. Risultati Sperimentali

Gli autori hanno valutato vsPAIR contro baseline deterministici (PAIR), baseline variazionali (vPAIR) e baseline di sola sparsità (sVAE), nonché metodi di UQ basati sulla diffusione (DPS).

• Modello Lineare Gaussiano: In un caso di test semplice con un posteriore noto, vsPAIR ha appreso con successo uno spazio latente strutturato dove le dimensioni attive sono collassate per corrispondere alla dimensionalità reale dei dati. Le perturbazioni in queste dimensioni attive si allineavano con gli autovettori della vera covarianza del posteriore.
• Blind Inpainting (MNIST):
  • Ricostruzione: vsPAIR ha ottenuto un MSE competitivo, sebbene leggermente superiore al PAIR deterministico, coerentemente con il compromesso di regolarizzazione inerente ai VAE.
  • Localizzazione dell'Incertezza: Le analisi qualitative e quantitative hanno mostrato che vsPAIR poteva identificare dimensioni latenti che controllavano selettivamente le regioni corrotte. Mentre vPAIR e vsPAIR hanno mostrato "rapporti di localizzazione" simili (varianza concentrata nelle regioni mancanti), vsPAIR ha dimostrato che la sua struttura sparsa e accoppiata permetteva una separazione più netta tra struttura globale e incertezza locale.
  • Stabilità: vsPAIR ha mantenuto un sottoinsieme stabile di dimensioni costantemente attive (circa 11,5 per immagine), mentre l'sVAE a singolo encoder mostrava un'alta variabilità nelle dimensioni attive, suggerendo che la struttura accoppiata stabilizza l'apprendimento delle caratteristiche.
• Tomografia Computerizzata (LoDoPaB-CT):
  • vsPAIR ha prodotto ricostruzioni competitive con TV-ADMM e più veloci di Diffusion Posterior Sampling (DPS).
  • Le stime dell'incertezza erano concentrate sui bordi e sulle caratteristiche strutturali (ad esempio, fori, strutture ossee).
  • A differenza di DPS, che talvolta introduceva dettagli fini "allucinati", vsPAIR ha mostrato un comportamento conservativo, che gli autori notano possa essere favorevole nelle applicazioni mediche dove evitare falsi positivi è critico.
  • Il modello ha concentrato con successo la varianza in un insieme sparso di indici latenti (circa 1.383 dimensioni attive su 4.096).
• Equazione del Calore (Non lineare):
  • Applicato all'inferenza delle condizioni iniziali da stati temporali successivi, vsPAIR ha ottenuto ricostruzioni ad alta fedeltà (MSE 0,071).
  • I grafici della varianza si sono correttamente concentrati attorno alle principali sorgenti di calore, e i transiti latenti hanno mostrato che specifici indici controllavano le macro-caratteristiche della ricostruzione.

5. Significato e Rivendicazioni

Il documento sostiene che vsPAIR offre una via rigorosa verso una Quantificazione dell'Incertezza interpretabile. A differenza dei metodi di UQ standard che forniscono misure aggregate di fiducia (ad esempio, "il modello è sicuro all'80%"), vsPAIR mira a rispondere a cosa è incerto. Ancorando le rappresentazioni della QoI a dati puliti e imponendo la sparsità, il framework isola l'incertezza in fattori latenti specifici e identificabili.

Gli autori posizionano vsPAIR come particolarmente adatto per applicazioni in cui:

• L'interpretabilità è fondamentale: Gli utenti devono capire quali caratteristiche guidano l'ambiguità (ad esempio, distinguere una patologia da un artefatto nelle immagini mediche).
• I modelli diretti sono sconosciuti o costosi: Il metodo richiede solo dati accoppiati, non l'operatore $F$.
• È richiesta un'inferenza veloce: Una volta addestrato, vsPAIR fornisce un'inferenza ammortizzata tramite un singolo passaggio in avanti, evitando i costi di campionamento iterativo dei modelli di diffusione.

Il documento riconosce modestamente alcuni limiti: l'impronta del modello è ampia (circa 550 milioni di parametri per la CT), e le probabilità di attivazione ($\omega$) e le varianze ($\sigma$) della distribuzione latente hanno mostrato una dipendenza limitata dalla specifica osservazione $y$ negli esperimenti, suggerendo che il modello apprenda un sottospazio ridotto piuttosto che una UQ completamente dipendente dall'osservazione. Gli autori notano che, sebbene il framework non garantisca la calibrazione con il vero posteriore bayesiano, la sua struttura permette la caratterizzazione dell'incertezza indotta dal modello in un contesto ridotto. Si identifica come necessario il lavoro futuro per calibrare meglio il framework e perfezionare l'implementazione dell'sVAE.