Riepilogo Tecnico: Flusso con Fiducia (FMwC)

Enunciato del Problema

I modelli generativi, in particolare i modelli di Flow Matching (FM), hanno raggiunto prestazioni allo stato dell'arte nei domini linguistico, visivo e scientifico. Tuttavia, producono output (ad esempio, citazioni allucinate, figure anatomicamente scorrette o cristalli termodinamicamente instabili) senza alcuna indicazione nativa di affidabilità. Le soluzioni esistenti per la quantificazione dell'incertezza, come gli Ensemble Profondi o MC-Dropout, si basano sull'esecuzione di $k$ modelli separati o di $k$ traiettorie stocastiche per campione. Questo approccio comporta un costo computazionale di $k\times$, rendendo la fiducia per campione proibitivamente costosa per il deployment su larga scala. Inoltre, è stato dimostrato che i metodi basati sulla verosimiglianza sono inaffidabili nel distinguere input in-distribution da input out-of-distribution nei modelli generativi profondi. La domanda centrale affrontata è se i modelli di flow-matching possano imparare a quantificare la propria incertezza per gli output generati senza aumentare i costi di inferenza o richiedere l'accesso alle verosimiglianze.

Metodologia: Flow Matching con Fiducia (FMwC)

FMwC è un approccio a passaggio singolo che equipaggia i modelli di flow-matching con un punteggio di fiducia per campione e a livello di traiettoria, allo stesso costo computazionale del flow matching deterministico standard. Il metodo integra il Dropout Adattativo Variazionale (VAD) con la propagazione dei momenti in forma chiusa attraverso la traiettoria dell'Equazione Differenziale Ordinaria (ODE).

1. Formulazione Variazionale

Invece di apprendere un singolo campo di velocità deterministico $v_{t,\theta}(x_t)$, FMwC tratta i pesi della rete $\omega$ come variabili casuali estratte da una posterior variazionale $q_\psi(\omega)$. Il modello massimizza il Limite Inferiore dell'Evidenza (ELBO):
$$\text{ELBO}(\psi) = \mathbb{E}_{\omega \sim q_\psi} [\log \mathcal{L}(D | \omega)] - \text{KL}[q_\psi(\omega) \parallel \pi(\omega)]$$
dove il termine di verosimiglianza corrisponde alla perdita di regressione standard del flow-matching condizionato. Crucialmente, il gradiente della log-verosimiglianza attesa sotto la posterior coincide con il gradiente della perdita di regressione standard valutata sui campioni dei pesi, consentendo un addestramento senza simulazione.

2. Posterior Dipendente dallo Stato tramite VAD

Per garantire che l'incertezza sia sensibile alla geometria locale del flusso, FMwC impiega il Dropout Adattativo Variazionale (VAD). In questo quadro, la posterior sui pesi nello strato $l$ è una Gaussiana $q_\psi(\omega_l | x, t) = \mathcal{N}(\theta_l, \alpha_l(x, t)^2 \theta_l^2)$, dove la scala del dropout $\alpha_l(x, t)$ è prevista da una piccola rete di inferenza $E_\gamma$. Ciò permette alla dispersione della posterior di allargarsi nelle regioni di ambiguità geometrica (dove il campo di velocità è difficile da adattare) e di restringersi altrove, appresa esclusivamente tramite l'ELBO.

3. Propagazione Analitica della Varianza

L'innovazione centrale di FMwC è la propagazione analitica della varianza del campo di velocità attraverso sia gli strati della rete neurale che la traiettoria di integrazione ODE in un singolo passaggio in avanti:

• Attraverso la Rete: Utilizzando il trucco di riparametrizzazione locale, la media ($\mu_l$) e la varianza ($\sigma_l^2$) delle attivazioni sono propagate strato per strato. Per gli strati lineari, la ricorsione della varianza è in forma chiusa. Per le non linearità, i momenti sono calcolati analiticamente utilizzando la quadratura Gauss-Hermite o la linearizzazione di Taylor, evitando la necessità di campionamento Monte Carlo.
• Attraverso l'ODE: Ad ogni passo di Eulero, la rete outputta la velocità media della posterior $\mu_t$ e la sua varianza $\sigma_t^2$. L'integratore avanza la posizione utilizzando $\mu_t$, mentre $\sigma_t^2$ viene registrata. Ciò produce una traiettoria di varianza $\{\sigma_t^2\}_{t=0}^T$ piuttosto che un singolo scalare.

4. Letture della Fiducia

La traiettoria di varianza può essere aggregata in punteggi di fiducia scalari per compiti a valle:

• Fiducia all'Endpoint: La varianza all'ultimo passo ($t=1$).
• Fiducia Integrata: La somma delle deviazioni standard della velocità lungo la traiettoria.
• Rapporto Temporale: Il rapporto tra la varianza della finestra tardiva e quella della finestra precoce, che aiuta a distinguere i campioni che convergono (bassa varianza tardiva) da quelli che rimangono ambigui.
• Testine Apprese: Una piccola testina supervisionata può mappare l'intera sequenza di varianza in un punteggio specifico per il compito.

Contributi Chiave

1. Stimatore di Fiducia a Passaggio Singolo: FMwC è il primo metodo a fornire un punteggio di fiducia calibrato per campione per il flow matching al costo di un singolo passaggio in avanti deterministico, corrispondente al budget di inferenza del FM standard. Ciò è ottenuto propagando analiticamente il rumore appreso e dipendente dall'input attraverso l'ODE.
2. Miglioramenti dell'Inferenza senza Addestramento: Il punteggio di fiducia abilita applicazioni pratiche senza riaddestramento:
   • Filtraggio: Migliora monotonicamente la qualità dei campioni scartando output a bassa fiducia.
   • Modifica: Identifica l'esatto timestep ($t^*$) in cui il modello si impegna in una struttura (picco di varianza), consentendo modifiche mirate e rispettose dei vincoli (ad esempio, scambi chimici nei cristalli) iniettando rumore a $t^*$.
   • Passaggi Adattivi: Concentra i passi computazionali dell'ODE nelle regioni di alta varianza (ambiguità), recuperando campioni di alta qualità con budget di passi ridotti dove i passaggi uniformi falliscono.
3. Interpretabilità Geometrica: Il documento stabilisce che il punteggio di fiducia FMwC correla con la divergenza locale del campo di velocità appreso. Ciò fornisce una finestra sul processo generativo, collegando l'incertezza epistemica all'instabilità geometrica (punti di biforcazione) del flusso.

Risultati Sperimentali

Gli autori hanno valutato FMwC su tre modalità: stima della densità 2D (Checkerboard), generazione di immagini (MNIST) e generazione di cristalli inorganici de novo (Flow Matching Riemanniano).

• Qualità del Campione: FMwC preserva o migliora la qualità del campione rispetto al FM standard. Su Checkerboard e MNIST, ha ottenuto tassi di errata collocazione e punteggi FID inferiori, rispettivamente, mantenendo una qualità comparabile sui cristalli.
• Costo di Inferenza: FMwC comporta un sovraccarico trascurabile su backbones più grandi (ad esempio, ~1.003$\times$ per MNIST, ~1.08$\times$ per Cristalli) rispetto alla baseline deterministica. Al contrario, le baseline di ensemble e MC-Dropout richiedono $5\times$ il calcolo.
• Prestazioni di Filtraggio: Il filtraggio basato sui punteggi FMwC ha ottenuto punteggi dell'Area Sotto la Curva Precisione-Recall (AUPRC) comparabili agli ensemble $k=5$ e MC-Dropout, ma al costo di una singola traiettoria. Ad esempio, sul dataset Checkerboard, il punteggio del rapporto temporale ha raggiunto un AUPRC di 0.55, uguagliando la baseline dell'ensemble (0.55) con 1/5 del calcolo.
• Successo della Modifica: Quando si modificano i cristalli iniettando rumore al picco di varianza ($t^*$), FMwC ha ottenuto tassi di successo significativamente più alti (ad esempio, 39% vs 22% per scambi chimici) rispetto alla selezione casuale del timestep, dimostrando che le regioni ad alta varianza corrispondono a punti decisionali critici.
• Correlazione con la Divergenza: La traiettoria di varianza $\sigma_t^2$ ha mostrato una forte correlazione con la magnitudine della divergenza del campo di velocità ($|\nabla \cdot v_{t,\theta}|$). Sul dataset Crystal, la correlazione integrata ha raggiunto un Spearman $\rho$ di 0.96, validando l'interpretazione geometrica del punteggio di fiducia.

Significato e Affermazioni

Il documento afferma che FMwC trasforma il flow matching da un generatore di campioni in un generatore di campioni accoppiati a una misura di affidabilità. Apprendendo una posterior dipendente dall'input sui pesi e propagando la varianza analiticamente, FMwC rende la generazione consapevole della fiducia un default pratico per applicazioni scientifiche e critiche per la sicurezza. Gli autori sottolineano che il punteggio di fiducia è una proprietà geometrica intrinseca del singolo flusso addestrato, distinta dal disaccordo inter-modale misurato dagli ensemble. Ciò permette una guida "chirurgica" del processo generativo, prendendo di mira momenti di instabilità senza i costi proibitivi dei metodi esistenti di quantificazione dell'incertezza. Il lavoro suggerisce che comprendere e sfruttare la geometria del campo di velocità appreso può portare a modelli generativi più affidabili, interpretabili e controllabili.