Local Diagnostics of Continuous Normalizing Flow for Out-of-Distribution Detection

Sintesi Tecnica: Diagnostica Locale di Flussi Normalizzanti Continui per il Rilevamento di Out-of-Distribution

Definizione del Problema
Il documento affronta la sfida del rilevamento di Out-of-Distribution (OOD) in spazi di dati ad alta dimensionalità, specificamente quando l'osservazione target risiede in un sottospazio di tali dati. Un ostacolo primario è il "paradosso della verosimiglianza" (likelihood paradox), in cui i modelli generativi profondi (DGM), inclusi i Flussi Normalizzanti Continui (CNF), assegnano erroneamente verosimiglianze più elevate ai campioni OOD rispetto ai dati in distribuzione (ID). Questo fenomeno è attribuito al bias induttivo dei DGM, che privilegiano dettagli strutturali di basso livello (ad esempio, statistiche di sfondo o correlazioni tra pixel) rispetto alla coerenza semantica di alto livello. Sebbene i metodi esistenti tentino di mitigare ciò tramite rapporti di verosimiglianza o complessità dell'input, essi spesso trattano i DGM come stimatori di probabilità statici, ignorando le ricche informazioni dinamiche incorporate nelle traiettorie di addestramento e inferenza del modello.

Metodologia
Gli autori propongono un framework Lagrangian Sub-Flow (LSF) progettato per isolare e stimare la densità per le componenti rilevanti (il sottospazio target) utilizzando al contempo le componenti rimanenti come contesto. La metodologia si basa sulla fluidodinamica e coinvolge tre componenti tecniche principali:

1. Framework Lagrangian Sub-Flow:

   • Gli autori decompongono lo spazio di flusso ambiente $\mathbb{R}^D$ in un sottospazio target $S$ e uno spazio di contesto complementare $C$.
   • Identificano un problema critico denominato "inter-dimensional density leakage" (perdita di densità inter-dimensionale), in cui l'evoluzione dello spazio di contesto $C$ causa una deriva della massa di probabilità verso o fuori dal sottospazio target $S$, violando la conservazione locale della massa e mascherando i segnali cinematici intrinseci locali.
   • Per risolvere questo problema, introducono un meccanismo di "kinematic sealing" (sigillatura cinematica). Questo consiste nel proiettare il campo di velocità originale $v(x, t)$ sul sottospazio $S$ annullando le componenti di velocità in $C$ (impostando $v_C = 0$). Ciò crea un "tubo rigido" che ripristina l'autonomia del sub-flusso, permettendo una valida equazione di continuità locale senza ridefinire il sistema dinamico globale.

2. Sub-flow Hutchinson's Trace Estimator:

   • Per quantificare l'evoluzione della densità lungo il percorso sigillato, gli autori derivano una formula di variazione di variabili istantanea per i sub-flussi.
   • Propongono uno strumento stocastico per stimare efficientemente la traccia del Jacobiano del sub-flusso. Sfruttando la proiezione cinematica, si dimostra che la traccia del Jacobiano del sub-flusso è equivalente alla traccia del Jacobiano del flusso completo quando proiettata su specifici vettori di sonda. Ciò consente una stima efficiente utilizzando un numero ridotto di prodotti Jacobiano-vettore (JVP), rendendo l'approccio scalabile per campi vettoriali neurali ad alta dimensionalità.

3. Metriche Diagnostiche:
   Il documento definisce metriche basate sulla dinamica del sub-flusso per rilevare campioni OOD (specificamente mispronunciazioni nel parlato):

   • Basate sulla verosimiglianza: Log-verosimiglianza della sottorappresentazione ($LL$), fit del prior nello spazio latente ($PRIOR$) e correzione della distanza radiale ($RAD$).
   • Geometriche/Euristiche: Metriche che misurano la deviazione dalla traiettoria ottimale di trasporto ottimo (OT) rettilinea attesa per i campioni ID. Queste includono DISP (rapporto tra spostamento e lunghezza del percorso) e COS (similarità del coseno integrata tra la traiettoria OT e la traiettoria di whitening).

Contributi Chiave

• Framework LSF: Identificazione del problema di accoppiamento globale nei CNF basati su Transformer e proposta del framework Lagrangian Sub-Flow per ispezionare le proprietà locali preservando il contesto globale.
• Strumenti Stocastici: Sviluppo di strumenti efficienti per separare i segnali diagnostici locali dall'evoluzione globale, specificamente il sub-flow Hutchinson's Trace Estimator.
• Applicazione al Parlato: Dimostrazione di questi strumenti nel dominio del rilevamento zero-shot di mispronuncia a livello di fonema utilizzando un modello generativo del parlato basato su CNF (F5-TTS).
• Analisi Geometrica: Visualizzazione e discussione delle proprietà geometriche del campo vettoriale appreso, mostrando che il disallineamento geometrico è un indicatore più sensibile per il rilevamento OOD rispetto alle fluttuazioni di densità.

Risultati
Gli autori hanno valutato i loro metodi sul dataset CMU Kids per il rilevamento zero-shot di mispronuncia a livello di fonema.

• Verosimiglianza vs. Geometria: Le metriche basate sulla verosimiglianza (GOP-LL, GOP-PRIOR) sono state meno performanti rispetto ai metodi geometrici (GOP-DISP, GOP-COS). I risultati confermano il "paradosso della verosimiglianza", in cui campioni mispronunciati presentavano talvolta verosimiglianze più elevate rispetto a quelli corretti.
• Relativo vs. Assoluto: Le misure relative (confronto con un modello di background o di contesto) hanno generalmente superato le misure assolute.
• Performance: La metrica geometrica GOP-COS (relativa) ha raggiunto un'AUC di 0,738, superando i metodi tradizionali basati su GMM (0,723) ma restando inferiore ai metodi discriminativi allo stato dell'arte come GOP-CTC-SF (0,915).
• Validazione Sintetica: Esperimenti su dati sintetici hanno dimostrato che il meccanismo di sigillatura previene con successo la contaminazione della densità dalla dimensione complementare, risultando in una stima della densità fluida e completa sul manifold target.

Significatività e Rivendicazioni
Il documento sostiene che il vero potere diagnostico dei CNF non risiede nei punteggi di verosimiglianza olistici, ma nelle traiettorie localizzate e granulari all'interno del manifold ad alta dimensionalità. Decomponendo il flusso globale in sub-flussi specifici per il contesto, il metodo cattura l'incoerenza strutturale che altrimenti verrebbe mascherata dalla media globale.

Gli autori concludono che il disallineamento geometrico (deviazione dalla traiettoria di flusso attesa) funge da indicatore più sensibile per il rilevamento OOD rispetto alle semplici fluttuazioni di densità nei modelli CNF. Sebbene il metodo raggiunga prestazioni comparabili ai modelli discriminativi tradizionali in questo compito specifico, rimane al di sotto degli approcci discriminativi SOTA. Il lavoro rappresenta il primo tentativo di utilizzare i CNF per il rilevamento OOD in sottospazi, suggerendo che i lavori futuri dovrebbero verificare la generalizzabilità ad altri domini come la visione artificiale o i sistemi di sensoristica.