Local Diagnostics of Continuous Normalizing Flow for Out-of-Distribution Detection

Résumé Technique : Diagnostic Local des Flux Normalisants Continus pour la Détection de Hors-Distribution

Énoncé du Problème
L'article traite du défi de la détection de hors-distribution (OOD - Out-of-Distribution) dans les espaces de données de haute dimension, spécifiquement lorsque l'observation cible réside dans un sous-espace de ces données. Un obstacle majeur est le « paradoxe de la vraisemblance » (likelihood paradox), où les modèles génératifs profonds (DGM), y compris les flux normalisants continus (CNF), attribuent par erreur des vraisemblances plus élevées aux échantillons OOD qu'aux données de distribution interne (ID). Ce phénomène est attribué au biais inductif des DGM, qui privilégient les détails structurels de bas niveau (par exemple, les statistiques d'arrière-plan ou les corrélations de pixels) au détriment de la cohérence sémantique de haut niveau. Bien que les méthodes existantes tentent d'atténuer cela via des rapports de vraisemblance ou la complexité de l'entrée, elles traitent souvent les DGM comme des estimateurs de probabilité statiques, ignorant les riches informations dynamiques ancrées dans les trajectoires d'entraînement et d'inférence du modèle.

Méthodologie
Les auteurs proposent un cadre de Flux Sous-Lagrangien (LSF - Lagrangian Sub-Flow) conçu pour isoler et estimer la densité des composantes pertinentes (le sous-espace cible) tout en utilisant les composantes restantes comme contexte. La méthodologie est fondée sur la dynamique des fluides et implique trois composantes techniques centrales :

1. Cadre de Flux Sous-Lagrangien (LSF) :

   • Les auteurs décomposent l'espace de flux ambiant $\mathbb{R}^D$ en un sous-espace cible $S$ et un espace de contexte complémentaire $C$.
   • Ils identifient un problème critique nommé « fuite de densité inter-dimensionnelle », où l'évolution de l'espace de contexte $C$ provoque une dérive de la masse de probabilité vers ou depuis le sous-espace cible $S$, violant la conservation locale de la masse et masquant les signaux cinématiques intrinsèques locaux.
   • Pour résoudre cela, ils introduisent un mécanisme de scellement cinématique (kinematic sealing). Cela consiste à projeter le champ de vitesse original $v(x, t)$ sur le sous-espace $S$ en annulant les composantes de vitesse dans $C$ (en fixant $v_C = 0$). Cela crée un « tube rigide » qui restaure l'autonomie du sous-flux, permettant une équation de continuité locale valide sans redéfinir le système dynamique global.

2. Estimateur de Trace de Hutchinson pour Sous-Flux :

   • Pour quantifier l'évolution de la densité le long du chemin scellé, les auteurs dérivent une formule de changement de variable instantanée pour les sous-fluxs.
   • Ils proposent un outil stochastique pour estimer efficacement la trace du jacobien du sous-flux. En exploitant la projection cinématique, la trace du jacobien du sous-flux est montrée comme étant équivalente à la trace du jacobien du flux complet lorsqu'elle est projetée sur des vecteurs de sondage spécifiques. Cela permet une estimation efficace en utilisant un petit nombre de produits jacobien-vecteur (JVP), rendant l'approche scalable pour les champs de vecteurs neuronaux de haute dimension.

3. Métriques de Diagnostic :
   L'article définit plusieurs métriques basées sur la dynamique du sous-flux pour détecter les échantillons OOD (spécifiquement les mauvaises prononciations dans la parole) :

   • Basées sur la vraisemblance : Log-vraisemblance du sous-représentation ($LL$), ajustement du prior dans l'espace latent ($PRIOR$), et correction de distance radiale ($RAD$).
   • Géométriques / Heuristiques : Métriques mesurant la déviation par rapport au chemin optimal de transport (OT) rectiligne attendu pour les échantillons ID. Celles-ci incluent le DISP (ratio du déplacement sur la longueur du chemin) et le COS (similitude cosinus intégrée entre le chemin OT et le chemin de blanchiment).

Principales Contributions

• Cadre LSF : Identification du problème de couplage global dans les CNF basés sur les Transformers et proposition du cadre de flux sous-lagrangien pour inspecter les propriétés locales tout en préservant le contexte global.
• Outils Stochastiques : Développement d'outils efficaces pour séparer les signaux de diagnostic locaux de l'évolution globale, spécifiquement l'estimateur de trace de Hutchinson pour sous-flux.
• Application à la Parole : Démonstration de ces outils dans le domaine de la détection de mauvaise prononciation au niveau des phonèmes en mode zero-shot avec un modèle génératif de parole basé sur CNF (F5-TTS).
• Analyse Géométrique : Visualisation et discussion des propriétés géométriques du champ de vecteurs appris, montrant que l'incohérence géométrique est un indicateur plus sensible pour la détection OOD que les fluctuations de densité.

Résultats
Les auteurs ont évalué leurs méthodes sur le jeu de données CMU Kids pour la détection de mauvaise prononciation au niveau des phonèmes en zero-shot.

• Vraisemblance vs Géométrie : Les métriques basées sur la vraisemblance (GOP-LL, GOP-PRIOR) ont été moins performantes que les méthodes géométriques (GOP-DISP, GOP-COS). Les résultats confirment le « paradoxe de la vraisemblance », où des échantillons mal prononcés présentaient parfois des vraisemblances plus élevées que les échantillons corrects.
• Relatif vs Absolu : Les mesures relatives (comparant par rapport à un modèle de fond ou un contexte) ont généralement surpassé les mesures absolues.
• Performance : La métrique géométrique GOP-COS (relative) a atteint une AUC de 0,738, surpassant les méthodes traditionnelles basées sur les GMM (0,723) mais restant en deçà des méthodes discriminatives de pointe comme GOP-CTC-SF (0,915).
• Validation Synthétique : Les expériences sur des données synthétiques ont démontré que le mécanisme de scellement empêche avec succès la pollution de densité provenant de la dimension complémentaire, résultant en une estimation de densité lisse et complète sur le sous-espace cible.

Signification et Revendications
L'article affirme que le véritable pouvoir de diagnostic des CNF ne réside pas dans les scores de vraisemblance holistiques, mais dans les trajectoires localisées et fines au sein du manifold de haute dimension. En décomposant le flux global en sous-fluxs spécifiques au contexte, la méthode capture l'incohérence structurelle qui est autrement masquée par l'agrégation globale.

Les auteurs concluent que le décalage géométrique (déviation par rapport à la trajectoire de flux attendue) sert d'indicateur plus sensible pour la détection OOD que les simples fluctuations de densité dans les modèles basés sur les CNF. Bien que la méthode atteigne une performance comparable aux modèles discriminatifs traditionnels pour cette tâche spécifique, elle reste en deçà des approches discriminatives de pointe (SOTA). Ce travail représente une première tentative d'utiliser les CNF pour la détection de sous-espace OOD, suggérant que les travaux futurs devraient vérifier la généralisabilité à d'autres domaines tels que la vision par ordinateur ou les systèmes de capteurs.