Epistemic Uncertainty Quantification for Pre-trained VLMs via Riemannian Flow Matching

Résumé Technique : REPVLM – Quantification de l'incertitude épistémique pour les VLM pré-entraînés via l'appariement de flux riemannien

1. Énoncé du problème

Les modèles vision-langage (VLM) pré-entraînés tels que CLIP, BLIP et SigLIP ont atteint un succès remarquable dans l'apprentissage de représentations multimodales grâce à un pré-entraînement contrastif à grande échelle. Cependant, ces modèles sont intrinsèquement déterministes, mapant les entrées vers des points uniques et fixes dans un espace d'incorporation de haute dimension. Cette architecture manque d'un mécanisme intrinsèque pour quantifier l'incertitude épistémique (l'ignorance ou le manque de connaissances du modèle concernant ses propres représentations).

Bien qu'il existe des cadres de quantification de l'incertitude (UQ) pour les VLM, ils traitent principalement de l'incertitude aléatoire (ambiguïté des données) en apprenant des incorporations probabilistes. Les méthodes conçues pour l'incertitude épistémique, telles que les ensembles profonds ou le Dropout de Monte Carlo, sont souvent prohibitives sur le plan computationnel pour les modèles pré-entraînés à grande échelle ou produisent des estimations sous-optimales et dépendantes du lot. Il existe un besoin critique d'une métrique évolutive et intrinsèque qui quantifie directement la confiance d'un modèle dans ses représentations sans nécessiter de réentraînement coûteux ou d'échantillonnage dans l'espace des paramètres.

2. Méthodologie : REPVLM

Les auteurs proposent REPVLM, un cadre qui quantifie l'incertitude épistémique en estimant la densité de probabilité des incorporations VLM directement sur leur variété native.

Motivation théorique
L'article établit un lien théorique entre la densité d'incorporation et l'incertitude épistémique à travers une chaîne en trois étapes :

1. Covariance vers norme du Jacobien : Sous des hypothèses bayésiennes standard et une linéarité locale, une forte incertitude épistémique correspond à une grande norme du Jacobien des paramètres, indiquant une sensibilité aux perturbations des paramètres.
2. Norme du Jacobien vers densité des données : Dans les régions de forte densité des données d'entraînement, la norme du Jacobien de l'encodeur tend à être faible (lissage), tandis que dans les régions de faible densité (hors distribution), elle reste non contrainte.
3. Densité des données vers densité d'incorporation : Motivés par les dynamiques d'alignement et d'uniformité dans l'apprentissage contrastif, les auteurs posent l'hypothèse empirique que la densité des données d'entrée $p(x)$ est corrélée à la densité des incorporations résultantes $p(z)$ sur l'hypersphère.
   Par conséquent, le logarithme négatif de la vraisemblance, $-\log p(z)$, sert de proxy fondé pour l'incertitude épistémique : les régions de faible densité signifient l'ignorance du modèle.

Appariement de flux riemannien (RFM)
Pour calculer $p(z)$ efficacement sur l'hypersphère $S^{d-1}$ (où résident les incorporations VLM normalisées en $\ell_2$), REPVLM utilise l'Appariement de flux riemannien conditionnel (CRFM) :

• Modélisation native de la variété : Contrairement à l'appariement de flux euclidien standard, REPVLM opère directement sur l'hypersphère. Il apprend un champ de vecteurs $v_t$ qui transporte une distribution de base uniforme simple $P_0 = \text{Unif}(S^{d-1})$ vers les distributions empiriques spécifiques aux modalités $P_1$ (Image et Texte).
• Interpolation géodésique : Le chemin de probabilité est construit le long des géodésiques (grands cercles) plutôt que des lignes droites, respectant la géométrie intrinsèque de l'espace sémantique.
• Cadre conditionnel unifié : Un seul réseau de neurones apprend le champ de vecteurs conditionné par la modalité ($c \in \{\text{image}, \text{texte}\}$), permettant une estimation de l'incertitude agnostique à la tâche.
• Calcul de la vraisemblance : La densité logarithmique exacte est calculée en intégrant la divergence du champ de vecteurs appris le long de la trajectoire ODE inverse. Pour gérer efficacement les incorporations de haute dimension, les auteurs emploient un estimateur de trace de Hutchinson contraint par la variété pour approximer la divergence avec une surcharge computationnelle minimale.

3. Contributions clés

• Motivation théorique : L'article fournit une dérivation formelle démontrant que $-\log p(z)$ est un proxy monotone pour l'incertitude épistémique dans les encodeurs contrastifs, reliant l'incertitude bayésienne à la densité d'incorporation.
• Méthode native de variété (REPVLM) : Les auteurs introduisent une méthode UQ évolutive qui étend l'appariement de flux riemannien aux espaces d'incorporation VLM, permettant le calcul de densité de probabilité intrinsèque pour les modalités visuelle et textuelle sans modifier l'architecture pré-entraînée.
• Validation empirique : La méthode est validée sur plusieurs benchmarks, démontrant une corrélation quasi parfaite entre les scores d'incertitude et les erreurs de prédiction, surpassant significativement les bases de référence existantes dans la classification sélective et la détection hors distribution (OOD).

4. Résultats expérimentaux

Les auteurs ont évalué REPVLM sur six benchmarks en aval (ImageNet-1K, Food101, CIFAR-100, ObjectNet, ImageNet-R, ImageNet-Sketch) en utilisant trois ensembles de données proxy différents pour l'entraînement (Conceptual Captions, DataComp-1B, LAION-2B).

• Classification sélective : REPVLM a atteint une corrélation de Spearman quasi parfaite ($S \ge 0,988$) entre l'incertitude et l'erreur de prédiction sur les benchmarks standards. Il a constamment surpassé des bases de référence comme ProbVLM, le Dropout de Monte Carlo et la norme d'incorporation dans l'identification des erreurs du modèle.
• Robustesse au décalage de distribution : Sur les ensembles de données décalés (ObjectNet, ImageNet-R, ImageNet-Sketch), REPVLM était la seule méthode à atteindre $S=1,000$ sur toutes les cellules de décalage, tandis que d'autres méthodes (par exemple, ProbVLM, GMM) montraient une forte variance ou des corrélations négatives.
• Applications :
  • Détection OOD : Les scores d'incertitude séparaient efficacement les données In-Distribution (ID) des données Near-OOD et Far-OOD, produisant des courbes ROC et Précision-Rappel élevées.
  • Curration automatisée des données : Les échantillons à forte incertitude signalés par REPVLM correspondaient à des entrées bruyantes, floues ou non sensées, démontrant une utilité dans le nettoyage des ensembles de données web à grande échelle.
• Efficacité : REPVLM ne nécessite qu'environ 0,55 GFLOPs de surcharge supplémentaire au-delà de l'architecture de base, le rendant significativement plus efficace que le Dropout de Monte Carlo (qui nécessite environ 10 passages avant) tout en fournissant des estimations épistémiques plus fiables que ProbVLM.

5. Signification et limites

Signification
L'article soutient que la densité d'incorporation sur la variété est la quantité opératoire pour l'incertitude épistémique dans les VLM pré-entraînés. En exploitant la structure géométrique de l'espace d'incorporation via l'appariement de flux riemannien, REPVLM fournit une métrique évolutive, intrinsèque et hautement fiable pour la confiance du modèle. Cela permet des applications pratiques telles que la curration automatisée des données et la détection robuste OOD sans le coût computationnel des méthodes d'ensemble.

Limites
Les auteurs reconnaissent explicitement plusieurs limites :

1. Proxy théorique : Le lien entre l'incertitude épistémique bayésienne et la densité d'incorporation est un argument de proxy motivant basé sur des hypothèses empiriques (spécifiquement concernant la préservation de la densité dans les encodeurs contrastifs non inversibles), et non une identité formelle.
2. Dépendance au proxy : Comme toutes les méthodes post-hoc, REPVLM nécessite un ensemble de données proxy représentatif du domaine de pré-entraînement du VLM cible. Les VLM spécialisés peuvent nécessiter des proxies dans le domaine.
3. Hypothèses géométriques : La théorie suppose des incorporations normalisées en $\ell_2$ sur $S^{d-1}$ issues d'encodeurs entraînés par similarité cosinus (comme CLIP). Les auteurs notent que les résultats peuvent ne pas s'étendre aux modèles avec des géométries différentes (par exemple, SigLIP, qui a montré des performances dégradées sur les benchmarks in-distribution en raison de variations de densité pilotées par la texture).
4. Risques d'équité : Les auteurs mettent en garde que l'incertitude basée sur la densité confond la rareté avec l'ignorance. Les entrées rares mais valides (par exemple, provenant de groupes sous-représentés) peuvent être signalées comme des valeurs aberrantes à forte incertitude. Dans des contextes critiques pour la sécurité, de tels échantillons devraient être des candidats pour un examen humain plutôt que pour une suppression automatique.