Résumé technique : GeoFlowVLM

Énoncé du problème

Les modèles vision-langage (VLM) à double encodeur standards, tels que CLIP et SigLIP, projettent les images et le texte sur des points déterministes d'une hypersphère unitaire partagée via une normalisation $\ell_2$. Bien qu'efficaces pour la recherche et le transfert zero-shot, cette représentation déterministe échoue à quantifier l'incertitude de prédiction. Plus précisément, elle n'expose ni l'incertitude aléatoire (ambiguïté intermodale intrinsèque où une entrée correspond à de multiples sorties valides) ni l'incertitude épistémique (manque de support pour les requêtes tombant en dehors de la distribution d'entraînement).

Les méthodes existantes de quantification de l'incertitude (UQ) a posteriori souffrent de deux limitations principales :

1. Agnosticisme géométrique : De nombreuses méthodes opèrent dans l'espace euclidien ambiant, ignorant la contrainte de normalisation $\ell_2$ qui définit l'espace d'encodage des VLM.
2. Modélisation incomplète de l'incertitude : La plupart des méthodes ne capturent qu'un seul type d'incertitude (soit aléatoire, soit épistémique) ou échouent à respecter la géométrie hypersphérique pour les deux modalités simultanément. Par exemple, ProbVLM capture les deux mais utilise une approche heuristique qui manque la structure hypersphérique et mesure l'incertitude de l'adaptateur plutôt que la densité du modèle de base.

Le défi central consiste à quantifier les deux types d'incertitude à partir d'encodages VLM figés sans réentraîner les encodeurs sous-jacents, tout en respectant strictement la géométrie de l'hypersphère produit ($S^{d-1} \times S^{d-1}$).

Méthodologie : GeoFlowVLM

Les auteurs proposent GeoFlowVLM, un adaptateur probabiliste a posteriori qui apprend la distribution conjointe d'encodages normalisés $\ell_2$ appariés sur l'hypersphère produit.

Architecture de base et entraînement

• Appariement de flux riemannien : Le modèle utilise l'appariement de flux riemannien pour apprendre une densité conjointe $p_\phi(e_I, e_T)$ sur la variété $M = S^{d-1} \times S^{d-1}$. Il régresse vers une cible tangente géodésique sous forme fermée, évitant ainsi les approximations coûteuses du noyau de chaleur.
• Champ de vitesse masqué unique : Un choix de conception clé est l'utilisation d'un seul réseau neuronal avec un masque binaire à structure de blocs $m \in \{0, 1\}^{2d}$. Ce champ de vitesse unique $v_\phi(z_t, m)$ gère trois modes distincts via différents masques :
  1. Flux conjoint ($m_{joint}$) : Génère à la fois les encodages image et texte.
  2. Flux conditionnel ($m_{I \to T}$) : Génère le texte étant donné une image fixe.
  3. Flux conditionnel ($m_{T \to I}$) : Génère l'image étant donné un texte fixe.
• Objectif d'entraînement : Le modèle est entraîné à l'aide d'un objectif d'appariement de flux conditionnel masqué (CFM). Le masque restreint la supervision aux dimensions générées tout en maintenant les dimensions conditionnées fixes à leurs valeurs observées ($t=0$). L'entraînement utilise un transport optimal entropique pour apparier les échantillons source et cible, lissant les trajectoires sur la variété.
• Cohérence : Le théorème 1 prouve que, dans la limite de la population, ce réseau unique masqué récupère des champs de vitesse de flux conditionnel riemannien valides pour les deux directions intermodales et la distribution conjointe, sans nécessiter de pertes de cohérence auxiliaires.

Lectures d'incertitude

À partir du modèle conjoint unique entraîné, deux métriques d'incertitude sont dérivées :

1. Incertitude aléatoire (Entropie de recherche) :

   • Dérivée de la posterior conditionnelle $p_\phi(e_T | e_I)$ (ou vice versa).
   • Des échantillons sont tirés du flux conditionnel et agrégés sur une galerie de recherche pour former une distribution posterior discrète $\pi$.
   • L'entropie de Shannon $H(\pi)$ quantifie l'ambiguïté de la recherche.
   • Justification théorique : En utilisant l'inégalité de Fano, l'entropie fournit une borne inférieure rigoureuse sur le risque Bayésien MAP, certifiant qu'une entropie élevée correspond à une difficulté de recherche élevée.

2. Incertitude épistémique (Typicité marginale) :

   • Dérivée via une décomposition exacte par la règle de chaîne de la vraisemblance négative conjointe (NLL) :
     $$-\log p_\phi(e_I, e_T) = \underbrace{[-\log p_\phi(e_I) - \log p_\phi(e_T)]}_{\text{Typicité épistémique}} - \underbrace{\text{PMI}_\phi(e_I, e_T)}_{\text{Appariement intermodal}}$$
   • Les auteurs soutiennent que le terme d'information mutuelle ponctuelle (PMI) est structurellement discriminatif (mesurant la compatibilité) plutôt qu'épistémique.
   • Le Score épistémique est défini comme la somme des typicalités marginales : $u_{ep} = -\log p_\phi(e_I) - \log p_\phi(e_T)$.
   • Ces marginales sont calculées à partir du modèle conjoint en utilisant l'identité de Bayes et l'intégration du flux ODE en temps inverse, ne nécessitant aucun paramètre supplémentaire.

Contributions clés

1. Adaptateur GeoFlowVLM : Un adaptateur probabiliste a posteriori entraîné par appariement de flux riemannien sur l'hypersphère produit en utilisant un champ de vitesse masqué unique. Il produit des densités conjointes, marginales et conditionnelles sans réentraînement de l'encodeur. Une étude d'ablation confirme que le respect de la géométrie hypersphérique est structurellement nécessaire pour une incertitude calibrée.
2. Entropie de recherche conditionnelle : Un nouvel estimateur aléatoire qui quantifie l'ambiguïté intermodale. Il suit la difficulté de recherche avec un calibrage monotone quasi idéal sur les benchmarks et fournit une borne inférieure décisionnelle sur le risque Bayésien.
3. Décomposition par la règle de chaîne : Une dérivation théorique montrant que la NLL conjointe se décompose en typicalité marginale (le signal épistémique correct) et PMI intermodal (un signal discriminatif). Cela explique le succès empirique des méthodes de densité par modalité comme REPVLM et les cadre comme une extension cohérente du modèle conjoint.

Résultats expérimentaux

La méthode a été évaluée sur un encodeur OpenCLIP ViT-H/14 figé, entraîné sur Conceptual Captions (CC-1M) et testé en zero-shot sur sept benchmarks.

• Incertitude aléatoire (Recherche) :

  • Évaluée sur MS-COCO, Flickr30k et CUB-200 (Image-vers-Texte et Texte-vers-Image).
  • GeoFlowVLM a atteint un calibrage monotone quasi parfait ($\rho$ de Spearman $\approx -1.0$) entre l'entropie prédite et le Rappel@1, surpassant significativement les lignes de base (ProbVLM, AsymVLM, GroVE).
  • ProbVLM a montré une corrélation positive (l'incertitude augmentant sur les requêtes correctes), et les autres lignes de base ont montré des tendances instables ou non monotones.

• Incertitude épistémique (Classification Zero-Shot) :

  • Évaluée sur ImageNet-1K, Food-101, CIFAR-100 et ObjectNet.
  • La somme des typicalités marginales ($u_{ep}$) a produit une précision sélective croissante de manière cohérente à mesure que la couverture diminuait (rejet des échantillons à haute incertitude).
  • L'analyse des composants a confirmé que le PMI est un mauvais score épistémique autonome (rejetant souvent les prédictions correctes), tandis que la typicalité marginale fournit le signal fiable.
  • GeoFlowVLM a égalé ou surpassé REPVLM, avec un avantage notable sur ObjectNet (changement de point de vue), attribué à la capacité du modèle conjoint à capturer la structure intermodale que les flux indépendants par modalité manquent.

• Ablations :

  • Géométrie : Une ligne de base euclidienne (architecture identique mais opérant dans $\mathbb{R}^d \times \mathbb{R}^d$) a échoué de manière catastrophique sur les métriques aléatoires et épistémiques, confirmant la nécessité de la géométrie riemannienne.
  • Efficacité : Des estimations fiables ont été obtenues avec seulement 10 étapes d'intégration ODE et une seule sonde Hutchinson pour l'estimation de la divergence.
  • Encodeur : Les résultats se sont transférés à l'encodeur SigLIP, bien que les méthodes basées sur la densité aient montré une performance dégradée sur ImageNet-1K en raison des encodages plus isotropes de SigLIP.

Importance et affirmations

L'article affirme que GeoFlowVLM comble une lacune critique dans l'UQ a posteriori pour les VLM figés en fournissant un modèle unique conscient de la géométrie qui expose à la fois l'incertitude aléatoire et l'incertitude épistémique.

• Insight théorique : Ce travail fournit une explication fondée sur des principes pour la raison pour laquelle la typicalité marginale est le signal épistémique correct dans ce contexte et pourquoi le PMI intermodal ne devrait pas être utilisé comme score d'incertitude. Il démontre que la modélisation conjointe sur l'hypersphère produit est strictement plus riche que la modélisation par modalité.
• Utilité pratique : La méthode offre un estimateur calibré et symétrique en direction pour la difficulté de recherche et un score robuste basé sur la densité pour la détection hors distribution dans la classification zero-shot, le tout sans modifier l'encodeur VLM pré-entraîné.
• Limites : Les auteurs notent que le théorème de cohérence est un résultat de limite de population ; les bornes pour des échantillons finis restent ouvertes. Les scores épistémiques sont basés sur la densité (typicalité) plutôt que bayésiens (variance de la posterior des paramètres). De plus, la méthode nécessite un entraînement ponctuel sur des données à grande échelle et plusieurs résolutions d'ODE par requête, la distinguant des approches sans entraînement.

Les auteurs concluent que la modélisation conjointe d'encodages est une stratégie générale pour un raisonnement probabiliste plus riche sur les représentations vision-langage, en particulier pour des applications critiques pour la sécurité comme la recherche médicale et les systèmes autonomes.