Résumé technique : FUSE – Quantifier l'incertitude dans les modèles vision-langage

Énoncé du problème

Les modèles vision-langage (VLM) sont devenus essentiels pour des applications allant de la robotique à la santé, pourtant ils restent sujets à des sorties peu fiables telles que les hallucinations et un raisonnement trop confiant. Un fossé critique existe dans la quantification de l'incertitude (UQ) pour ces modèles. Les méthodes conventionnelles reposant sur la vraisemblance du prochain jeton (next-token likelihood) ou sur des confiances basées sur les logits ne parviennent pas à capturer l'ambiguïté sémantique inhérente aux entrées multimodales ou à la variabilité des sorties génératives. Les approches existantes traitent souvent l'incertitude de manière heuristique plutôt que comme une quantité probabiliste rigoureuse, et elles négligent fréquemment l'incertitude ancrée dans les représentations latentes du modèle.

Le document identifie que l'incertitude des VLM provient de deux sources distinctes et complémentaires :

1. Incertitude aléatoire (Aleatoric Uncertainty) : Ambiguïté intrinsèque des données d'entrée et de la sémantique cross-modale (ex. : questions sous-déterminées ou régions visuellement ambiguës).
2. Incertitude épistémique (Epistemic Uncertainty) : Variabilité des prédictions du modèle due à des limitations de connaissances, un ancrage faible ou des décalages de distribution, reflétée par la diversité des réponses générées.

L'objectif est de développer un cadre capable de fusionner ces deux sources en une mesure d'incertitude scalaire unique et calibrée ($u^\star$) pour prédire la justesse de la sortie et permettre une prédiction sélective (s'abstenir face aux requêtes incertaines).

Méthodologie : Le cadre FUSE

Les auteurs proposent FUSE (Fused Uncertainty with Semantic Evidence), un cadre probabiliste qui emploie un mécanisme de fusion bayésienne pour combiner les incertitudes aléatoires et épistémiques.

1. Incertitude aléatoire : Prior de la représentation des données

Le cadre traite le niveau des données d'entrée comme un prior.

• Plongements probabilistes (Probabilistic Embeddings) : Alors que les VLM standards (ex. : CLIP) produisent des plongements déterministes, FUSE introduit un adaptateur de Processus Gaussien (GP). Cet adaptateur projette les plongements déterministes ($z_I, z_T$) en distributions gaussiennes ($N(\mu, \Sigma)$) en apprenant une variable latente partagée $x$ représentant la « véritable » signification des données.
• GP latent variationnel creux (Sparse Variational GP) : Pour garantir l'extensibilité, les auteurs utilisent un modèle de variables latentes de processus gaussiens variationnels creux avec des points d'induction.
• Formulation du Prior : La dispersion de ces plongements probabilistes (quantifiée via le logarithme du déterminant des covariances) est agrégée en une statistique scalaire $s$. Cette statistique définit un prior gaussien sur une variable d'incertitude latente $u$ :
  $$u \sim N(m_0, \sigma_0^2), \quad \text{où } m_0 = \alpha_0 + \beta_0 s$$
  Cela capture l'ambiguïté inhérente à la requête d'entrée avant que la génération ne se produise.

2. Incertitude épistémique : Évidence sémantique de la réponse

Le cadre traite la sortie générative du modèle comme une évidence.

• Diversité de la réponse : Le VLM génère $n$ réponses stochastiques. Celles-ci sont plongées dans des vecteurs $\{r_i\}$.
• Dispersion sémantique (Semantic Scatter) : Une matrice de dispersion sémantique $S$ est construite à partir de ces plongements. L'évidence sémantique est définie par le logarithme du déterminant de cette matrice : $\tilde{V} = \log \det S$.
• Évidence pondérée : Pour tenir compte de la fiabilité variable entre les échantillons, la méthode introduit des poids d'incertitude basés sur les log-probabilités par jeton du modèle. Les échantillons ayant une confiance plus faible reçoivent des poids plus élevés.
• Modèle de vraisemblance (Likelihood Model) : Les auteurs démontrent que, sous des hypothèses de base, l'évidence sémantique $\tilde{V}$ suit une vraisemblance gaussienne linéaire par rapport à l'incertitude latente $u$ :
  $$\tilde{V} | u \sim N(a + n u, \tau^2)$$
  Cette relation analytique permet une mise à jour bayésienne en forme fermée.

3. Fusion Bayésienne

L'innovation centrale est la fusion analytique du prior d'entrée et de l'évidence de la réponse.

• Posteriori en forme fermée : La combinaison du prior gaussien et de la vraisemblance gaussienne linéaire produit une distribution posteriori en forme fermée pour l'incertitude $u$ :
  $$u | \tilde{V} \sim N(m_{post}, \sigma_{post}^2)$$
• Statistique fusionnée : Un score d'incertitude unique $u^\star$ est dérivé de la moyenne et de la variance du posteriori (par exemple, comme une borne de score z).
• Calibration : Un seuil global $\theta^\star$ est calibré sur un jeu de données de test pour contrôler le risque conditionnel (taux d'erreur) des requêtes répondues, permettant ainsi une réponse sélective.

Contributions clés

1. Formalisation conceptuelle : Le papier formalise la distinction entre l'incertitude aléatoire (niveau entrée) et l'incertitude épistémique (niveau génération) des VLM, fournissant une base pour quantifier les deux au sein d'un cadre unifié.
2. Modèle probabiliste unifié : Il introduit un cadre bayésien sans réentraînement (pour le VLM de base) qui combine analytiquement ces sources. Contrairement aux méthodes heuristiques, il produit un posteriori interprétable et calibré.
3. Justification mathématique : Les auteurs fournissent des preuves démontrant que l'évidence sémantique (logarithme du déterminant de la dispersion de la réponse) est linéairement dépendante de l'incertitude latente, justifiant l'utilisation d'une mise à jour bayésienne en forme fermée.
4. Supériorité empirique : La méthode atteint l'état de l'art (SOTA) en matière de calibration de l'incertitude et de réponse sélective sur plusieurs benchmarks.

Résultats expérimentaux

Les auteurs ont évalué FUSE sur trois benchmarks de Questions-Réponses Visuelles (VQA) : VQAv2, OKVQA et AdVQA, en utilisant LLaVA-v1.5-13b comme architecture de base.

• Baselines : FUSE a été comparé à des méthodes sans réentraînement (UMPIRE, Neighborhood Consistency), à des métriques basées sur l'entropie (Semantic Entropy, LN-Entropy) et à des approches de prédiction conforme (LoFreeCP, CLM).
• Discrimination : FUSE a obtenu l'AUROC la plus élevée (0,883 sur VQAv2) pour distinguer les réponses correctes des incorrectes, surpassant toutes les baselines.
• Calibration : La méthode a démontré une calibration supérieure, avec l'erreur de calibration attendue (ECE) la plus faible et la plus haute corrélation entre l'incertitude prédite et les taux d'erreur empiriques.
• Réponse sélective : En termes d'aire sous la courbe de rejet-précision (AURAC), FUSE a systématiquement surpassé les baselines, indiquant sa capacité à identifier efficacement et à s'abstenir face aux requêtes incertaines tout en maintenant une précision élevée sur les requêtes auxquelles il répond.
• Études d'ablation : Les expériences ont confirmé que la fusion des deux sources d'incertitude est critique ; supprimer soit le prior GP, soit l'évidence pondérée entraînait une dégradation des performances.

Signification et affirmations

Le papier affirme que FUSE comble une lacune critique de sécurité et de fiabilité dans le déploiement des VLM. En allant au-delà des probabilités par jeton pour proposer une formulation bayésienne conjointe qui intègre les priors de représentation d'entrée avec l'évidence de génération, FUSE fournit une mesure d'incertitude rigoureuse et interprétable.

Les auteurs soulignent que leur approche :

• Ne nécessite pas le réentraînement du massif VLM de base, mais seulement l'entraînement d'adaptateurs GP légers sur l'encodeur gelé.
• Fournit un score scalaire unique qui prédit de manière fiable la justesse du modèle.
• Permet une prise de décision contrôlée par le risque, permettant aux systèmes de s'abstenir de répondre lorsque l'incertitude dépasse un seuil calibré, ce qui est essentiel pour les domaines à enjeux élevés comme la santé ou les systèmes autonomes.

Ce travail se positionne comme une étape vers des VLM plus dignes de confiance en modélisant explicitement ce que le modèle « ne sait pas », à travers à la fois l'ambiguïté de l'entrée et la variabilité de sa propre génération.