🤖 AI

Variational Visual Question Answering for Uncertainty-Aware Selective Prediction

Ce papier présente « Variational VQA », une méthode bayésienne variationnelle qui améliore la fiabilité et la sélection des réponses des modèles de langage visuel en réduisant les hallucinations et en offrant une prédiction sélective plus précise, notamment dans des scénarios à faible tolérance d'erreur.

Auteurs originaux : Tobias Jan Wieczorek, Nathalie Daun, Mohammad Emtiyaz Khan, Marcus Rohrbach

Publié 2026-04-14

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Tobias Jan Wieczorek, Nathalie Daun, Mohammad Emtiyaz Khan, Marcus Rohrbach

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un ami très intelligent, un expert en images et en questions, capable de répondre à presque tout ce que vous lui demandez. C'est un peu comme les modèles d'intelligence artificielle modernes appelés VLM (Modèles de Langage et de Vision).

Le problème ? Cet ami est trop confiant. Même quand il ne sait pas vraiment, il répond avec une assurance absolue, comme s'il avait lu la réponse dans un livre. S'il se trompe, il vous le dit avec un sourire, ce qui peut être dangereux si vous l'utilisez pour un diagnostic médical ou pour aider une personne malvoyante.

C'est là que cette recherche intervient. Voici l'explication de leur solution, VarVQA, en utilisant des analogies simples.

1. Le Problème : L'Ami Trop Confiant

Actuellement, ces modèles sont entraînés avec une méthode standard (appelée AdamW) qui les pousse à trouver la meilleure réponse possible. Ils apprennent à être rapides et précis, mais ils oublient d'apprendre à dire : "Je ne suis pas sûr".

Analogie : C'est comme un élève qui devine la réponse à un examen en criant "C'est 42 !" même s'il n'a aucune idée de la question, juste pour avoir l'air sûr de lui.

2. La Solution : Le "Double-Vision" (Variational Bayes)

Les chercheurs proposent une nouvelle méthode d'entraînement appelée VarVQA. Au lieu d'apprendre une seule réponse fixe, le modèle apprend à voir les choses comme un nuage de possibilités.

L'analogie du nuage : Imaginez que le modèle ne regarde pas une photo avec un seul œil, mais avec des centaines d'yeux légèrement différents.
- Si tous les yeux voient un "chat", le modèle est sûr à 100 %.
- Si la moitié des yeux voit un "chat" et l'autre moitié un "chien", le modèle se dit : "Attends, je ne suis pas sûr, je vais demander de l'aide ou dire 'Je ne sais pas'".
Le résultat : Le modèle ne change pas seulement sa réponse, il change sa confiance. Il apprend à mesurer son incertitude.

3. Le Nouveau Gardien : Le "Sélecteur Prudent"

Même avec un modèle qui doute, il faut quelqu'un pour décider quand il doit se taire. Les chercheurs ont créé un nouveau "gardien" (un sélecteur) qui est très prudent.

L'analogie du capitaine de navire :
- Le modèle est le capitaine qui regarde la mer.
- Le gardien est le premier officier qui vérifie la météo.
- Si le capitaine dit "Je vois un port !" mais que l'officier remarque que les vagues sont très agitées (haute variance/incertitude), l'officier dit : "Stop ! Ne pas entrer, c'est trop dangereux."
- Au lieu de risquer de s'écraser sur un rocher (une erreur coûteuse), le navire s'arrête et dit : "Je ne peux pas avancer".

Ce nouveau gardien utilise la "variance" (la différence entre les opinions des différents "yeux" du modèle) pour prendre sa décision. Plus il y a de désaccord, plus le modèle est prudent.

4. Pourquoi c'est génial ? (Les Résultats)

Les chercheurs ont testé cette méthode sur des tâches complexes (répondre à des questions sur des images, du raisonnement visuel).

Moins d'erreurs coûteuses : Dans des situations où se tromper est grave (comme en médecine), VarVQA refuse de répondre beaucoup plus souvent que les modèles classiques, évitant ainsi des catastrophes.
Efficacité : Ils ont prouvé qu'il suffit parfois de regarder le nuage de possibilités une seule fois (ou très peu de fois) pour être plus fiable que les modèles classiques qui regardent une seule fois mais avec une fausse certitude.
Robustesse : Même si on donne au modèle des images bizarres ou nouvelles (qu'il n'a jamais vues), il reste plus honnête sur ses limites que les autres.

En Résumé

Cette recherche nous donne un moyen de rendre les intelligences artificielles plus honnêtes. Au lieu d'avoir un expert qui ment par excès de confiance, nous avons un expert qui sait dire : "Je vois quelque chose, mais je ne suis pas assez sûr pour prendre le risque de me tromper. Je préfère vous dire que je ne sais pas."

C'est un pas de géant pour rendre l'IA plus sûre et plus digne de confiance dans le monde réel.

1. Problématique

Les modèles de langage visuel (VLM) actuels, bien que performants sur des tâches comme la Réponse aux Questions Visuelles (VQA) et le Raisonnement Visuel, souffrent de deux défauts majeurs :

Surconfiance et Hallucinations : Ils tendent à donner des réponses avec une haute confiance même lorsqu'ils se trompent, manquant d'une notion fiable de leur propre incertitude.
Limites des approches existantes : Les méthodes bayésiennes classiques sont souvent trop coûteuses en calcul pour les grands modèles. Les approches de prédiction sélective (où le modèle peut dire « je ne sais pas ») reposent souvent sur des têtes d'entraînement supplémentaires ou des outils externes, ce qui ajoute de la complexité et des points de défaillance sans améliorer la fiabilité intrinsèque du modèle de base.

L'objectif est de rendre les grands VLMs plus sûrs et dignes de confiance en leur permettant d'abstention (refuser de répondre) lorsqu'ils sont incertains, sans sacrifier l'efficacité computationnelle.

2. Méthodologie : VarVQA

Les auteurs proposent VarVQA, une extension de l'apprentissage variationnel appliquée aux VLMs.

Optimiseur IVON : Au lieu de l'optimiseur standard AdamW, le modèle est entraîné avec l'optimiseur Improved Variational Online Newton (IVON). IVON apprend une distribution de probabilité (généralement une Gaussienne diagonale) sur les poids du réseau neuronal ( $\theta \sim q(\theta)$ $θ \sim q (θ)$ ) en minimisant une objective variationnelle qui combine l'erreur empirique et la divergence KL par rapport à un a priori.
- Contrairement aux méthodes bayésiennes anciennes, IVON est efficace pour les grands transformateurs et offre des estimations d'incertitude comparables à AdamW avec un surcoût d'entraînement négligeable.
Inférence et Échantillonnage :
- VarVQA Mean : Utilisation des paramètres moyens ( $m$ ) pour une inférence déterministe (coût identique à AdamW).
- VarVQA Sampling : Échantillonnage de plusieurs ensembles de poids ( $\theta^{(s)}$ ) depuis la distribution postérieure pour obtenir un vecteur de vraisemblance moyen ( $\bar{\mu}$ ) et une variance ( $\bar{\sigma}^2$ ).
Sélecteur à Aversion au Risque ( $g_{BPA}$ ) :
- Les auteurs proposent une nouvelle fonction de sélection qui va au-delà de la simple moyenne prédictive. Elle pénalise les prédictions à haute variance.
- Formule : $g_{BPA}(x) = \bar{\mu}_{\kappa}(x) - \bar{\sigma}_{\kappa}(x)$ , où $\kappa$ est la classe la plus probable.
- Cela correspond à une borne inférieure de confiance conservatrice (environ le 16e percentile d'une distribution gaussienne), idéale pour les scénarios à haut risque où les erreurs sont coûteuses.

3. Contributions Clés

Efficacité du Bayésien Variationnel sur les Multimodaux : Première démonstration que l'entraînement variationnel (via IVON) est efficace pour les grandes architectures multimodales (ViLT, BEiT-3) et permet une prédiction sélective performante.
Amélioration de l'Estimation d'Incertain : VarVQA améliore la calibration (réduction de l'Erreur de Calibration Attendue - ECE) et la prédiction sélective, particulièrement dans des conditions de tolérance d'erreur très faible (≤ 1%).
Efficacité Échantillonnaire : VarVQA surpasse le Monte-Carlo Dropout (MC Dropout) pour une même allocation de ressources de calcul à l'inférence.
Nouveau Sélecteur : Introduction d'une fonction de sélection à aversion au risque utilisant la variance de sortie, surpassant les méthodes de moyenne standard dans les contextes à haut risque.

4. Résultats Expérimentaux

Les expériences ont été menées sur les modèles ViLT et BEiT-3 (base et large) sur les datasets VQAv2, AdVQA (OOD/Adversarial) et NLVR2 (Raisonnement).

Précision et Calibration : VarVQA atteint une précision équivalente (voire supérieure) à AdamW tout en réduisant significativement l'ECE (meilleure calibration).
Prédiction Sélective (Haut Risque) :
- Sur VQAv2, avec une tolérance d'erreur de 0,5% (C@0.5%), VarVQA améliore la couverture de 7% à 14% par rapport à AdamW selon le modèle.
- Sur NLVR2, les gains sont encore plus marqués (9% à 14%).
- Même avec un seul échantillon postérieur (VarVQA Mean), le modèle est souvent plus fiable qu'AdamW.
Robustesse OOD : Dans des mélanges de données In-Distribution (VQAv2) et Out-of-Distribution (AdVQA), VarVQA maintient une meilleure calibration et une meilleure prédiction sélective que les modèles entraînés avec AdamW, suggérant une robustesse intrinsèque supérieure.
Comparaison avec les Ensembles : VarVQA seul surpasse souvent les ensembles de modèles AdamW (Deep Ensembles) en termes de fiabilité, tout en évitant le coût de formation de N modèles distincts.
Qualitatif : Les exemples montrent que VarVQA réussit à s'abstenir (« I don't know ») lorsque AdamW donne une réponse fausse avec une haute confiance, et inversement, VarVQA peut répondre correctement là où AdamW s'abstient par excès de prudence.

5. Signification et Impact

Ce travail démontre que l'apprentissage variationnel n'est plus réservé aux petits modèles mais est une option viable et compétitive pour sécuriser les grands VLMs.

Sécurité : En intégrant la fiabilité dès la conception (« baked-in ») plutôt que par des ajouts postérieurs, VarVQA permet un déploiement plus sûr dans des domaines critiques (médical, assistance aux malvoyants).
Efficacité : La méthode offre un meilleur compromis coût/performance que le MC Dropout ou les ensembles de modèles.
Futur : Les auteurs suggèrent que la propagation de la variance en une seule passe (sans échantillonnage) pourrait être la prochaine étape pour réduire encore le coût d'inférence.

En résumé, VarVQA prouve que l'incertitude peut être modélisée efficacement dans les grands modèles multimodaux, permettant de réduire drastiquement les erreurs coûteuses grâce à une abstention intelligente et fiable.