Résumé Technique : Combler le Vide des Modalités Manquantes dans les Modèles Vision-Langage

Énoncé du Problème

Les Modèles Vision-Langage (VLM) sont de plus en plus déployés dans des scénarios réels où ils doivent traiter des entrées exclusivement textuelles, bien qu'ils aient été entraînés sur des données multimodales (image-texte). Les auteurs identifient un mode de défaillance critique dans ces contextes : lorsque la modalité visuelle est absente, les VLM souffrent non seulement d'une réduction de la précision prédictive, mais, plus significativement, d'une mauvaise calibration sévère.

L'analyse empirique révèle que les VLM textuels ne se contentent pas de « revenir » au comportement de leurs modèles de langage sous-jacents (par exemple, LLaVA ne se comporte pas comme sa base Vicuna). Au contraire, ils font preuve d'une surconfiance systématique, où les scores de confiance prédits restent élevés malgré une chute brutale de la précision empirique. Ce phénomène persiste même lorsque le contenu visuel manquant est remplacé par des descriptions textuelles haute fidélité, suggérant que le problème n'est pas simplement un déficit d'information sémantique, mais une rupture cognitive causée par un décalage entre la distribution d'entraînement multimodale et la dynamique d'inférence textuelle.

Méthodologie : Module d'Imagination Latente (LIM)

Pour combler le vide des modalité manquantes sans le coût computationnel de la génération d'images au niveau des pixels, les auteurs proposent le Module d'Imagination Latente (LIM).

Architecture Principale

Le LIM est un module léger à attention croisée conçu pour prédire des embeddings latents « imaginés » directement à partir de l'entrée textuelle. Ces embeddings sont injectés dans le noyau VLM figé pour remplacer les tokens visuels manquants.

• Entrée : Embeddings textuels ($E_T$) extraits de la couche textuelle du VLM.
• Mécanisme : Le module initialise un ensemble de requêtes latentes apprissables ($E_Q$) correspondant au nombre attendu de tokens visuels. Ces requêtes sont affinées à travers une pile de couches d'attention croisée qui s'attardent sur les embeddings textuels.
• Sortie : Caractéristiques visuelles synthétisées ($\hat{z}_V$) compatibles avec la couche de projection de la tour visuelle du VLM.
• Inférence : Les caractéristiques synthétisées sont injectées dans la séquence d'entrée à la place de l'image manquante, permettant au VLM figé de procéder à l'inférence comme si un signal visuel était présent.

Stratégie d'Optimisation

Un choix de conception clé est l'objectif d'entraînement. Contrairement aux approches qui minimisent la distance entre les embeddings prédits et les embeddings d'images de référence (ce qui peut conduire à des moyennes « floues » en raison de la nature un-à-plusieurs de la cartographie texte-vers-image), le LIM est entraîné de bout en bout en utilisant un objectif orienté tâche.

• Le module minimise la vraisemblance négative de la réponse correcte étant donné le texte et les caractéristiques imaginées : $-\log P(y | x_T, \hat{z}_V)$.
• Cela permet au modèle de synthétiser n'importe quelle représentation visuelle « suffisante » qui aide la frontière de décision, plutôt que de forcer une reconstruction pixel-par-pixel.
• Le noyau VLM reste figé ; seuls les paramètres du LIM sont mis à jour.

Contributions Clés

1. Identification du Vide des Modalités Manquantes : Les auteurs présentent la mauvaise calibration des VLM textuels non pas comme un simple déficit de données, mais comme une rupture cognitive où le modèle échoue à utiliser efficacement son noyau de langage, conduisant à une surconfiance sévère.
2. Module d'Imagination Latente (LIM) : Une architecture novatrice qui comble le vide des modalités en inférant des embeddings latents pertinents pour la tâche à partir du texte via attention croisée, évitant ainsi la génération coûteuse au niveau des pixels.
3. Imputation Latente de Bout en Bout : La démonstration qu'une stratégie de complétion latente orientée tâche améliore significativement à la fois la précision et la calibration dans des tâches et scénarios intrinsèquement textuels, ainsi que dans des cas où les images sont partiellement manquantes.

Résultats Expérimentaux

Les auteurs ont évalué le LIM sur le modèle LLaVA-1.5-7B à travers trois familles d'expériences :

1. Calibration Textuelle en Domaine

Sur la suite textuelle MMLU+ARC :

• Précision : Améliorée de 39,77 % (référence) à 62,23 %.
• Calibration : L'Erreur de Calibration Attendue (ECE) a chuté drastiquement de 0,4202 à 0,0374.
• Comparaison : Le LIM a surpassé la mise à l'échelle de température (une méthode de calibration post-hoc standard), qui a réduit l'ECE à 0,095 mais n'a pas amélioré la précision.
• Efficacité : Le LIM a réduit la latence d'inférence de 12,26 fois par rapport à la régénération d'images basée sur la diffusion (0,205 s contre 2,52 s par échantillon) tout en maintenant une utilisation VRAM similaire.

2. Généralisation à des Tâches Inédites

Le LIM a été testé sur huit benchmarks textuels inédits (par exemple, SST-2, COLA, LOGIQA, CommonSenseQA) sans ajustement supplémentaire.

• Résultats : Le module a constamment amélioré la calibration et souvent la précision à travers des tâches NLP hétérogènes. Par exemple, sur COLA, la précision est passée de 32,50 % à 68,00 %, et l'ECE a chuté de 0,6119 à 0,1047.
• Implication : Le LIM apprend une correction transférable pour le vide des modalités manquantes plutôt que de surajuster à la distribution d'entraînement.

3. Robustesse aux Images Manquantes dans les Tâches Appariées

Dans une simulation où les images ont été supprimées aléatoirement du jeu de données ScienceQA :

• Référence : À mesure que le taux de suppression augmentait, la précision diminuait et la surconfiance s'aggravait.
• LIM : A maintenu sa robustesse. À un taux de suppression de 100 %, le LIM a atteint une précision comparable à la référence image complète (56,77 % contre 54,54 %) avec une calibration nettement meilleure (ECE 0,0936 contre 0,3054).

Études d'Ablation

Des expériences contrôlées ont confirmé que les améliorations ne sont pas dues au simple remplissage des emplacements de tokens manquants par des embeddings arbitraires. Des substituts tels que des vecteurs nuls, des tokens d'espace blanc, du bruit aléatoire ou des images vides ont échoué à reproduire les gains, et dans certains cas ont dégradé les performances. Cela valide que les bénéfices découlent d'une complétion latente structurée et conditionnée par le texte.

Signification et Revendications

L'article revendique que la complétion de modalité latente est une approche pratique et principielle pour une inférence VLM fiable dans des conditions de modalité manquante.

• Fiabilité : La contribution principale est la stabilisation des prédictions de confiance. En alignant l'inférence textuelle avec la distribution d'entraînement multimodale via l'imagination latente, le LIM prévient la surconfiance dangereuse qui affecte les VLM actuels dans les contextes textuels.
• Simplicité Architecturale : Contrairement au routage des requêtes textuelles vers un LLM séparé (ce qui introduit une complexité système et des incohérences comportementales potentielles), le LIM enrichit le VLM unifié avec un module léger, préservant une architecture de modèle unique.
• Efficacité : L'approche offre une alternative computationnellement efficace à l'augmentation générative (diffusion), la rendant viable pour un déploiement en temps réel.

Les auteurs concluent que l'échec des VLM dans les contextes textuels est un décalage systématique dans les représentations internes, et que combler ce vide via l'imagination latente est essentiel pour déployer des systèmes multimodaux dignes de confiance.