💻 computer science

Latent Denoising Improves Visual Alignment in Large Multimodal Models

Cet article propose un cadre d'apprentissage par débruitage latent qui améliore l'alignement visuel et la robustesse des grands modèles multimodaux en entraînant ces derniers à reconstruire des caractéristiques visuelles corrompues, sans ajouter de coût computationnel lors de l'inférence.

Auteurs originaux : Dhruv Parikh, Jacob Fein-Ashley, Rajgopal Kannan, Viktor Prasanna

Publié 2026-04-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dhruv Parikh, Jacob Fein-Ashley, Rajgopal Kannan, Viktor Prasanna

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎨 Le Problème : L'IA qui "écoute" trop les mots

Imaginez un grand modèle d'intelligence artificielle (comme un robot très intelligent) qui regarde des photos et répond à des questions. On l'appelle un Modèle Multimodal.

Actuellement, ces robots apprennent principalement en lisant des légendes. C'est comme si on leur montrait une photo de chien et qu'on leur disait : "C'est un chien". Le robot apprend à associer l'image au mot "chien". Mais il y a un gros problème : il ne regarde pas vraiment la photo.

Si vous lui montrez une photo floue ou bizarre, il va souvent deviner la réponse en se basant uniquement sur ce qu'il a lu dans ses livres, en ignorant ce qu'il voit. C'est comme un élève qui a mémorisé les réponses d'un examen par cœur mais qui panique dès qu'on change la question ou qu'il y a une tache d'encre sur le papier. Il a une "vue" très fragile.

💡 La Solution : Le "Désencombrement Latent" (Latent Denoising)

Les chercheurs de l'Université de Californie du Sud ont eu une idée brillante, inspirée par la façon dont on nettoie une vieille photo numérique.

Imaginez que vous ayez une photo numérique un peu abîmée (pleine de grains, de taches ou de pixels manquants). Pour la réparer, vous ne lui donnez pas la photo parfaite à côté. Au contraire, vous abîmez volontairement une photo propre, puis vous demandez à l'IA de la réparer elle-même.

C'est ce qu'ils appellent le Désencombrement Latent (Latent Denoising).

Voici comment ça marche, étape par étape, avec une analogie :

1. L'Entraînement (Le Gymnase)

Au lieu de juste montrer une photo et demander "Qu'est-ce que c'est ?", le système fait ceci :

Il prend l'image que le robot a déjà "vue" (les données numériques de l'image).
Il sabote cette image numériquement : il cache certaines parties (comme si on mettait un cache sur la photo) et il ajoute du "bruit" (comme de la neige sur une vieille télé).
Il demande au robot : "Peux-tu deviner à quoi ressemblait l'image originale avant que je ne la salisse ?"

2. Le Professeur (Le "Teacher")

Pour aider le robot, il y a un "professeur" (un autre modèle d'IA très fort) qui connaît la réponse exacte. Le robot doit essayer de retrouver les détails que le professeur a vus, même si l'image est sale.

3. La Saliency (L'Attention Intelligente)

C'est la partie la plus intelligente. Le système ne gâche pas l'image au hasard. Il utilise une carte de chaleur pour savoir quelles parties de l'image sont importantes.

Si c'est un chien, il va abîmer (ajouter du bruit) sur le chien, car c'est important.
Il va cacher (masquer) les parties moins importantes (comme l'herbe en arrière-plan).
Cela force le robot à se concentrer sur les détails cruciaux pour comprendre l'image, au lieu de se reposer sur des indices faciles.

🚀 Le Résultat : Un Robot plus Robuste

Une fois l'entraînement terminé, le robot est prêt. Et voici la magie : lorsqu'il travaille réellement, on ne lui montre plus d'images abîmées. On lui envoie juste les images normales.

Mais comme il a appris à réparer des images sales pendant son entraînement, il est devenu un expert pour :

Mieux comprendre ce qu'il voit (il ne se fie plus seulement aux mots).
Résister aux erreurs : Si vous lui montrez une photo floue, avec de la pluie ou un peu de neige, il continue de bien répondre. C'est comme un athlète qui s'entraîne sous la pluie et qui court donc mieux par temps de pluie.
Être plus précis : Il ne fait plus d'hallucinations (il ne dit pas qu'il y a un chat sur la photo s'il n'y en a pas).

🏆 Pourquoi c'est génial ?

Pas de ralentissement : Pendant que le robot travaille (quand il répond à vos questions), il n'a pas besoin de faire de calculs supplémentaires. C'est comme si vous aviez musclé vos jambes pendant l'entraînement, mais que vous couriez normalement pendant la course.
Universel : Ça marche sur différents types de robots (LLaVA, Qwen, etc.) et sur plein de tâches différentes (lire des documents, analyser des graphiques, répondre à des questions sur des images).

En résumé

Imaginez que vous appreniez à conduire.

L'ancienne méthode : Vous conduisez uniquement sur des routes parfaites et ensoleillées. Dès qu'il pleut, vous paniquez.
La nouvelle méthode (Latent Denoising) : Pendant votre permis, votre moniteur vous fait conduire sur des routes boueuses, avec des pneus crevés et une visibilité réduite, en vous forçant à réagir.
Le résultat : Quand vous conduisez enfin seul sur une belle route, vous êtes un conducteur bien plus sûr, plus attentif et capable de gérer n'importe quelle situation imprévue.

Ce papier montre que forcer l'IA à "réparer" des images abîmées est la clé pour lui donner de vraies yeux et un vrai cerveau visuel.

1. Problématique et Contexte

Les Grands Modèles Multimodaux (LMMs), tels que LLaVA, sont généralement entraînés avec un objectif de modélisation du langage autoregressif. Cette approche ne fournit qu'une supervision indirecte aux tokens visuels, car le modèle est optimisé uniquement pour prédire le texte de réponse.

Cette limitation entraîne plusieurs problèmes majeurs :

Représentations visuelles internes faibles : Les représentations visuelles au sein du LLM sont souvent mal alignées avec la réalité de l'image.
Comportements fragiles : Les modèles sont sujets à des hallucinations d'objets et à une confiance excessive dans le texte au détriment des preuves visuelles (phénomène de "visual attention sink").
Manque de robustesse : Les performances se dégradent rapidement face à des images corrompues (bruit, flou, conditions météo) ou à des distributions de données différentes.

Bien que des travaux récents aient tenté d'apporter une supervision visuelle directe (alignement de caractéristiques, reconstruction latente), ces approches restent souvent fragmentées, dépendantes de modèles enseignants spécialisés ou coûteuses en calcul.

2. Méthodologie : Le Cadre de Débruitage Latent

Les auteurs proposent un cadre d'entraînement innovant basé sur le débruitage latent (latent denoising), inspiré des travaux sur les tokenizers visuels de haute qualité. L'idée centrale est de traiter la supervision visuelle comme un problème de corruption et de récupération de l'espace latent visuel.

A. Corruption Latente (Déconstruction)

Au lieu d'utiliser uniquement les tokens visuels projetés propres ( $Z$ ), le modèle corrompt un sous-ensemble de ces tokens avant qu'ils ne soient traités par le LLM :

Mélange de corruption : Une combinaison de masquage (suppression d'information) et de bruit gaussien (perturbation continue).
Sélection guidée par la saillance (Saliency-aware) :
- Les patches visuels saillants (importants) subissent principalement du bruit gaussien (corruption douce).
- Les patches moins saillants subissent principalement du masquage (corruption dure).
- Cette stratégie assure un équilibre entre la difficulté de la tâche et la préservation de l'information critique.

B. Récupération et Supervision

Le LLM traite la séquence corrompue ( $\tilde{Z}$ ) de manière autoregressive standard. Pour superviser l'apprentissage :

Cible Enseignante : Un encodeur visuel gelé (le même que celui utilisé en entrée, par ex. CLIP ou SigLIP) fournit des caractéristiques visuelles "propres" ( $Y$ ) comme cible.
Extraction Interne : Au lieu de superviser la sortie finale, le modèle extrait les états cachés visuels d'une couche intermédiaire du LLM (souvent la couche 16 sur 32, où le signal visuel est le plus fort).
Décodeur Léger : Un petit décodeur (MLP) tente de reconstruire les caractéristiques enseignantes propres ( $\hat{Y}$ ) à partir des états cachés corrompus.

C. Fonction de Perte

L'objectif d'entraînement combine la perte de langage standard avec trois termes de supervision visuelle :

Perte de Reconstruction ( $\mathcal{L}_{rec}$ ) : Alignement point par point (cosinus) entre les caractéristiques décodées et la cible enseignante.
Perte Relationnelle ( $\mathcal{L}_{rel}$ ) : Préservation de la géométrie de similarité globale (distances relatives) entre les patches, assurant que la structure spatiale de l'image est maintenue.
Perte Contrastive ( $\mathcal{L}_{con}$ ) : Encourage la distinction entre les patches au sein d'une même image pour éviter l'effondrement des représentations (collapse).

Avantage clé : Toutes les opérations de corruption et les têtes de décodage auxiliaires sont désactivées lors de l'inférence. Le modèle final est identique au LLM de base, sans surcoût de temps de calcul.

3. Contributions Clés

Cadre de Débruitage Latent : Introduction d'une méthode unifiée pour la supervision visuelle dans les LMMs, utilisant le débruitage (masquage + bruit) pour affiner les représentations internes.
Protocole d'Évaluation de Corruption : Adaptation du paradigme "ImageNet-C" pour les LMMs. Les auteurs appliquent systématiquement des corruptions non-adversariales (bruit, flou, météo, numérique) aux images des benchmarks d'évaluation pour tester la robustesse.
Améliorations Généralisables : Démonstration que cette méthode améliore la compréhension visuelle, le raisonnement et la robustesse sur trois architectures différentes (LLaVA+CLIP, LLaVA+SigLIP, Qwen-2.5-VL) sans nécessiter d'infrastructure d'inférence supplémentaire.

4. Résultats Expérimentaux

Les expériences ont été menées sur 18 benchmarks couvrant le VQA, le raisonnement, l'OCR, et la robustesse.

Performance sur Données Propres :
- Améliorations constantes sur la majorité des benchmarks (15/18 pour LLaVA+CLIP, 18/18 pour LLaVA+SigLIP).
- Gains significatifs sur les tâches de raisonnement visuel compositionnel (ex: +4.4 sur GQA pour Qwen) et de cohérence (NaturalBench).
- Amélioration des benchmarks de robustesse naturels (VizWiz, RealWorldQA) même sans corruption appliquée lors du test.
Robustesse aux Corruptions (ImageNet-C style) :
- Sous des niveaux de corruption sévères (niveau 5), le modèle débruité subit une dégradation beaucoup plus faible que les modèles de base.
- Sur le benchmark MMStar avec du bruit sévère, le modèle de base chute de 4.2 points, tandis que le modèle proposé ne chute que de 1.5 point, et maintient une performance supérieure à celle du modèle de base sur des données propres.
Analyse des Représentations Internes :
- Alignement CKA : Les couches intermédiaires du modèle débruité montrent un alignement plus fort avec les encodeurs visuels de référence (CLIP, DINOv2).
- Classification kNN : La précision de classification des caractéristiques visuelles internes est nettement améliorée, éliminant le "creux" de discriminabilité observé dans les modèles de base.
- Attention : Les visualisations montrent une attention plus focalisée sur les régions pertinentes de l'image, réduisant les phénomènes de "visual attention sink".

5. Signification et Impact

Ce travail est significatif car il comble le fossé entre l'apprentissage de représentations pour la génération (où le débruitage est courant) et la compréhension (où il était sous-exploité).

Efficacité : La méthode offre des gains substantiels sans alourdir le modèle lors de l'inférence, ce qui est crucial pour le déploiement pratique.
Robustesse : Elle adresse directement la fragilité des LMMs face aux données du monde réel (images bruitées, conditions variées), un problème critique pour les applications réelles.
Alignement : Elle prouve que forcer le modèle à "réparer" des caractéristiques visuelles corrompues renforce intrinsèquement la qualité de l'alignement multimodal, rendant le modèle moins dépendant du texte et plus ancré dans la réalité visuelle.

En résumé, le débruitage latent agit comme un mécanisme de régularisation puissant qui force le LLM à développer des représentations visuelles internes plus riches, plus robustes et mieux alignées, améliorant ainsi ses capacités de raisonnement et de compréhension globale.