How Do Inpainting Artifacts Propagate to Language?

Cette étude examine comment les artefacts visuels générés par l'inpainting basé sur la diffusion se propagent aux modèles de langage vision-linguistique, révélant une corrélation systématique entre la fidélité de la reconstruction d'image et la qualité des légendes produites.

L'essentiel

🎨 Le Problème : Le "Peintre" qui triche un peu

Imaginez que vous avez un tableau magnifique, mais qu'un coin est taché ou manquant. Vous appelez un peintre robot très talentueux (c'est ce qu'on appelle un modèle d'"inpainting" basé sur l'IA) pour réparer la zone manquante.

Ce robot est incroyable : il peint si bien que l'œil humain ne voit presque pas la différence. Tout semble naturel.

Cependant, ce robot a un petit défaut : il est obsédé par le réalisme visuel (les couleurs, les textures), mais il ne comprend pas toujours parfaitement la logique de ce qu'il peint.

• Exemple : Si vous lui demandez de réparer un coin où il y avait un homme en chemise bleue, il pourrait peindre une femme en chemise bleue. Visuellement, c'est parfait. Logiquement, c'est une erreur.

🤖 Le Danger : Le "Traducteur" qui croit tout voir

Ensuite, vous prenez ce tableau réparé et vous le montrez à un traducteur robot (un modèle de langage qui décrit les images). Ce traducteur ne sait pas que le coin a été réparé par un autre robot. Il pense que tout ce qu'il voit est la réalité.

Si le peintre a dessiné une femme au lieu d'un homme, le traducteur va écrire : "Voici une femme en chemise bleue".
Le problème : Le traducteur a produit une phrase grammaticalement parfaite, mais fausse, parce qu'il s'est fié à une image qui contenait une petite erreur invisible.

🔬 L'expérience des chercheurs

Les auteurs de cet article (de l'Université de Californie) ont voulu mesurer à quel point ces petites erreurs de peinture peuvent fausser la description du texte.

Ils ont créé un jeu en deux étapes :

1. Ils prennent une photo, cachent une partie au milieu (comme un cache).
2. Ils demandent au "peintre robot" de réparer le trou.
3. Ils donnent le résultat au "traducteur robot" pour qu'il décrive l'image.
4. Ils comparent cette description avec celle qu'aurait donnée le traducteur sur la photo originale.

📊 Ce qu'ils ont découvert (Les analogies)

Voici les trois grandes leçons de l'étude, expliquées simplement :

1. La qualité de la "réparation" dicte la qualité de la "description"
Il y a un lien direct. Plus la réparation du peintre est précise (mesurée par des outils mathématiques qui vérifient les pixels), plus la description du traducteur est juste.

• Analogie : C'est comme si vous essayiez de décrire un paysage à quelqu'un qui regarde à travers des lunettes sales. Plus les lunettes sont propres (image de haute qualité), plus votre description sera fidèle. Si les lunettes sont floues ou déformées, vous allez dire des bêtises, même si vous êtes un excellent observateur.

2. Ce n'est pas juste "l'aspect global" qui compte
Ils ont découvert que les mesures classiques de qualité d'image (qui regardent la structure globale) ne suffisent pas.

• Analogie : Imaginez que vous regardez un puzzle. Si vous regardez juste la forme générale du puzzle, tout semble bon. Mais si une pièce est inversée (un visage à l'envers), la structure globale est là, mais le sens est perdu. Les chercheurs ont vu que les erreurs "subtiles" (comme changer un animal en un autre) sont ce qui fait le plus de dégâts dans la description, même si l'image semble belle à l'œil nu.

3. L'erreur se propage dans le "cerveau" du robot
En regardant comment le robot "pense" (en analysant ses couches internes), ils ont vu que l'erreur ne reste pas juste à l'endroit réparé.

• Analogie : C'est comme une tache d'encre sur un tissu. Au début, elle est petite (au niveau des pixels). Mais plus on regarde profondément dans le tissu (les couches profondes du cerveau du robot), plus la tache s'étend et déforme toute la perception. Le robot commence à "douter" de ce qu'il voit, et cette confusion se propage jusqu'à la phrase finale qu'il écrit.

🚫 Quand ça ne marche pas ?

L'étude a aussi montré des cas où ça ne fonctionne pas. Si les images sont très abstraites (comme des graphiques de musique ou des rayons X très simples) et que les descriptions sont très courtes et répétitives (ex: "musique rock" ou "poumon normal"), alors peu importe la qualité de la réparation, le robot dira toujours la même chose.

• Leçon : Pour que l'erreur se voie, il faut que la description soit riche et détaillée. Si le texte est vide, l'erreur visuelle passe inaperçue.

💡 En résumé

Cette recherche nous dit une chose importante : Dans les systèmes qui combinent images et textes, la qualité de la "réparation" de l'image est cruciale.

Si vous utilisez l'IA pour réparer des photos avant de les analyser, vous devez faire attention : une image qui semble parfaite peut contenir des mensonges subtils qui vont tromper l'IA qui doit la décrire. C'est comme si un témoin oculaire (l'image) racontait une histoire fausse à un journaliste (le texte) : même si le témoin semble honnête, le rapport final sera faux.

Les chercheurs proposent donc de toujours vérifier la qualité de la "réparation" avant de faire confiance à la "description".

Résumé technique

1. Problématique

Les modèles vision-langage (VLM) sont de plus en plus déployés dans des pipelines multi-étapes où les entrées visuelles sont souvent traitées ou reconstruites avant d'être consommées par des modèles de langage. Une pratique courante est l'inpainting (complétion d'image), où des régions manquantes ou corrompues sont remplies à l'aide de modèles de diffusion.

Le problème central identifié par les auteurs est le suivant : bien que les modèles d'inpainting basés sur la diffusion produisent des reconstructions visuellement plausibles (optimisées pour le réalisme au niveau des pixels), ils peuvent introduire des artefacts sémantiques subtils mais significatifs (ex: changement d'objet, d'attribut ou de catégorie). Comme les modèles de légendage (captioning) ne sont pas conscients des zones reconstruites, ils traitent ce contenu synthétique comme une preuve visuelle réelle. La question de recherche est donc : dans quelle mesure la fidélité de la reconstruction influence-t-elle la justesse et l'ancrage sémantique des légendes générées en aval ?

2. Méthodologie

Les auteurs proposent un cadre de diagnostic en deux étapes, agnostique au modèle, pour isoler l'impact des artefacts visuels sur la génération de langage sans réentraîner les modèles.

• Cadre Expérimental (Dégradation-Reconstruction-Légendage) :

  1. Dégradation : Une région définie d'une image d'entrée est dégradée de manière synthétique. Trois stratégies de masquage sont utilisées :
     • Masquage central dur (suppression totale des pixels).
     • Masquage central flou (Gaussian blur).
     • Dégradation de basse dimension (compression, quantification).
  2. Reconstruction : L'image dégradée est reconstruite à l'aide de modèles d'inpainting basés sur la diffusion (Stable Diffusion 1.5, 2.0 et 3.0).
  3. Légendage : Les images originales et reconstruites sont passées à des modèles de légendage figés (LLaVA, BLIP, Qwen2.5-VL) pour générer des descriptions.
  4. Analyse : Les légendes générées sont comparées aux références originales.

• Métriques d'Évaluation :

  • Fidélité de reconstruction : MSE, PSNR, SSIM, et LPIPS (similarité perceptuelle).
  • Qualité des légendes : Métriques lexicales (BLEU, ROUGE-L, METEOR) et sémantiques (SimCSE, SBERT).
  • Stabilité interne : Analyse des embeddings visuels (ViT-Base) et des cartes d'attention (drift d'attention et entropie) pour observer comment les artefacts se propagent à travers les couches du modèle.

• Données : L'étude couvre plusieurs domaines : images naturelles (Flickr, RefCOCOg), imagerie médicale (ROCOv2, Rayons X), spectrogrammes audio (GTZAN) et graphiques de séries temporelles (TRUCE).

3. Contributions Clés

1. Cadre de diagnostic agnostique : Introduction d'une méthodologie standardisée pour analyser les effets induits par la reconstruction dans les pipelines vision-langage.
2. Preuve empirique multi-jeux de données : Établissement d'un lien robuste entre la fidélité de reconstruction et la qualité des légendes sur des données variées, montrant que les améliorations visuelles se traduisent par une meilleure ancrage linguistique.
3. Analyse des représentations internes : Démonstration que les artefacts d'inpainting provoquent des changements systématiques, dépendants de la profondeur des couches, dans les encodeurs visuels, en particulier une dérive de l'attention spatialement localisée sur les zones reconstruites.

4. Résultats Principaux

• Corrélation entre Fidélité Visuelle et Qualité Linguistique :

  • Il existe une association cohérente entre les métriques de reconstruction (notamment LPIPS et MSE) et la qualité des légendes. Une meilleure fidélité perceptuelle et une erreur pixel plus faible correspondent à des légendes plus précises.
  • Le SSIM (similarité structurelle) montre des corrélations faibles ou incohérentes, suggérant que la similarité structurelle globale ne suffit pas à prédire la justesse sémantique.
  • Les stratégies de masquage doux (flou gaussien, dégradation de basse dimension) préservent mieux la qualité des légendes que le masquage central dur, qui crée des discontinuités spatiales abruptes perturbant l'identité des objets.

• Propagation Interne et Dérive de l'Attention :

  • L'analyse des encodeurs visuels figés révèle que les artefacts d'inpainting induisent une dérive de l'attention (attention drift) qui augmente avec la profondeur du réseau (les couches profondes sont plus affectées).
  • Cette dérive est localement alignée : les changements d'attention sont significativement plus élevés dans les régions reconstruites que dans le reste de l'image.
  • Les représentations globales (embeddings CLS) des images reconstruites se séparent de celles des images originales, surtout avec des masquages durs.

• Cas de Succès et d'Échec :

  • Succès : Les corrélations sont fortes sur Flickr, RefCOCOg, TRUCE et ROCOv2.
  • Échec : Sur GTZAN (audio) et les Rayons X, la corrélation est faible ou inexistante. Cela est dû à un appauvrissement linguistique : les légendes sont trop génériques, répétitives ou étiquetées (ex: noms de genres musicaux), rendant les métriques de légendage insensibles aux variations visuelles, même importantes.

5. Signification et Conclusion

Cette étude démontre que l'inpainting, même lorsqu'il produit des images visuellement convaincantes, peut altérer significativement le traitement sémantique dans les pipelines multimodaux.

• Implications Pratiques : Pour évaluer la robustesse des systèmes vision-langage, il est crucial d'utiliser des métriques de reconstruction perceptuelle (comme LPIPS) plutôt que purement structurelles. De plus, les diagnostics doivent tenir compte de la qualité des légendes d'entraînement et de la richesse sémantique des données.
• Limites : L'étude se concentre sur l'inpainting et des modèles figés. Les résultats pourraient différer dans des systèmes entraînés de bout en bout ou pour d'autres tâches comme la réponse aux questions visuelles (VQA).
• Impact Éthique : Le travail met en lumière le risque de « hallucination » induite par le prétraitement visuel, où des artefacts invisibles à l'œil nu peuvent fausser les décisions automatisées basées sur le langage.

En résumé, la qualité de la reconstruction visuelle n'est pas seulement une question esthétique, mais un facteur déterminant pour la fiabilité sémantique des modèles de langage multimodaux.