Diagnosing Corruption-Induced Reliability Failures in Vision-Language Models

Résumé Technique : Diagnostiquer les défaillances de fiabilité induites par la corruption dans les modèles vision-langage

Énoncé du problème
Les évaluations actuelles des modèles vision-langage (VLM) sous corruption visuelle reposent largement sur la précision top-1. Cependant, les auteurs soutiennent que la précision est une métrique insuffisante pour la fiabilité car elle ne parvient pas à capturer les changements dans la structure prédictive sous-jacente. Un modèle peut maintenir la bonne réponse tout en perdant son support distributionnel (dégradation silencieuse), ou il peut passer d'une réponse erronée à une réponse correcte par des changements instables et trop confiants. De plus, les benchmarks standards incluent souvent des échantillons peu discriminants où les réponses restent stables quelle que soit la corruption, masquant ainsi les différences entre les modèles. L'article identifie un « paradoxe de la qualité visuelle » où de légères corruptions améliorent parfois la précision top-1, bien qu'il reste incertain si ces gains reflètent une correction fiable ou un comportement instable.

Méthodologie
Pour combler ces lacunes, les auteurs proposent BENCH-C, un banc d'essai diagnostique contrôlé, et le Robustness Alignment Score (RAS), une métule de mesure de la fiabilité au niveau de la distribution.

1. Construction de BENCH-C :

   • Pool de candidats : Les auteurs agrègent 4 000 échantillons provenant de six benchmarks de choix multiples diversifiés (ex. : SEEDBENCH2+, MMBENCH) couvrant des tâches riches en texte, spatiales et de raisonnement fin.
   • Protocole de corruption : Ils appliquent 19 corruptions à facteur unique (groupées en artefacts photométriques, flou, bruit, météo et numériques) à travers cinq niveaux de sévérité ordonnés, suivant la convention ImageNet-C.
   • Sélection diagnostique : Au lieu d'un échantillonnage aléatoire, BENCH-C sélectionne des échantillons sensibles à la corruption. Il filtre les échantillons où les prédictions varient selon les niveaux de sévérité (mesuré par l'impureté de Gini de la trajectoire de réponse) et assure la diversité sémantique via une sélection gloutonne sur les embeddings d'images et de texte.
   • Dataset final : Le banc d'essai résultant contient 849 questions diagnostiques et 80 655 paires image-question corrompues.

2. Diagnostics de la structure de prédiction :

   • Les auteurs analysent la distribution de probabilité par option $p$ plutôt que simplement la réponse argmax.
   • Décalage d'incertitude ($\Delta S$) : Mesuré comme le changement d'entropie normalisée, indiquant si la distribution devient plus plate (moins décisive) ou plus nette.
   • Décalage d'alignement confiance-correction ($\Delta C$) : Mesuré comme le changement de la différence absolue entre la confiance top-1 du modèle et la justesse de cette prédiction.
   • Robustness Alignment Score (RAS) : Une métrique composite définie comme $RAS = -\Delta C - [\Delta C]^+[-\Delta S]^+ - [-\Delta S]^+[\Delta C]^+$. Ce score pénalise la « dégradation trop confiante » (mauvais alignement avec une entropie plus faible) et le « support hésitant » (meilleur alignement avec une entropie plus élevée), tout en récompensant l'amélioration de l'alignement. Le RAS varie de -2 à 1.

3. Cadre d'attribution :

   • Attribution de la source : Les changements sont attribués aux échantillons « initialement corrects » ($Q_c$) versus « initialement erronés » ($Q_w$).
   • Attribution d'état : Les échantillons sont classés en quatre états basés sur la justesse propre vs corrompue : $Q_{cc}$ (correct $\to$ correct), $Q_{cw}$ (correct $\to$ erroné), $Q_{wc}$ (erroné $\to$ correct) et $Q_{ww}$ (erroné $\to$ erroné).
   • Analyse de trajectoire : Les auteurs suivent si les changements sont transitoires ou persistants à travers les cinq niveaux de sévérité.

Résultats clés
Les expériences sur 13 VLM révèlent que les défaillances de fiabilité induites par la corruption sont plus structurées que ne le suggère la précision :

• Décalage entre précision et structure : Une précision propre élevée ne garantit pas la robustesse. Par exemple, Qwen2.5-VL avait la précision propre la plus élevée mais la plus grande perte de précision et le RAS le plus négatif. Inversement, des modèles avec une précision propre plus faible présentaient parfois une meilleure robustesse structurelle (RAS).
• Dégradation cachée : Sur les échantillons initialement corrects ($Q_{cc}$), les modèles maintiennent souvent la réponse correcte mais perdent leur support distributionnel (RAS négatif), indiquant une dégradation silencieuse.
• Gains contre-intuitifs : Les gains apparents de précision proviennent souvent de transitions « erroné-vers-correct » ($Q_{wc}$). Cependant, ces gains coexistent fréquemment avec une dégradation significative sur les échantillons initialement corrects. L'article note que des corruptions plus fortes peuvent faire paraître les réponses initialement erronées plus correctes (décalage structurel positif) tout en déstabilisant simultanément les prédictions initialement correctes.
• Tendances de sévérité : À mesure que la sévérité de la corruption augmente, les dommages aux échantillons initialement corrects deviennent plus négatifs, tandis que l'amélioration structurelle sur les échantillons initialement erronés devient plus positive. Cela suggère que la corruption sévère induit une instabilité de la structure de prédiction plutôt qu'une correction robuste.
• Types de corruption : Le flou a été identifié comme particulièrement dommageable pour les échantillons initialement corrects, probablement en raison de la perte de contours fins et de indices de localisation locale.

Signification et revendications
L'article affirme que BENCH-C et RAS fournissent un passage nécessaire de l'évaluation des « réponses finales » à l'évaluation de la « structure de prédiction ». La portée réside dans :

1. La révélation des échecs cachés : Identifier que les modèles peuvent maintenir des réponses correctes tout en perdant leur fiabilité (dégradation silencieuse) ou améliorer la précision via des mécanismes instables.
2. L'attribution des changements de fiabilité : Distinguer les dommages causés aux comportements fiables des corrections de comportements non fiables, montrant que les gains de précision globale peuvent masquer des coûts structurels sous-jacents.
3. Le guidage de l'entraînement à la robustesse : Les auteurs suggèrent que l'entraînement à la robustesse ne devrait pas seulement récompenser l'invariance de la réponse, mais devrait viser à préserver l'alignement confiance-correction et le support distributionnel, particerlement pour les preuves visuelles fines.

L'étude conclut que l'évaluation de la robustesse doit dépasser les métriques agrégées pour inclure des analyses de source, d'état et de trajectoire de sévérité afin de diagnostiquer précisément où et comment la fiabilité change sous la dégradation visuelle.