Diagnosing Corruption-Induced Reliability Failures in Vision-Language Models

Resumo Técnico: Diagnosticando Falhas de Confiabilidade Induzidas por Corrupção em Modelos de Visão-Linguagem

Declaração do Problema
As avaliações atuais de Modelos de Visão-Linguagem (VLMs) sob corrupção visual dependem fortemente da acurácia top-1. No entanto, os autores argumentam que a acurácia é uma métrica insuficiente para confiabilidade porque falha em capturar mudanças na estrutura de predição subjacente (degradação silenciosa), onde um modelo pode manter a resposta correta enquanto perde o suporte distributivo, ou pode mudar de uma resposta errada para uma correta através de deslocamentos instáveis e excessivamente confiantes. Além disso, os benchmarks padrão frequentemente incluem amostras de baixa discriminatividade onde as respostas permanecem estáveis independentemente da corrupção, mascarando as diferenças entre os modelos. O artigo identifica um "paradoxo da qualidade visual", onde corrupções leves às vezes melhoram a acurácia top-1, mas permanece incerto se esses ganhos refletem uma correção confiável ou um comportamento instável.

Metodologia
Para abordar essas lacunas, os autores propõem o BENCH-C, um ambiente de teste diagnóstico controlado, e o Robustness Alignment Score (RAS), uma métrica para medir a confiabilidade ao nível de distribuição.

1. Construção do BENCH-C:

   • Pool de Candidatos: Os autores agregam 4.000 amostras de seis benchmarks de múltipla escolha diversos (ex: SEEDBENCH2+, MMBENCH) cobrindo tarefas ricas em texto, espaciais e de raciocínio refinado.
   • Protocolo de Corrupção: Eles aplicam 19 corrupções de fator único (agrupadas em fotométricas, desfoque, ruído, clima e artefatos digitais) através de cinco níveis ordenados de severidade, seguindo a convenção ImageNet-C.
   • Seleção Diagnóstica: Em vez de amostragem aleatória, o BENCH-C seleciona amostras que são sensíveis à corrupção. Ele filtra amostras onde as predições variam entre os níveis de severidade (medido pela impureza de Gini da trajetória da resposta) e garante diversidade semântica via seleção gananciosa (greedy selection) em embeddings de imagem e texto.
   • Dataset Final: O ambiente de teste resultante contém 849 questões diagnósticas e 80.655 pares imagem-pergunta corrompidos.

2. Diagnósticos de Estrutura de Predição:

   • Os autores analisam a distribuição de probabilidade por opção $p$, em vez de apenas a resposta argmax.
   • Deslocamento de Incerteza ($\Delta S$): Medido como a mudança na entropia normalizada, indicando se a distribuição torna-se mais plana (menos decisiva) ou mais nítida.
   • Deslocamento de Alinhamento Confiança-Correção ($\Delta C$): Medido como a mudança na diferença absoluta entre a confiança top-1 do modelo e a correção dessa predição.
   • Robustness Alignment Score (RAS): Uma métrica composta definida como $RAS = -\Delta C - [\Delta C]^+[-\Delta S]^+ - [-\Delta S]^+[\Delta C]^+$. Este escore penaliza a "degradação excessivamente confiante" (pior alinhamento com menor entropia) e o "suporte hesitante" (melhor alinhamento com maior entropia), enquanto recompensa o alinhamento aprimorado. O RAS varia de -2 a 1.

3. Estrutura de Atribuição:

   • Atribuição de Fonte: As mudanças são atribuídas a amostras "originalmente corretas" ($Q_c$) vs. "originalmente erradas" ($Q_w$).
   • Atribuição de Estado: As amostras são categorizadas em quatro estados baseados na correção limpa vs. corrompida: $Q_{cc}$ (correto $\to$ correto), $Q_{cw}$ (correto $\to$ errado), $Q_{wc}$ (errado $\to$ correto) e $Q_{ww}$ (errado $\to$ errado).
   • Análise de Trajetória: Os autores rastreiam se as mudanças são transitórias ou persistentes através dos cinco níveis de severidade.

Resultados Principais
Experimentos em 13 VLMs revelam que as falhas de confiabilidade induzidas por corrupção são mais estruturadas do que a acurácia sugere:

• Descompasso entre Acurácia e Estrutura: Alta acurácia limpa não garante robustez. Por exemplo, o Qwen2.5-VL teve a maior acurácia limpa, mas a maior perda de acurácia e o RAS mais negativo. Inversamente, modelos com menor acurácia limpa às vezes exibiram melhor robustez estrutural (RAS).
• Degradação Oculta: Em amostras originalmente corretas ($Q_{cc}$), os modelos frequentemente mantêm a resposta correta, mas perdem o suporte distributivo (RAS negativo), indicando degradação silenciosa.
• Ganhos Contraintuitivos: Ganhos aparentes de acurácia frequentemente derivam de transições "errado-para-correto" ($Q_{wc}$). No entanto, esses ganhos frequentemente coexistem com degradação significativa em amostras originalmente corretas. O artigo nota que corrupções mais fortes podem fazer com que respostas originalmente erradas pareçam mais corretas (deslocamento estrutural positivo), enquanto simultaneamente desestabilizam predições originalmente corretas.
• Tendências de Severidade: À medida que a severidade da corrupção aumenta, o dano às amostras originalmente corretas torna-se mais negativo, enquanto a melhoria estrutural nas amostras originalmente erradas torna-se mais positiva. Isso sugere que a corrupção severa induz instabilidade na estrutura de predição em vez de uma correção robusta.
• Tipos de Corrupção: O desfoque (blur) foi identificado como particularmente prejudicial às amostras originalmente corretas, provavelmente devido à perda de contornos finos e pistas de ancoragem local.

Significância e Alegações
O artigo afirma que o BENCH-C e o RAS proporcionam uma mudança necessária da avaliação de "respostas finais" para a avaliação de "estrutura de predição". A significância reside em:

1. Revelar Falhas Ocultas: Identificar que modelos podem manter respostas corretas enquanto perdem confiabilidade (degradação silenciosa) ou melhorar a acurácia através de mecanismos instáveis.
2. Atribuir Mudanças de Confiabilidade: Distinguir entre danos a comportamentos confiáveis e correções de comportamentos não confiáveis, mostrando que ganhos agregados de acurácia podem mascarar custos estruturais subjacentes.
3. Guiar o Treinamento de Robustez: Os autores sugerem que o treinamento de robustez não deve apenas recompensar a invariância da resposta, mas deve visar a preservação do alinhamento confiança-correção e do suporte distributivo, particularmente para evidências visuais de detalhamento fino.

O trabalho conclui que a avaliação de robustez deve ir além de métricas agregadas para incluir análises de fonte, estado e trajetória de severidade para diagnosticar com precisão onde e como a confiabilidade muda sob degradação visual.