VLM-UQBench: A Benchmark for Modality-Specific and Cross-Modality Uncertainties in Vision Language Models

Resumo Técnico: VLM-UQBench

Título Original: VLM-UQBench: A Benchmark for Modality-Specific and Cross-Modality Uncertainties in Vision Language Models

1. O Problema (Contexto e Motivação)

A Quantificação de Incerteza (UQ - Uncertainty Quantification) é essencial para garantir a segurança e confiabilidade de Modelos de Linguagem e Visão (VLMs) em aplicações críticas (robótica, medicina, assistentes visuais). O desafio central identificado pelos autores é que a UQ tradicional geralmente trata a incerteza como um escalar único (dicotomia epistêmica vs. aleatória), falhando em localizar a fonte da incerteza.

Em VLMs, a incerteza pode originar-se de três fontes distintas:

1. Modalidade Visual: Imagens de baixa qualidade, borradas ou ambíguas.
2. Modalidade Textual: Perguntas mal formuladas, subjetivas ou incoerentes.
3. Interação Cross-Modal: Desalinhamento entre o texto e a imagem (ex: uma pergunta que se refere a um objeto que não está claramente visível ou que é ambíguo na cena).

Os métodos atuais de UQ não oferecem suporte estruturado para essa visão específica por modalidade, dificultando a tomada de decisão (ex: decidir se o modelo deve pedir para refazer a foto ou reformular a pergunta).

2. Metodologia

Os autores introduzem o VLM-UQBench, um benchmark projetado para avaliar a sensibilidade da UQ a essas fontes específicas. A metodologia baseia-se em quatro pilares:

• Subconjuntos Curados (Dados Reais): Utilizam o dataset VizWiz para criar quatro subconjuntos com rótulos de "verdade fundamental" (ground-truth) fornecidos por especialistas: Clean (limpo), Image (incerteza visual), Text (incerteza textual) e Cross-modal (incerteza de desalinhamento).
• Pipeline de Perturbação Escalável: Para permitir a avaliação em larga escala sem depender apenas de anotações humanas, criaram um pipeline que injeta incertezas controladas via:
  • 8 perturbações visuais (ex: desfoque, ruído, brilho, cutout).
  • 5 perturbações textuais (ex: erros de digitação, remoção de palavras, reescritas subjetivas via LLM).
  • 3 perturbações cross-modais (ex: introdução de ambiguidade de referência e evidência insuficiente).
• Novas Métricas de Avaliação:
  • Uncertainty Reflection Rate (URR): Mede a consistência com que um método de UQ aumenta sua pontuação de incerteza quando uma perturbação é aplicada.
  • Hallucination Consistency Coefficient (HCC): Mede a correlação entre o aumento da incerteza e a ocorrência de alucinações induzidas pela perturbação.
• Avaliação Abrangente: Testaram 9 métodos de UQ (caixa-branca e caixa-preta) em 4 modelos VLMs (Kosmos-2, Qwen-VL, LLaVA e GPT-4o-mini).

3. Principais Contribuições

1. Benchmark de Modalidade Específica: O primeiro benchmark que separa a incerteza por fonte (imagem, texto ou interação).
2. Pipeline de Perturbação Automatizado: Uma ferramenta que transforma datasets padrão em benchmarks de incerteza através de edições controladas.
3. Métricas de Sensibilidade e Alucinação: Introdução de URR e HCC para conectar a UQ ao comportamento de erro do modelo.
4. Estudo Sistemático: Uma análise profunda que revela as falhas de robustez dos métodos de UQ atuais em ambientes multimodais.

4. Resultados Principais

Os experimentos revelaram lacunas críticas na tecnologia atual:

• Especialização e Dependência de Modelo: Os métodos de UQ mostram especialização por modalidade (ex: Semantic Entropy funciona bem para texto, mas falha em visão) e são altamente dependentes da arquitetura do VLM subjacente.
• Incapacidade de Detectar Incerteza Visual: A incerteza visual é o desafio mais difícil; muitos métodos de UQ apresentam desempenho próximo ao acaso ao tentar detectar imagens de baixa qualidade.
• Desconexão com Alucinações: Embora a incerteza de uma modalidade frequentemente cause alucinações, os métodos de UQ atuais fornecem sinais de risco fracos e inconsistentes. Eles falham em detectar alucinações sutis introduzidas por perturbações finas.
• Ambiguidade Cross-Modal: Embora os métodos de UQ possam rivalizar com técnicas de raciocínio (Chain-of-Thought) para ambiguidades óbvias em nível de grupo, eles falham em detectar ambiguidades sutis ao nível de instância.

5. Significância

O trabalho é significativo pois demonstra que a UQ para VLMs não pode ser tratada como uma extensão da UQ para LLMs (apenas texto). Para que os VLMs sejam implantados de forma segura em robótica ou medicina, é necessário desenvolver novos métodos de UQ que sejam conscientes da modalidade (modality-aware), capazes de distinguir se o erro vem da percepção visual, da compreensão linguística ou da integração entre ambas. O VLM-UQBench serve como a infraestrutura necessária para impulsionar essa próxima geração de métodos de confiança.