Resumo Técnico: Entropia Semântica Visual (VSE)

1. Definição do Problema

Modelos de Visão-Linguagem (VLMs) são excelentes em Questionamento Visual (VQA), mas frequentemente produzem previsões confiantes em entradas visualmente ambíguas, levando a resultados enviesados e não confiáveis. A estimativa de incerteza (UE) confiável é crítica para filtrar essas previsões. No entanto, os métodos de UE existentes exibem três modos de falha específicos quando aplicados a VLMs:

1. Supressão da Variação de Saída: Métodos baseados em entropia padrão, como a Entropia Semântica (SE), dependem de decodificação estocástica para gerar saídas diversas. Os autores demonstram que, quando um VLM forma um embedding visual altamente confiante (mesmo para imagens ambíguas), a decodificação estocástica produz saídas quase idênticas. Consequentemente, a SE subestima a incerteza porque falha em capturar a ambiguidade inerente ao input visual.
2. Distâncias Infladas pela Redação: Métodos que agregam distâncias semânticas pareadas (ex: SNNE) tratam respostas como rótulos categóricos ou dependem de distâncias de embedding. Como a linguagem é discreta, respostas semanticamente equivalentes com diferentes formulações podem parecer distantes no espaço de embedding. Essa variação linguística infla as estimativas de incerteza mesmo quando não há um desentendimento semântico genuíno.
3. Dominância Textual em Perturbações Conjuntas: Abordagens recentes sondam a incerteza via perturbações de entrada, incluindo paráfrase textual ou perturbações conjuntas texto-imagem. Os autores mostram que a paráfrase textual induz mudanças semânticas significativamente maiores no espaço de embedding multimodal do que as perturbações visuais. Como resultado, a variabilidade da saída nesses métodos é impulsionada principalmente pela sensibilidade ao prompt (mudanças linguísticas) em vez da ambiguidade visual, levando a estimativas de incerteza que refletem a sensibilidade textual em vez da evidência visual.

2. Metodologia: Entropia Semântica Visual (VSE)

Para abordar essas limitações, os autores propõem a Entropia Semântica Visual (VSE), um framework projetado para sondar a ambiguidade visual enquanto mitiga o ruído linguístico. O método consiste em três estágios principais:

A. Perturbação Visual (Texto Fixo)

Diferente dos métodos que perturbam a pergunta ou perturbam conjuntamente texto e imagem, o VSE mantém a consulta de texto $q$ fixa e perturba apenas a imagem de entrada $v$.

• Mecanismo: Um operador de perturbação visual $\mathcal{T}$ gera $M$ visões perturbadas $v_m = \mathcal{T}(v; \xi_m)$. Os autores utilizam ruído Gaussiano com um desvio padrão fixo e pequeno ($\sigma=20$) para induzir variações visuais locais sem alterar o conteúdo semântico de alto nível ou mover a amostra para fora do vizinhança local do input original.
• Racional: Isso isola a incerteza visual. Ao evitar mudanças textuais, o método previne o problema da "sensibilidade ao prompt", onde a paráfrase domina a diversidade da saída.

B. Amostragem de Respostas

O VLM gera $M$ amostras de resposta $\{a_m\}$ correspondentes às $M$ visões de imagem perturbadas. Este processo elicia interpretações alternativas da evidência visual que a decodificação estocástica sozinha poderia perder quando os embeddings visuais estão excessivamente confiantes.

C. Agregação de Protótipos Semânticos (ProtoSem)

Para evitar que variações linguísticas inflem a incerteza, o VSE agrega respostas no nível semântico em vez de tratá-las como tokens brutos.

1. Agrupamento (Clustering): As variantes de resposta são agrupadas em $K$ grupos $\{c_k\}$ baseados na distância semântica (usando um modelo de similaridade semântica pré-treinado como o DeBERTa).
2. Seleção de Protótipo: Para cada cluster $c_k$, uma resposta protótipo $p_k$ é selecionada como o membro que minimiza a distância média para outros membros no mesmo cluster.
3. Cálculo de Incerteza: A incerteza é calculada como a dispersão pareada ponderada pela massa entre esses protótipos:
   $$\tilde{u} = \sum_{k \neq k'} w_k w_{k'} \, \mathrm{d}(p_k, p_{k'})$$
   onde $w_k = |c_k|/M$ é a probabilidade empírica (massa) do cluster $k$. Esta métrica captura o desentendimento entre significados semânticos distintos enquanto ignora as variações de redação intra-cluster.

3. Principais Contribuições

1. Análise de Modos de Falha: O artigo fornece uma análise sistemática identificando três limitações específicas dos atuais estimadores de incerteza de VLM: (1) embeddings visuais excessivamente confiantes que suprimem a diversidade de saída, (2) variações de redação que inflam métricas baseadas em distância e (3) perturbações textuais que dominam a variabilidade de saída em esquemas de perturbação conjunta.
2. Entropia Semântica Visual (VSE): Os autores introduzem o VSE, um novo método de UE que perturba apenas a imagem para sondar a ambiguidade visual e utiliza agregação semântica baseada em protótipos para quantificar a incerteza. Este design evita explicitamente os fatores de confusão da sensibilidade ao prompt e do ruído linguístico.
3. Benchmarking Abrangente: O estudo avalia o VSE através de cinco VLMs modernos (Qwen2.5-VL, Gemma3, Intern3.5-VL, LLaVA-NeXT, Qwen3-VL) e cinco benchmarks diversos (OKVQA, AOKVQA, MMVet, VILP, VLM-are-biased), estabelecendo um novo estado da arte para a estimativa de incerteza em VQA.

4. Resultados Experimentais

A avaliação utiliza a Área Sob a Curva ROC (AUC) para medir quão bem os escores de incerteza distinguem previsões corretas de incorretas.

• Desempenho Geral: O VSE supera consistentemente os métodos existentes (Verbalizados, Baseados em Logit, Baseados em Consistência e Baseados em Entropia) em todos os modelos e datasets testados. Por exemplo, no dataset AOKVQA, o VSE alcançou escores de AUC variando de 0.724 a 0.798 entre diferentes modelos, superando o próximo melhor método baseado em entropia (VL-Uncertainty) em até 9.2% em alguns casos.
• Foco em Ambiguidade Visual: Em datasets adversariais projetados para expor o viés visual (VILP e VLM-are-biased), o VSE mostrou os ganhos mais significativos. Por exemplo, no VILP com Qwen2.5-VL, o VSE alcançou um AUC de 0.650, superando substancialmente o baseline SE (0.535) e o VL-Uncertainty (0.489). Isso confirma a capacidade do VSE de capturar a incerteza decorrente especificamente da ambiguidade visual.
• Estudos de Ablação:
  • Adicionar perturbação visual aos métodos de entropia existentes (SE e SNNE) melhorou consistentemente seu desempenho, validando a necessidade de sondar o espaço de entrada visual.
  • Substituir a amostragem de resposta bruta pela Agregação de Protótipos Semânticos (ProtoSem) melhorou ainda mais os resultados, confirmando que o agrupamento de respostas semanticamente equivalentes reduz o ruído das variações linguísticas.

5. Significância e Alegações

O artigo afirma que o VSE estabelece um novo estado da arte para a estimativa de incerteza em VQA ao abordar diretamente a fonte da ambiguidade: o input visual. Os autores argumentam que uma estimativa de incerteza confiável requer:

• Sondar o espaço de entrada visual em vez de depender apenas da estocasticidade da decodificação.
• Evitar perturbações textuais que introduzem sensibilidade ao prompt.
• Agregar previsões no nível do protótipo semântico para mitigar o ruído linguístico.

Os autores posicionam o VSE como um passo em direção a um deployment mais confiável de VLMs, particularmente em cenários onde a evidência visual é ambígua. Eles reconhecem limitações, incluindo o custo computacional adicional associado à amostragem por perturbação e a sensibilidade à função de distância semântica usada para o agrupamento, mas enfatizam que sua abordagem fornece um reflexo mais fiel da incerteza visual do que as alternativas atuais.