Resumo Técnico: FUSE – Quantificando a Incerteza em Modelos de Visão-Linguagem

Declaração do Problema

Os Modelos de Visão-Linguagem (VLMs) tornaram-se integrantes essenciais de aplicações que variam da robótica à saúde, mas permanecem propensos a saídas não confiáveis, como alucinações e raciocínios excessivamente confiantes. Existe uma lacuna crítica na Quantificação de Incerteza (UQ) para esses modelos. Métodos convencionais que dependem da verossimilhança do próximo token ou de confianças baseadas em logits falham em capturar a ambiguidade semântica inerente aos inputs cross-modais ou à variabilidade das saídas generativas. As abordagens existentes frequentemente tratam a incerteza de forma heurística, em vez de como uma quantidade probabilística fundamentada, e frequentemente negligenciam a incerteza incorporada nas representações latentes do modelo.

O artigo identifica que a incerteza dos VLMs surge de duas fontes distintas e complementares:

1. Incerteza Aleatória: Ambiguidade intrínseca nos dados de entrada e na semântica cross-modal (ex: perguntas subespecificadas ou regiões visualmente ambíguas).
2. Incerteza Epistêmica: Variabilidade nas previsões do modelo devido a limitações de conhecimento, ancoragem fraca ou mudanças de distribuição, refletida na diversidade das respostas geradas.

O objetivo é desenvolver um framework que funda essas duas fontes em uma única medida escalar calibrada de incerteza ($u^\star$) para prever a correção da saída e permitir a previsão seletiva (abster-se de consultas incertas).

Metodologia: O Framework FUSE

Os autores propõem o FUSE (Fused Uncertainty with Semantic Evidence), um framework probabilístico que emprega um mecanismo de fusão Bayesiana para combinar incertezas aleatórias e epistêmicas.

1. Incerteza Aleatória: Prior de Representação de Dados

O framework trata o nível dos dados de entrada como um prior.

• Embeddings Probabilísticos: Enquanto os VLMs padrão (ex: CLIP) produzem embeddings determinísticos, o FUSE introduz um adaptador de Processo Gaussiano (GP). Este adaptador mapeia embeddings determinísticos ($z_I, z_T$) em distribuições probabilísticas ($N(\mu, \Sigma)$) ao aprender uma variável latente compartilhada $x$ que representa o "verdadeiro" significado dos dados.
• GP Variacional Esparsa: Para garantir a escalabilidade, os autores utilizam um Modelo de Variável Latente de Processo Gaussiano Variacional Esparso (GPLVM) com pontos de indução.
• Formulação do Prior: A dispersão desses embeddings probabilísticos (quantificada via log-determinante das covariâncias) é agregada em um estatístico escalar $s$. Este estatístico define um prior Gaussiano sobre uma variável de incerteza latente $u$:
  $$u \sim N(m_0, \sigma_0^2), \quad \text{onde } m_0 = \alpha_0 + \beta_0 s$$
  Isso captura a ambiguidade inerente à consulta de entrada antes que a geração ocorra.

2. Incerteza Epistêmica: Evidência Semântica de Resposta

O framework trata a saída generativa do modelo como evidência.

• Diversidade de Resposta: O VLM gera $n$ respostas estocásticas. Estas são incorporadas em vetores $\{r_i\}$.
• Dispersão Semântica: Uma matriz de dispersão semântica $S$ é construída a partir desses embeddings. A evidência semântica é definida como o log-determinante desta matriz: $\tilde{V} = \log \det S$.
• Evidência Ponderada: Para considerar a confiabilidade variável entre as amostras, o método introduz pesos de incerteza baseados nas log-probabilidades por token do modelo. Amostras com menor confiança recebem pesos maiores.
• Modelo de Verossimilhança: Os autores provam que, sob suposições moderadas, a evidência semântica $\tilde{V}$ segue uma verossimilhança Gaussiana linear em relação à incerteza latente $u$:
  $$\tilde{V} | u \sim N(a + n u, \tau^2)$$
  Esta relação analítica permite uma atualização Bayesiana de forma fechada.

3. Fusão Bayesiana

A inovação central é a fusão analítica do prior de entrada e da evidência de resposta.

• Posterior de Forma Fechada: Combinar o prior Gaussiano e a verossimilhança Gaussiana linear resulta em uma distribuição posterior de forma fechada para a incerteza $u$:
  $$u | \tilde{V} \sim N(m_{post}, \sigma_{post}^2)$$
• Estatístico Fundido: Um único escore de incerteza $u^\star$ é derivado da média e variância da posterior (ex: como um limite de z-score).
• Calibragem: Um limiar global $\theta^\star$ é calibrado em um conjunto de dados mantido fora do treinamento (held-out) para controlar o risco condicional (taxa de erro) para consultas respondidas, permitindo a resposta seletiva.

Principais Contribuições

1. Formalização Conceitual: O artigo formaliza o desmembramento da incerteza do VLM em fontes aleatórias (nível de entrada) e epistêmicas (nível de geração), fornecendo uma base para quantificar ambas dentro de um framework unificado.
2. Modelo Probabilístico Unificado: Introduz um framework Bayesiano que não requer treinamento (para o VLM base) e combina analiticamente essas fontes. Ao contrário de métodos heurísticos, ele produz uma posterior interpretável e calibrada.
3. Justificativa Matemática: Os autores fornecem provas demonstrando que a evidência semântica (log-determinante da dispersão de resposta) é linearmente dependente da incerteza latente, justificando o uso de uma atualização Bayesiana de forma fechada.
4. Superioridade Empírica: O método alcança o estado da arte (SOTA) em calibração de incerteza e resposta seletiva em múltiplos benchmarks.

Resultados Experimentais

Os autores avaliaram o FUSE em três benchmarks de Visual Question Answering (VQA): VQAv2, OKVQA e AdVQA, utilizando o LLaVA-v1.5-13b como backbone.

• Baselines: O FUSE foi comparado contra métodos sem treinamento (UMPIRE, Neighborhood Consistency), métricas baseadas em entropia (Semantic Entropy, LN-Entropy) e abordagens de predição conformal (LoFreeCP, CLM).
• Discriminação: O FUSE alcançou a maior AUROC (0.883 no VQAv2) ao distinguir respostas corretas de incorretas, superando todos os baselines.
• Calibragem: O método demonstrou calibração superior, com o menor Erro de Calibração Esperado (ECE) e maior correlação entre a incerteza prevista e as taxas de erro empíricas.
• Resposta Seletiva: Em termos de Área Sob a Curva de Rejeição-Acurácia (AURAC), o FUSE superou consistentemente os baselines, indicando sua capacidade de identificar e abster-se de consultas incertas enquanto mantém alta acurácia nas consultas respondidas.
• Estudos de Ablação: Experimentos confirmaram que fundir ambas as fontes de incerteza é crítico; remover o prior de GP ou a evidência ponderada resultou em degradação de desempenho.

Significância e Alegações

O artigo afirma que o FUSE aborda uma lacuna crítica de segurança e confiabilidade no implante de VLMs. Ao ir além das verossimilhanças de nível de token para uma formulação Bayesiana conjunta que integra os priors de representação de entrada com a evidência de nível de geração, o FUSE fornece uma medida de incerteza rigorosa e interpretável.

Os autores enfatizam que sua abordagem:

• Não exige o retreinamento do enorme backbone do VLM, apenas o treinamento de adaptadores GP leves no codificador congelado.
• Fornece um único escore escalar que prevê de forma confiável a correção do modelo.
• Permite a tomada de decisão controlada pelo risco, permitindo que sistemas se abstenham de responder quando a incerteza excede um limiar calibrado, o que é essencial para domínios de alto risco como saúde e sistemas autônomos.

O trabalho posiciona-se como um passo para tornar os VLMs mais confiáveis ao modelar explicitamente o que o modelo "não sabe" através tanto da ambiguidade do input quanto da variabilidade de sua própria geração.