VL-Calibration: Decoupled Confidence Calibration for Large Vision-Language Models Reasoning

Título: VL-Calibration: Calibração de Confiança Desacoplada para Raciocínio em Grandes Modelos Visão-Linguagem (LVLMs)

1. O Problema

Os Grandes Modelos Visão-Linguagem (LVLMs) demonstraram capacidades impressionantes em raciocínio multimodal, mas sofrem de um problema crítico: alucinações com alta certeza. Eles frequentemente geram respostas factualmente incorretas com confiança elevada, o que limita sua aplicação em domínios de alto risco (como saúde e direito).

As abordagens existentes de calibração de confiança verbalizada (onde o modelo diz "minha confiança é 8/10") foram desenvolvidas principalmente para LLMs de texto e enfrentam desafios fundamentais ao serem aplicadas a LVLMs:

• Confusão de Fontes de Erro: Um erro em LVLMs pode surgir de falhas de percepção visual (ler mal a imagem) ou de erros de raciocínio (compreensão correta da imagem, mas lógica falha). Métodos atuais usam uma única pontuação de confiança global, o que mistura essas fontes de erro, impedindo a localização precisa do problema.
• Viés de Linguagem: A incerteza visual intrínseca é frequentemente ofuscada por priors de linguagem (o modelo "adivinha" baseado no texto), levando a uma calibração de confiança global incorreta.

2. Metodologia Proposta: VL-Calibration

Os autores propõem o VL-Calibration, um framework baseado em Aprendizado por Reforço (RL) que desacopla a confiança em duas componentes distintas: Confiança Visual e Confiança de Raciocínio.

O framework opera em três pilares principais:

A. Desacoplamento da Confiança Verbalizada
Em vez de um único score, o modelo é instruído a gerar duas etapas de raciocínio com suas respectivas confianças:

1. Fase Visual: Geração de uma justificativa visual ($z_{vis}$) e uma confiança visual ($c_{vis}$).
2. Fase de Raciocínio: Geração de uma cadeia de raciocínio lógico ($z_{reas}$) e uma confiança de raciocínio ($c_{reas}$).
   A confiança holística final ($\Phi$) é calculada pela média harmônica das duas pontuações. A média harmônica é escolhida por sua propriedade conservadora: se uma das confianças for baixa, a confiança global será drasticamente reduzida, evitando falsas certezas.

B. Estimação Intrínseca de Certeza Visual (VCE)
Um grande desafio é a ausência de ground-truth (rótulos verdadeiros) para a confiança visual durante o treinamento. Para resolver isso, os autores propõem uma métrica composta que estima a certeza visual sem rótulos externos:

1. Ancoragem Visual (Visual Grounding): Mede a sensibilidade do modelo à imagem. Calcula-se a Divergência KL entre a distribuição de saída do modelo com a imagem original e uma versão perturbada (com masking de patches). Uma alta divergência indica que o modelo depende fortemente do conteúdo visual.
2. Certeza Interna (Internal Certainty): Mede a incerteza do modelo em sua própria geração, calculando a Entropia dos Tokens na descrição visual. Baixa entropia indica alta certeza interna.
   Essas duas métricas são combinadas em um Score de Certeza Visual ($S_{vis}$) usando uma fórmula logarítmica, servindo como um pseudo-rótulo robusto para supervisionar a confiança visual.

C. Recompensa de Certeza Visual e Reponderação de Vantagem (TAR)
O treinamento utiliza o algoritmo GRPO (Group Relative Policy Optimization) com um objetivo de recompensa composto:

• Recompensa de Certeza Visual: Alinha a confiança verbalizada do modelo com o score de certeza visual estimado ($S_{vis}$), punindo alucinações não fundamentadas.
• Reponderação de Vantagem em Nível de Token (Token-Level Advantage Reweighting - TAR): Reconhece que erros em tokens com baixa certeza visual (alucinações) são mais graves do que erros de raciocínio. O TAR aplica um peso de penalidade maior a tokens onde a certeza visual é baixa e o modelo cometeu um erro, desencorajando o "chute" cego, enquanto preserva a percepção válida.

3. Contribuições Chave

1. Desacoplamento Estrutural: Primeira abordagem a separar explicitamente a confiança de percepção visual da confiança de raciocínio lógico em LVLMs, permitindo identificar a origem da incerteza.
2. Estimação de Certeza sem Rótulos: Proposta de uma métrica intrínseca (KL + Entropia) que substitui a necessidade de rótulos de percepção verdadeiros, superando métodos baseados em amostragem (caros computacionalmente) ou estados internos simples.
3. Mecanismo de Reponderação (TAR): Uma estratégia de treinamento que penaliza seletivamente alucinações visuais, melhorando a precisão do raciocínio ao mesmo tempo que calibra a confiança.
4. Generalização: O método foi validado em múltiplas arquiteturas e escalas de modelos, demonstrando robustez.

4. Resultados Experimentais

Os experimentos foram conduzidos em 13 benchmarks abrangendo raciocínio matemático, lógico, dominado por visão e multidisciplinar (incluindo datasets como MathVerse, MMMU-Pro, A-OKVQA).

• Melhoria na Calibração: O método reduziu drasticamente o Erro de Calibração Esperado (ECE). No modelo Qwen3-VL-4B, o ECE caiu de 0.421 (base) para 0.098.
• Aumento de Precisão: Diferente de métodos de calibração que costumam sacrificar a precisão, o VL-Calibration aumentou a precisão média em 2.3% a 3.0% em relação às melhores baselines (como RLCR e SaySelf).
• Generalização: Resultados consistentes foram observados em modelos de diferentes tamanhos (4B, 8B, 30B) e arquiteturas (Qwen, InternVL), mantendo a eficácia em dados fora da distribuição (OOD).
• Detecção de Alucinações: O modelo desacoplado mostrou-se capaz de identificar corretamente problemas "não respondíveis" visualmente (sem imagem), reduzindo a confiança nesses casos, enquanto mantém alta confiança em problemas respondíveis.

5. Significância e Impacto

O VL-Calibration representa um avanço significativo na segurança e confiabilidade dos LVLMs. Ao permitir que o modelo distinga entre "não ver a imagem corretamente" e "raciocinar mal sobre o que viu", o método:

• Mitiga Alucinações: Reduz a propensão do modelo a inventar fatos visuais com alta confiança.
• Facilita a Adoção em Alta Risco: A calibração precisa é essencial para áreas como medicina e direito, onde a confiança do modelo deve corresponder à sua precisão real.
• Oferece um Paradigma de Treinamento Eficiente: Utiliza RL com recompensas intrínsecas, evitando a dependência de modelos externos caros (como GPT-4) para gerar rótulos de confiança, tornando o processo escalável.

Em resumo, o trabalho demonstra que a calibração de confiança em modelos multimodais exige uma abordagem matizada que considere a natureza dual da percepção e do raciocínio, superando as limitações das abordagens unificadas anteriores.