Just how sure are you? Improving Verbalized Uncertainty Calibration in Medical VQA

Resumo Técnico: Melhorando a Calibração da Incerteza Verbalizada em VQA Médica

Definição do Problema
Modelos de Linguagem de Grande Escala Multimodais (MLLMs) aplicados ao VQA (Visual Question Answering) Médico frequentemente exibem excesso de confiança, gerando saídas de alta confiança independentemente de sua correção real. Essa falta de autoavaliação calibrada limita sua confiabilidade em ambientes clínicos, onde os médicos devem verificar manualmente o raciocínio em vez de confiar na confiabilidade do modelo. Os métodos existentes para calibração de confiança verbalizada são projetados primariamente para LLMs apenas de texto e falham em considerar a natureza multimodal da compreensão de imagens médicas. Além disso, as abordagens atuais costumam treinar em condições de entrada únicas, falhando em ensinar o modelo como sua confiança deve mudar quando a evidência visual ou a integridade textual é interrompida.

Metodologia
Os autores propõem um framework baseado em treinamento que realiza o ajuste fino (fine-tuning) de MLLMs para produzir escores de confiança verbalizada melhor calibrados. A abordagem baseia-se em três componentes principais:

1. Design de Perturbação Fatorial 2 × 2:
   Para ensinar o modelo a fundamentar a confiança na utilização de evidências, os autores introduzem um esquema de perturbação que cruza dois eixos:

• Disponibilidade da Imagem: Imagem original vs. uma imagem com tarja preta (removendo a evidência visual sem distorcer características via ruído).
• Integridade do Texto: Opções originais vs. opções perturbadas (embaralhando a ordem e substituindo os distratores por opções de perguntas semelhantes para destruir padrões memorizados).
  Isso gera quatro condições por pergunta. O modelo gera múltiplas respostas ($G=10$) para cada condição para calcular a acurácia fracionária, que serve como o alvo de verdade fundamental (ground truth) para a calibração.

2. Função de Perda de Calibração Composta:
   O framework otimiza uma perda composta consistindo de quatro termos:

• Perda de Brier (Brier Loss): Conduz a distribuição de confiança prevista em direção à acurácia fracionária empírica derivada das condições de perturbação.
• Regularizador de Âncora (Anchor Regularizer): Impede que o modelo colapse em valores de confiança extremos (0 ou 1) ao penalizar desvios de um ponto médio ($c_{mid} = 0.5$) para amostras incertas. Isso atua como um prior conservador, exigindo evidências fortes para deslocar a confiança para longe da incerteza máxima.
• Perda de Alinhamento (Alignment Loss): Um termo contrastivo que garante que as mudanças na confiança através das condições de perturbação acompanhem as mudanças correspondentes na acurácia empírica. Isso força o modelo a ajustar sua confiança com base na contribuição informacional de fontes de evidência específicas (visual vs. textual).
• Regularizador de Divergência KL Top-k: Aplicado às posições dos tokens de resposta (excluindo o token de confiança) contra uma cópia congelada do modelo base. Isso preserva a capacidade de resposta original do modelo e as capacidades de seguimento de instrução durante o processo de ajuste fino, evitando o colapso da acurácia.

3. Objetivo de Treinamento:
   A perda total é uma soma ponderada desses componentes. O modelo é ajustado via adaptadores LoRA, gerando um rastro de raciocínio, uma resposta e um token de confiança verbalizada (em uma escala de inteiros discretos normalizada para [0, 1]) em uma ordem de "resposta primeiro, confiança segundo".

Principais Contribuições

• Primeira Calibração Baseada em Treinamento para VQA Médico: Diferente de trabalhos anteriores restritos a modelos apenas de texto ou engenharia de prompt, esta é a primeira vez que um método de calibração baseada em treinamento é aplicado especificamente a modelos médicos multimodais.
• Perturbação Consciente de Evidência: O design fatorial 2 × 2 inédito sonda e ensina explicitamente o modelo a distinguir entre a dependência de evidência visual versus priors linguísticos.
• Arquitetura de Perda Composta: A integração da calibração de Brier, um regularizador de âncora, alinhamento contrastivo e um regularizador KL cria um sinal de treinamento robusto que simultaneamente melhora a calibração e a discriminação sem sacrificar a acurácia preditiva.

Resultos
O método foi avaliado em três benchmarks de VQA Médico (OmniMedVQA, PMC-VQA, MedXpertQA) cobrindo regimes de alta, média e baixa acurácia, utilizando duas arquiteturas (MedGemma-4B-IT e Qwen2-VL-7B-Instruct).

• Calibração e Discriminação: O método proposto reduziu o erro de calibração (ECE) em 60% ou mais e melhorou a discriminação (AUROC) em 26% ou mais em comparação com os baselines, incluindo abordagens baseadas em prompting (Top-K Sampling, SteerConf) e baseadas em treinamento (ConfTuner).
• Robustez: O método manteve um desempenho consistente através de diferentes regimes de dificuldade, enquanto o ECE do baseline degradou significativamente conforme a dificuldade da tarefa aumentava.
• Preservação da Acurácia: O regularizador KL top-k preservou com sucesso a acurácia preditiva, com mudanças de acurácia Out-of-Distribution (OOD) permanecendo dentro de ±0.8 pontos percentuais.
• Estudos de Ablação: Remover o termo de alinhamento causou uma queda brusca no AUROC (discriminação), enquanto remover o regularizador KL levou a um colapso significativo da acurácia e à perda de capacidades de seguimento de instrução (ex: falha em gerar a confiança no formato correto).

Significância e Alegações
O artigo alega que os MLLMs podem aprender confiança verbalizada significativa através de ajuste fino direcionado que modela explicitamente a relação entre fontes de evidência e correção de predição. Os autores afirmam que seu método alcança uma melhoria simultânea tanto na calibração (confiança declarada correspondendo à correção empírica) quanto na discriminação (predições corretas recebendo maior confiança do que as incorretas), um trade-off observado em trabalhos anteriores.

Os autores mantêm uma postura modesta em relação às limitações:

• Limites de Discriminação: No benchmark mais desafiador (MedXpertQA, ~20% de acurácia base), nenhum método alcançou discriminação significativa, sugerindo que a confiança verbalizada ainda não consegue distinguir predições corretas de incorretas em tarefas que exigem raciocínio clínico complexo de múltiplos passos.
• Escopo: O trabalho é limitado a VQA de múltipla escolha e modelos de pequena escala (4B e 7B parâmetros). Os autores observam que estender esses ganhos para VQA de resposta aberta e modelos maiores permanece uma questão em aberto.
• Implantação Clínica: Embora o método melhore a confiabilidade, os autores enfatizam que a confiança calibrada destina-se a apoiar, e não substituir, o julgamento humano, e que validações adicionais em condições clínicas reais são necessárias antes da implantação.