Resumo Técnico: A Incerteza Não é uma Rede de Segurança para VQA Clínico, mas Pode Antecipar a Falha do Modelo?

Declaração do Problema

A implantação segura de Modelos de Visão-Linguagem (VLMs) em fluxos de trabalho clínicos requer uma Estimativa de Incerteza (UE) confiável. Os clínicos precisam de um sinal que indique quando confiar na previsão de um modelo ou escalar o caso para revisão humana. No entanto, as avaliações atuais de UE em contextos clínicos são limitadas. A maioria dos benchmarks anteriores foca em tarefas apenas de texto ou benchmarks de visão-linguagem não clínicos, frequentemente dependendo de bases estreitas como a confiança verbalizada ou probabilidades ao nível de token. Além disso, as avaliações padrão assumem entradas bem formadas onde a resposta correta está garantidamente entre as opções. A prática clínica frequentemente viola essas suposições, encontrando questões ambíguas, cenários sem resposta ou casos onde o diagnóstico correto não está listado. A questão central abordada é se os métodos atuais de UE fornecem um sinal de segurança confiável nesses cenários clínicos realistas e potencialmente propensos a falhas.

Metodologia

Os autores conduziram uma avaliação sistemática de métodos de UE post-hoc em 12 VLMs (incluindo 2 modelos biomédicos e 10 de propósito geral, variando de 4B a 72B de parâmetros) utilizando o dataset GMAI-MMBench. O conjunto de avaliação compreendeu 1.680 amostras (210 por modalidade) em oito modalidades de imagem: CT, MRI, Endoscopia, Histopatologia, Fotografia de Fundo de Olho, Raio-X, Microscopia e Dermoscopia.

Métodos de Estimativa de Incerteza (UE):
Oito métodos de UE post-hoc abrangendo três famílias foram testados:

1. Baseados em Logit: Average Negative Log-Likelihood (ANLL), Max Negative Log-Likelihood (Max NLL) e um novo método, Label Negative Log-Likelihood (Label NLL). Estes requerem uma única passagem de inferência.
2. Baseados em Consistência: Sample Consistency (SC) e Semantic Entropy (SE). Estes medem o acordo entre múltiplas execuções de decodificação estocástica.
3. Baseados em Embedding: EigenEmbed (EE) e Radial Dispersion Score (RDS). Estes geram múltiplas saídas, as incorporam via um codificador biomédico externo e computam características geométricas.
4. Híbrido: Probability Only (PRO), que requer tanto logits quanto amostragem.

Métricas de Avaliação:
O desempenho foi medido ao longo de dois eixos:

• Discriminação: A capacidade de separar previsões corretas de incorretas, medida por AUROC.
• Calibração: O alinhamento entre confiança e acurácia, medido pelo Erro de Calibração Esperada (ECE) e pelo Brier Score.

Testes de Estresse (Perturbações NOTA):
Para investigar a robustez, os autores introduziram perturbações "None of the Above" (Nenhuma das Opções Acima - NOTA):

• +nota: Adiciona um distrator "Nenhuma das opções é correta" mantendo a resposta correta presente.
• -correct+nota: Substitui a resposta correta pela opção NOTA, forçando o modelo a selecionar uma opção incorreta ou a opção NOTA.

Este design testou duas hipóteses:

• H1 (Robustez): A incerteza aumenta proporcionalmente às quedas de acurácia sob perturbação?
• H2 (Sinal Preditivo): A incerteza baseline da entrada original (não perturbada) prevê se uma previsão sofrerá inversão sob perturbação?

Principais Descobertas

1. A Qualidade da UE Acompanha a Acurácia do Modelo, Não a Superioridade do Método

O estudo descobriu que a qualidade da UE não é uma propriedade intrínseca do método de UE, mas sim acompanha a acurácia subjacente do modelo para aquela entrada específica.

• Discriminação: O Label NLL superou consistentemente outros métodos na maioria dos modelos, muitas vezes por uma margem significativa.
• Calibração: Nenhum método único dominou a calibração; o desempenho variou conforme a família do modelo (ex: PRO para Qwen, RDS para Molmo).
• Degradação Contextual: Crucialmente, o desempenho da UE (tanto discriminação quanto calibração) degradou-se precisamente nos contextos clínicos onde a acurácia do modelo era mais baixa (ex: Endoscopia e Histopatologia). Nesses domínios de alto risco, onde um sinal de segurança é mais necessário, os métodos de UE forneceram os sinais menos informativos.

2. Descalibração Sistemática sob Estresse de NOTA

Sob a perturbação -correct+nota (onde a resposta correta é removida), a acurácia do modelo colapsou significativamente (quedas de 12 a 32 pontos). No entanto, as estimativas de incerteza não aumentaram proporcionalmente para acompanhar essa queda de acurácia.

• Os modelos permaneceram confiantemente comprometidos com respostas erradas mesmo quando a opção correta estava indisponível.
• Isso contradiz a suposição de que a UE serve como um limiar confiável para abstenção ou escalonamento nesses regimes de falha.

3. UE como uma Ferramenta Diagnóstica de Fragilidade

Apesar de falhar como um sinal de segurança em tempo de execução sob perturbação, o estudo identificou uma utilidade complementar. A incerteza baseline estimada na entrada original, não perturbada, previu de forma confiável quais previsões sofreriam inversão sob as perturbações de NOTA.

• Amostras que inverteram suas respostas (de corretas para incorretas, ou vice-versa) sob perturbação exibiram uma incerteza baseline significativamente maior do que as amostras estáveis.
• Isso sugere que, embora a UE possa não sinalizar o erro atual em uma instância específica, ela carrega informações diagnósticas sobre a fragilidade estrutural de uma previsão. Respostas corretas de alta incerteza são aquelas mais propensas a quebrar sob pequenas variações de entrada.

Significância e Alegações

O artigo posiciona a UE não como uma rede de segurança uniforme, mas como uma ferramenta diagnóstica dependente de contexto. Os autores argumentam que:

1. A UE não é uma rede de segurança universal: Ela falha em sinalizar erros precisamente nos domínios (modalidades de baixa acurácia) e cenários (opções corretas ausentes) onde a segurança clínica é mais crítica.
2. Protocolos de avaliação devem evoluir: Métricas de calibração padrão são insuficientes. A avaliação deve incluir testes de estresse baseados em perturbação (como o NOTA) para revelar modos de falha sistemáticos e o desacoplamento entre incerteza e acurácia.
3. Valor Diagnóstico: O valor da UE vai além dos escores de confiança por previsão. Ela pode identificar previsões estruturalmente frágeis que são propensas a falhas sob perturbação, oferecendo um caminho para triar quais saídas exigem revisão do clínico antes da implantação.

Os autores concluem que o trabalho futuro deve focar no desenvolvimento de protocolos de avaliação que evidenciem essa complexidade e em métodos que possam desacoplar a qualidade da UE da acurácia subjacente do modelo em domínios de baixo desempenho.