Resumo Técnico: Triagem Calibrada, Não Autonomia

Declaração do Problema

Os Grandes Modelos de Visão-Linguagem (LVLMs) demonstram um modo de falha crítico em imagens médicas: eles podem gerar respostas fluentes e confiantes sobre questões relativas a radiografias ou lâminas de patologia enquanto mal utilizam a entrada visual, baseando-se, em vez disso, em vieses linguísticos (language priors). Em ambientes clínicos, esse comportamento é perigoso porque o resultado parece digno de confiança, apesar de não ser fundamentado (ungrounded). O problema central não é meramente a precisão do modelo, mas a confiabilidade da estimativa de confiança. Os atuais estimadores de confiança são sistematicamente excessivamente confiantes, reportando pontuações de confiança semelhantes para respostas corretas e incorretas, particularmente em casos de alto risco. Os estimadores de confiança existentes são tipicamente ajustados para o ranqueamento de domínio geral sob custos de erro uniformes, falhando em abordar o requisito clínico de predição seletiva — a capacidade de distinguir casos que podem ser automatizados com segurança daqueles que exigem revisão clínica, mantendo um orçamento de erro rigoroso.

Metodologia

O estudo avalia sete estimadores de confiança em cinco LVLMs de pesos abertos (variando de 4,5B a 27B de parâmetros) e três conjuntos de dados de VQA (Visual Question Answering) médicos:

1. GMAI-MMBench: Imagens clínicas amplas (radiologia, patologia, dermatologia, etc.).
2. SLAKE: Radiologia e anatomia (CT, MRI, X-ray).
3. PATH-VQA: Patologia e histopatologia.

Estimadores Avaliados:

• Apenas inferência (Black-box): Autorrelatos baseados em prompt ($P(\text{Verdadeiro})$), Self-Probing e Prompt Ensembles.
• Sondas Internas Treinadas: SAPLMA (estado pós-resposta), CCPS (estabilidade de representação), InternalInspector (estados agregados de atenção/feed-forward) e BICR (consciente de fundamentação, treinado no contraste entre imagem real vs. imagem em branco).

Design Experimental:

• Treinamento Fora de Distribuição (OOD): Todas as sondas treináveis foram treinadas exclusivamente no conjunto de dados de domínio geral GQA (imagens naturais) e aplicadas a conjuntos de dados médicos sem adaptação, simulando um cenário de implantação realista onde os modelos devem generalizar para exames médicos não vistos.
• Verdade de Campo (Ground Truth): Rótulos de correção foram atribuídos usando um juiz único $gpt-5-mini$ para garantir uma gradação de equivalência semântica consistente entre os conjuntos de dados.
• Estrutura de Avaliação: O estudo reformula a estimativa de confiança como predição seletiva limitada. Um caso é automatizado apenas se sua confiança exceder um limiar; caso contrário, é adiado. O desempenho é medido por:
  • Discriminação: AUROC.
  • Calibração: Erro de Calibração Esperado (ECE).
  • Rendimento Seguro (Safe Yield): A fração máxima de casos automatizáveis enquanto mantém a taxa de erro dos casos automatizados abaixo de uma tolerância (ex: 20%).
  • Confiabilidade de Alta Confiança: Taxas de erro no decil de confiança superior (ErrTop10%).

Resultados Principais

1. Métricas Padrão São Guias Pobres

A discriminação global (AUROC) e a calibração média (ECE) falham em identificar estimadores utilizáveis para triagem clínica.

• Discriminação: As diferenças de AUROC entre métodos são frequentemente negligenciáveis (ex: 61,9 vs. 62,9), fazendo com que os métodos pareçam intercambiáveis com base apenas no ranqueamento.
• Calibração: A calibração média pode ser artificialmente melhorada via escalonamento de temperatura fora do domínio (off-domain temperature scaling) sem melhorar o "rendimento seguro" (o volume real de trabalho que pode ser automatizado).
• A Lacuna Crítica: O diferencial é o comportamento na região de alta confiança. As linhas de base de apenas inferência atribuem alta confiança (>0,8) a respostas erradas 41–45% das vezes. Em contraste, as melhores sondas treinadas (BICR e InternalInspector) reduzem isso para 1–4%.

2. O Gradiente de Capacidade-para-Automatizabilidade

A automação segura é governada por dois níveis:

1. Competência do Modelo Base (O Teto): A automação máxima possível é estritamente limitada pela precisão base do modelo em um domínio específico.
   • Radiologia (SLAKE): Precisão base ~61%. O rendimento seguro com tolerância de erro de 20% atinge ~34,6% (BICR).
   • Clínico Amplo (GMAI): Precisão base ~47%. O rendimento seguro cai para ~4,5%.
   • Patologia (PATH-VQA): Precisão base ~39,5%. Nenhum método automatiza casos com segurança em uma tolerância de erro de 20%.
2. Camada de Confiança (O Alcance): Mesmo dentro do teto teoricamente alcançável, a camada de confiança determina quanto pode ser alcançado com segurança. Na patologia, a camada de confiança falha em identificar o subconjunto de baixo erro que a competência base do modelo teoricamente permite.

3. Especificidade de Domínio e Modelo

Nenhum estimador é universalmente o melhor.

• BICR e InternalInspector geralmente superam outros em radiologia e domínios clínicos amplos.
• BICR destaca-se na discriminação de patologia, mas falha em melhorar o rendimento seguro devido ao baixo teto de competência base.
• Prompt Ensembles às vezes superam sondas internas complexas em patologia, sugerindo que para domínios onde o modelo é fundamentalmente não confiável, a instrumentação interna cara não oferece vantagem de segurança na cauda (tail-safety).
• Consciência de Fundamentação (Grounding Awareness): Apenas métodos conscientes de fundamentação (como o BICR) reduzem significativamente a confiança quando o modelo responde sem utilizar a imagem (ex: perguntas baseadas em conhecimento), um modo de falha crítico para a segurança clínica.

Significância e Alegações

O artigo argumenta que o papel imediato dos LVLMs médicos é a triagem calibrada, não a autonomia.

• Triagem sobre Autonomia: Sistemas devem automatizar apenas os casos marcados como seguros por uma pontuação calibrada e encaminhar todos os outros para clínicos.
• A Medição Importa Mais que o Modelo: Como a confiança é medida e agregada é mais crítico do que qual LVLM produz a resposta. Um estimador bem calibrado e consciente da fundamentação pode converter um LVLM não confiável em uma ferramenta de triagem útil, recuperando aproximadamente um terço da carga de trabalho de radiologia com tolerâncias de erro moderadas.
• Rejeição de Benchmarks Agregados: Pontuações de liderança (leaderboards) agregadas são enganosas. Os estimadores devem ser validados por modelo e por categoria clínica (ex: departamento ou região anatômica), pois o desempenho varia significamente entre domínios e modalidades de imagem.
• Sinal de Segurança: O sinal mais valioso para um clínico é uma baixa taxa de erros confiantes na região de alta confiança. Métricas de ranqueamento padrão não medem isso; apenas sondas específicas e conscientes da fundamentação fornecem essa segurança.

O estudo conclui que, embora a automação segura seja atualmente limitada pela competência do modelo base (especialmente falhando em patologia), uma camada de confiança calibrada e consciente da fundamentação fornece o sinal necessário para delegar com segurança uma parte da carga de trabalho, desde que a implantação seja estritamente limitada aos casos onde a pontuação de confiança indica segurança.