Resumo Técnico: Avaliando IA Médica sob Informação Ausente

Declaração do Problema

Os testes de estresse de prontidão atuais para IA médica têm se concentrado amplamente em benchmarks de múltipla escolha de questões fechadas (ex: MedQA) e tarefas multimodais. Embora os modelos de fronteira agora rivalizem ou excedam o desempenho humano nessas tarefas de conhecimento codificado, essa saturação corre o risco de uma leitura equivocada da "prontidão". A prática clínica frequentemente envolve histórico ausente, apresentações ambíguas e cenários onde a informação é insuficiente para uma resposta segura. Um sistema clinicamente seguro deve reconhecer esses limites e declinar de um compromisso excessivo, em vez de apenas selecionar a opção correta quando uma está presente.

Além disso, avaliar a conversa clínica aberta introduz um desafio metodológico crítico: a "resposta apropriada" para informações ausentes não é deterministicamente verificável. Ela depende de um avaliador (juiz LLM), tornando o próprio avaliador uma variável de confusão na medição da segurança. Este artigo investiga como a informação ausente afeta a conversa médica aberta e como a escolha do avaliador (especificamente juiz do mesmo provedor vs. juiz de provedores cruzados) altera materialmente as conclusões de segurança.

Metodologia

Modelos e Datasets

O estudo avaliou quatro modelos: três modelos de raciocínio de ponta (Claude Opus 4.8, GPT-5.5, Grok 4.3) e um modelo de nível médio (Gemini 3.5 Flash).

• Sonda de Aberta (Open-Ended Probe): 50 conversas do subset de consenso HealthBench. A perturbação primária consistiu em deletar a metade final do turno final do usuário (divisão baseada em sentenças), removendo detalhes clínicos cruciais.
• Âncora de Fechada (Closed-Ended Anchor): 100 itens do MedQA-USMLE (4 opções) para testar a precisão e o viés de ordem de opções.

Design de Perturbação

• Informação Ausente: O turno final do usuário foi truncado. Um modelo robusto deve reconhecer os dados ausentes, expressar incerteza ou fazer perguntas de esclarecimento. Uma resposta insegura é uma "resposta definitiva e confiante" (compromisso excessivo inseguro).
• Perturbações de MCQ (Múltipla Escolha):
  • Embaralhamento (Shuffle): Opções permutadas para testar o viés de posição.
  • Remover Resposta: A opção correta é deletada; uma opção sentinela ("Nenhuma das outras respostas está correta") é adicionada.
  • Remover Contexto: O vignette clínico é removido; uma opção sentinela ("Informação insuficiente") é adicionada.

Estrutura de Avaliação

• Juízes LLM: A sonda de aberta foi pontuada por um painel de quatro provedores (GPT-5.5, Claude Opus 4.8, Grok 4.3, Gemini 3.5 Flash). O estudo testou explicitamente o viés de mesmo provedor (um modelo julgando as saídas de seu próprio provedor) e a leniência geral do juiz.
• Validade Humana: Uma subamostra cega de 50 itens foi anotada por dois clínicos independentes (co-primários) e o autor. Isso serviu como uma verificação de validade contra os juízes LLM.
• Análise Estatística: O estudo empregou $\kappa$ de Fleiss para confiabilidade inter-juiz, regressão logística de nível de voto para separar a preferência do mesmo provedor da severidade geral e testes de McNemar/equivalência para resultados de MCQ.

Contribuições Principais

1. Sonda de Robustez de Informação Ausente: Uma extensão dos testes de estresse para a conversa clínica aberta, onde o modo de falha é o compromisso excessivo confiante na ausência de dados necessários.
2. Análise de Confiabilidade do Avaliador: Uma demonstração de que o ranking de segurança aparente dos modelos é altamente dependente do juiz. O estudo separa a leniência geral do juiz da preferência do mesmo provedor, mostrando que a pontuação do mesmo provedor infla significativamente as classificações de segurança.
3. Verificação de Validade Ancorada pelo Clínico: Uma comparação mostrando que juízes LLM são sistematicamente mais permissivos (lenientes) do que clínicos independentes em relação à incerteza apropriada.
4. Calibração vs. Conhecimento: Evidência de que a alta precisão em tarefas de questões fechadas não garante a segurança em cenários abertos; a lacuna é de calibração (saber quando não responder) em vez de conhecimento.

Resultados

1. A Escolha do Juiz Altera a Segurança Aparente

• Confiabilidade: A concordância inter-juiz foi moderada ($\kappa$ de Fleis = 0,65), não alta o suficiente para que os juízes fossem intercambiáveis.
• Viés de Mesmo Provedor: Após ajustar para a severidade geral do juiz, uma associação positiva de mesmo provedor permaneceu (permutação exata $p = 0,04$).
  • Impacto no Ranking: Quando o GPT-5.5 julgou suas próprias saídas, ele pareceu o segundo melhor (14% de compromisso excessivo). Quando pontuado pelos outros três juízes de outros provedores (deixando um provedor de fora), sua taxa de compromisso excessivo subiu para 30%, movendo-o para próximo do pior.
  • Estabilidade: O ranking (Opus melhor, Gemini pior) foi estável através de diferentes combinações de juízes, exceto quando um modelo era julgado por seu próprio provedor.

2. Juízes LLM São Mais Permissivos que Clínicos

• Lacuna de Leniência: Todos os quatro juízes LLM foram significativamente mais lenientes que o clínico independente mais rigoroso (Clínico O). Na subamostra de 50 itens, os juízes LLM creditaram incerteza apropriada em 66–84% dos itens, enquanto o clínico mais rigoroso o fez em apenas 52%.
• Agregação: Agrupar juízes em um painel aumentou a confiabilidade, mas não necessariamente melhorou a validade contra clínicos. Uma regra "tie-positive" (2/4 votos = apropriado) alinhou-se mal com os clínicos. Uma regra conservadora (unanimidade) ou excluir o próprio provedor do sujeito rendeu melhor alinhamento com o clínico mais rigoroso.
• Leniência Falsa: Mesmo quando todos os quatro juízes concordaram unanimemente que uma resposta era apropriada, o clínico mais rigoroso discordou (classificou como excesso de confiança) em cerca de 26% desses itens.

3. Dissociação de Questões Fechadas vs. Abertas

• Precisão: Os modelos mantiveram alta precisão no MedQA padrão (92–96%). O embaralhamento da ordem das opções não teve efeito significativo para três dos quatro modelos.
• Compromisso Excessivo: Apesar da alta precisção, os modelos frequentemente falharam em se abster quando a resposta correta era removida ou o contexto era extraído.
  • Na condição de "resposta removida", as respostas confiantes inapropriadas variaram de ~6% (Gemini) a ~18% (Opus).
  • A lacuna de segurança é uma falha de calibração, não de conhecimento.

4. Validade da Perturbação

• A truncagem automática criou artefatos: alguns cortes ocorreram no meio de palavras, alguns removeram o pedido em vez do contexto, e alguns deixaram tarefas administrativas.
• A análise de sensibilidade no subset "autor-auditado de subdeterminação clínica" (28 itens) confirmou os principais achados: a lacuna de leniência entre juízes LLM e clínicos aumentou (+0,29 vs +0,21 em todos os itens), e a ordenação dos modelos (Opus melhor, Gemini pior) persistiu.

Significância e Alegações

O artigo reformula a "prontidão" para a IA médica. Embora os modelos sejam excelentes em responder perguntas quando a resposta certa está presente, eles permanecem imperfeitos ao reconhecer quando a informação está faltando e ao declinar o compromisso excessivo.

Alegações Centrais:

1. Dependência do Avaliador: Rankings de segurança em conversas médicas abertas não são absolutos; são artefatos do avaliador. Especificamente, usar um juiz do mesmo provedor cria um viés significativo que pode reverter os rankings dos modelos.
2. Métricas de Segurança Otimistas: As taxas de segurança julgadas por LLM são sistematicamente otimistas em relação a uma referência clínica mais rigorosa. Os benchmarks atuais podem superestimar a segurança dos sistemas de IA em ambientes clínicos.
3. Propriedades Distintas: Confiabilidade (acordo inter-juiz), calibração (alinhamento com limiares humanos) e validade (acordo com especialistas) são propriedades distintas. Melhorar uma (ex: usar um painel para confiabilidade) não melhora automaticamente as outras.

Limitações Reconhecidas pelos Autores:

• O estudo usa uma amostra pequena ($N=50$ para aberta, $N=100$ para MCQ) e não reivindica significância estatística para todas as diferenças de pares de modelos.
• A verificação de validade humana depende de apenas dois clínicos independentes e um autor.
• O método de perturbação (truncagem) introduz artefatos (cortes no meio de palavras) que podem não simular perfeitamente a falta de informação no mundo real.
• O resultado do Gemini baseia-se em um modelo de nível Flash, não em um de ponta, o que pode afetar as comparações entre modelos.

Os autores concluem que as avaliações de segurança de IA médica devem incluir sondas de informação ausente, utilizar julgamento de provedores cruzados com exclusão do mesmo provedor e periodicamente calibrar contra clínicos humanos para evitar estimativas de segurança otimistas.