Resumo Técnico: MedMisBench

Definição do Problema

Os Grandes Modelos de Linguagem (LLMs) alcançaram um desempenho de nível especialista em exames de licenciamento médico, levando à suposição de que pontuações elevadas em benchmarks implicam um julgamento médico seguro e confiável. No entanto, essa suposição é frágil em cenários de implantação no mundo real, onde os modelos interagem com ambientes de informação desordenados contendo documentos recuperados, descrições de pacientes e alegações online.

O problema central identificado é que os benchmarks médicos atuais avaliam primariamente os modelos em entradas "limpas", medindo o que os modelos sabem, em vez de se eles conseguem preservar o julgamento médico correto quando expostos a informações contextuais plausíveis, porém falsas. Os autores argumentam que as avaliações existentes negligenciam um ponto cego estrutural crítico: a suscetibilidade dos LLMs à "injeção de contexto enganoso", onde alegações fabricadas podem sobrepor-se ao raciocínio correto, potencialmente levando a decisões clinicamente prejudiciais.

Metodologia

O Benchmark MedMisBench

Os autores introduzem o MedMisBench, um benchmark projetado para medir a resiliência epistêmica — a capacidade de um LLM manter o julgamento médico correto sob contexto adversário. O benchmark consiste de:

• 10.932 itens de questões médicas derivados de cinco conjuntos de dados de origem: MedQA, MedMCQA, MedXpertQA, MedJourney e HLE.
• 48.889 pares de contexto-opção enganosos gerados ao parear cada questão com injeções direcionadas.

Taxonomia de Contexto Enganoso

O benchmark constrói um espaço de design $5 \times 3$ para variar a natureza do engano:

1. Tipos de Corrupção de Conteúdo (5):
   • Inversão de Relacionamento/Sequência: Reverter a ordem temporal ou lógica.
   • Corrupção de Limiar/Referência: Alterar regras de decisão numéricas (ex: limiares de espessura de lesão).
   • Remapeamento de Pistas (Cue Remapping): Interpretar incorretamente pistas diagnósticas.
   • Ancoragem Espúria: Introduzir âncoras salientes, mas irrelevantes.
   • Envenenamento de Exceções: Fabricar contraindicações ou exceções.
2. Enquadramentos de Proveniência (3):
   • Neutro: Uma afirmação declarativa falsa.
   • Autodeclaração do Paciente: Uma crença ou diagnóstico atribuído a um paciente.
   • Autoridade: Alegações enquadradas como diretrizes, notas de alta ou Procedimentos Operacionais Padrão (POPs).

Pipeline de Geração e Validação

• Filtragem: Um filtro baseado em LLM garante que as injeções sejam semanticamente aplicáveis a opções incorretas sem tornar a resposta correta original incorreta.
• Geração: Um LLM gerador (Gemini-3-flash) cria pacotes de contexto onde a opção correta é afirmada verdadeiramente, enquanto as opções incorretas são sustentadas por sentenças enganosas.
• Revisão Clínica: Um painel clínico de 14 membros de 7 países revisou uma amostra estratificada para validar a qualidade dos itens, a fidelidade do ataque e a plausibilidade clínica. O painel confirmou a validade do benchmark e avaliou o potencial de dano das respostas enganadas.

Protocolos de Avaliação

O estudo emprega dois protocolos de entrega para testar a resiliência:

1. Tipo 1 (Entrega Focada): Apenas uma sentença enganosa sustentando uma opção errada específica é apresentada junto com a questão. Isso testa se uma única alegação falsa plausível pode sobrepor-se a uma resposta correta.
2. Tipo 2 (Entrega de Todas as Opções): O pacote completo é apresentado, incluindo o suporte verdadeiro para a opção correta e o suporte enganoso para todas as opções erradas. Isso testa a capacidade do modelo de arbitrar entre alegações concorrentes.

Configuração Experimental

Os autores avaliaram 11 configurações de modelos, incluindo modelos comerciais (GPT-5.4, Gemini-3.1-pro/flash-lite, Claude-sonnet-4.6), modelos de pesos abertos (Gemma 4, Qwen3.6) e um modelo especializado no domínio (MedGemma). As métricas incluíram acurácia limpa, acurácia pós-injeção e a Taxa de Sucesso do Ataque (ASR), definida como a taxa na qual uma resposta correta limpa muda para uma incorreta após a injeção.

Principais Resultados

1. Fragilidade da Resiliência Epistêmica

• Queda de Desempenho: Enquanto a acurácia média limpa entre os modelos foi de 71,1%, a acurácia sob contexto enganoso focado (Tipo 1) caiu para 38,0%.
• Sucesso do Ataque: A ASR média foi de 51,5%, indicando que em mais da metade dos casos onde os modelos eram originalmente corretos, eles falharam em manter esse julgamento quando expostos ao contexto enganoso.
• Limpo vs. Resiliente: Alta acurácia limpa não correlaciona com alta resiliência. Por exemplo, o Gemini-3.1-pro (alto raciocínio) alcançou 83,5% de acurácia limpa, mas sofreu uma ASR de 65,0% sob injeção do Tipo 1.

2. Impacto da Entrega e do Conteúdo

• Focado vs. Misto: Injeções focadas (Tipo 1) foram significativamente mais prejudiciais que as injeções mistas (Tipo 2). A ASR do Tipo 1 foi de 51,5%, comparada a 18,7% para o Tipo 2. Isso sugere que os modelos podem manter a acurácia agregada quando apresentados com evidências concorrentes, mas falham quando uma única alegação falsa plausível molda a decisão.
• Injeções Mais Prejudiciais:
  • Enquadramento de Autoridade: Alegações enquadradas como diretrizes ou POPs alcançaram a maior ASR (69,5%).
  • Fabricações de Regras: O "Envenenamento de Exceções" (64,1%) e a "Corrupção de Limiar/Referência" (60,9%) foram os tipos de conteúdo mais eficazes, sugerindo que os modelos são particularmente vulneráveis a regras e exceções fabricadas.

3. Esforço de Raciocínio e Comportamento do Modelo

• Proteção Não Uniforme: Aumentar o esforço de raciocínio (ex: modos de raciocínio "médio" ou "alto") não melhorou uniformemente a resiliência. Embora tenha ajudado alguns modelos (ex: GPT-5.4), na verdade diminuiu a resiliência em outros (ex: Gemini-3.1-pro e Gemini-3.1-flash-lite), onde modos de raciocínio mais altos levaram a uma ASR maior sob injeção do Tipo 1.

4. Avaliação de Dano Clínico

• Dano Potencial: Uma revisão clínica de 89 tarefas descobriu que 38,2% das respostas sob contexto enganoso foram saídas de "pior caso": respostas erradas com absorção de injeção material e sério potencial de dano clínico.
• Dano Total: Incluindo respostas erradas com potencial de dano baixo a moderado, 84,3% das saídas revisadas foram clinicamente prejudiciais.
• Validação: As classificações de correção dos clínicos concordaram com os rótulos automáticos 98,1% das vezes, validando a ASR como uma triagem de alta precisão para falhas de correção.

5. Tentativas de Mitigação

• Ferramentas de Busca: Adicionar capacidades de busca externa reduziu a ASR para modelos mais fortes (Gemini-3.1-pro), mas teve efeito limitado em modelos menores, indicando que a recuperação sozinha não é uma salvaguarda genérica.
• Prompts Defensivos: Avisos explícitos contra a confiança em contextos enganosos reduziram a ASR em 10 a 14 pontos, mas não conseguiram restaurar totalmente a resiliência, sugerindo que os modelos têm dificuldade em operacionalizar tais cautelas durante a tomada de decisão final.

Significância e Alegações

O artigo afirma estabelecer um benchmark fundamental para estudar a resiliência epistêmica em LLMs médicos. Suas principais contribuições são:

1. Exposição de um Ponto Cego Estrutural: O MedMisBench demonstra que os benchmarks médicos atuais superestimam a eficácia no mundo real ao falharem em considerar a injeção de contexto enganoso.
2. Quantificação da Vulnerabilidade: O estudo fornece evidência empírica de que fabricações formais, do tipo regra (especialmente aquelas enquadradas como autoridade), são os métodos mais eficazes para comprometer o julgamento médico.
3. Relevância Clínica: Ao ligar as falhas de benchmark às perdas avaliadas por clínicos, o artigo argumenta que a resiliência ao nível da resposta é um pré-requisito para a implantação segura em saúde do consumidor e suporte à decisão clínica.
4. Recurso Aberto: A liberação de um benchmark estático e reutilizável com 10.932 itens e 48.889 pares visa apoiar pesquisas futuras sobre avaliação de resiliência e estratégias de mitigação.

Os autores concluem que, embora os LLMs demonstrem forte conhecimento médico, sua capacidade de preservar o julgamento correto sob incerteza e contexto adversário continua sendo um desafio crítico e não resolvido para a implantação segura de IA na saúde.