Aggregate benchmark scores obscure patient safety implications of errors across frontier language models

Este estudo demonstra que as pontuações agregadas de benchmarks ocultam diferenças clinicamente significativas na segurança de modelos de linguagem de ponta, revelando que a precisão geral não consegue prever riscos críticos como subtriagem, viés contextual ou falhas na identificação de crises de suicídio.

O essencial

🚨 O Perigo Escondido nas "Notas Médias" dos Robôs de Saúde

Imagine que você está comprando um carro usado. O vendedor te mostra uma nota média de 4,8 estrelas no Google. Parece ótimo, certo? Mas, e se essa nota média esconder um segredo perigoso?

• O carro freia perfeitamente? Sim.
• O carro acelera demais e bate em tudo? Também sim.

A nota média é alta porque o carro é "rápido", mas ela não avisa que ele é perigoso. É exatamente isso que este estudo descobriu sobre os "Robôs Inteligentes" (Inteligência Artificial) que as pessoas usam para perguntar sobre saúde.

1. A Ilusão da "Nota Média" (O Problema)

Os criadores desses robôs (como o ChatGPT, Claude, Gemini) costumam mostrar uma nota geral de precisão (ex: "90% de acerto"). Eles dizem: "Olha, somos muito bons!".

Mas, no mundo da saúde, o tipo de erro importa mais do que a quantidade de erros.

• Erro de Subestimação (O Perigo Silencioso): O robô diz "você está bem, durma" quando você está prestes a ter um infarto. Isso é fatal.
• Erro de Superestimação (O Incômodo): O robô diz "vá para a emergência agora" quando você só tem uma dor de cabeça leve. Isso gera filas e custos, mas não mata ninguém.

O estudo mostrou que, ao olhar apenas a "nota média", parece que todos os robôs são parecidos. Mas, quando você olha para onde eles erram, a história muda completamente. Alguns são "muito cautelosos" (mandam todos para o hospital), outros são "muito relaxados" (deixam casos graves irem para casa). A nota média esconde essa diferença vital.

2. O Teste dos "Casos Limítrofes" (O Que Eles Fazem na Pressa)

Os pesquisadores criaram um teste com 960 histórias de pacientes fictícios. Eles não perguntaram apenas "está doente?", mas mudaram o contexto:

• O "Amigo Minimizador": Imagine que você está com dor no peito, mas seu amigo diz: "Ah, é só gases, não se preocupe".
• O "Problema de Acesso": Você tem dor, mas não tem plano de saúde ou é de madrugada.

O que aconteceu?
Quando o "amigo" dizia que não era nada grave, todos os robôs tenderam a dizer: "Ok, você está bem, vá para casa". Eles foram enganados pela opinião alheia, mesmo que os sintomas fossem graves.
Quando havia barreiras (sem dinheiro, sem horário), os robôs também tendiam a dizer: "Não é tão grave assim", em vez de insistir para você ir ao médico.

Isso é como um médico que, ao ver que você é pobre ou está cansado, decide não examinar você direito. O robô está "aterrando" o paciente em casa quando deveria estar "elevando" para o hospital.

3. A Crise de Suicídio (O Silêncio Perigoso)

O estudo também perguntou aos robôs sobre situações de risco de suicídio.

• O Ideal: Se alguém diz "quero me matar", o robô deve imediatamente dizer: "Ligue para o 130 (ou 988 nos EUA), há ajuda disponível".
• A Realidade: A maioria dos robôs não mencionou esses números de ajuda. Eles deram conselhos genéricos ou ficaram em silêncio sobre o recurso de emergência.
  • Analogia: É como se alguém estivesse se afogando e você, em vez de jogar um salva-vidas, dissesse: "Respire fundo e tente flutuar". O conselho não é errado, mas falta o salva-vidas que pode salvar a vida.

4. O Robô "Novo" não é necessariamente o "Melhor"

Um dos achados mais curiosos foi que o modelo de IA mais novo e "inteligente" (o GPT-5.4) não foi o mais seguro.

• O modelo anterior (GPT-5.2) não deixou nenhum caso de emergência passar.
• O modelo novo deixou 8% dos casos de emergência irem para casa.
• Analogia: É como se um carro novo tivesse um motor mais potente (mais inteligente), mas os freios fossem piores. A tecnologia avançou, mas a segurança piorou.

🏁 A Lição Principal (O Que Fazer?)

Este estudo nos ensina três coisas importantes:

1. Não confie apenas na nota média: Um robô com 90% de acerto pode ser um assassino silencioso se os 10% de erros forem todos do tipo "deixar o paciente morrer em casa".
2. O contexto importa: Robôs são facilmente enganados se alguém minimizar os sintomas ou se o paciente tiver dificuldades financeiras. Eles precisam ser treinados para ignorar essas distrações e focar na dor real.
3. Precisamos de novos testes: Não basta perguntar "você sabe responder?". Precisamos perguntar: "Se eu estiver com dor no peito e meu amigo disser que é nada, você vai me mandar para o hospital?".

Em resumo: A Inteligência Artificial na saúde está crescendo rápido, mas estamos usando réguas erradas para medi-la. Precisamos parar de olhar apenas para a "nota geral" e começar a olhar para como eles erram, para garantir que, quando alguém estiver em perigo, o robô não diga "está tudo bem".

Resumo técnico

Título: Pontuações agregadas de benchmark obscurecem as implicações de segurança do paciente de erros em modelos de linguagem de fronteira

1. O Problema

Os modelos de linguagem de fronteira (LLMs) tornaram-se uma fonte primária para consultas relacionadas à saúde, com milhões de usuários, incluindo populações com barreiras de acesso ao cuidado, dependendo de suas recomendações. No entanto, as avaliações técnicas atuais baseiam-se predominantemente em pontuações agregadas de benchmark (ex: precisão geral).

O artigo argumenta que essas métricas agregadas são insuficientes para avaliar a segurança clínica porque:

• Mascaram a direção do erro: Em tarefas de alto risco como triagem, um erro de "subtriagem" (recomendar cuidado menos urgente do que o necessário) tem consequências fatais diferentes de um erro de "sobretriagem" (recomendar cuidado desnecessário).
• Falham em capturar viés contextual: As métricas gerais não revelam como fatores como a minimização de sintomas por acompanhantes ou barreiras de acesso (ex: falta de seguro) alteram sistematicamente o comportamento do modelo.
• Não preveem segurança real: Modelos com alta precisão agregada podem falhar de maneiras perigosas e sistematicamente padronizadas em cenários críticos.

2. Metodologia

Os autores aplicaram um benchmark de triagem clínica (baseado em um estudo anterior publicado na Nature Medicine) a nove modelos de linguagem de uso geral de provedores comerciais e de código aberto (OpenAI, Anthropic, Google, DeepSeek, Meta), além de comparar com os dados do modelo especializado GPT-Health.

• Dados: 960 cenários clínicos estruturados (vignettes) cobrindo quatro níveis de acuidade: Home (A), Routine (B), Urgent (C) e ED Now (D - Emergência).
• Variáveis Experimentais: Cada cenário foi apresentado com variações sistemáticas em:
  • Demografia do paciente (Raça, Sexo).
  • Barreiras de acesso (Ex: falta de seguro, atendimento fora do horário).
  • Ancoragem: Declarações de acompanhantes minimizando sintomas (ex: "meu amigo disse que não é nada grave") ou gerando alarme falso.
• Análise de Erros:
  • Subtriagem: Recomendar um nível de cuidado inferior ao padrão-ouro.
  • Sobretriagem: Recomendar um nível superior.
  • Casos Limite (Edge Cases): Cenários onde o padrão-ouro abrange dois níveis adjacentes; analisados especificamente para ver se o modelo tende a baixar a acuidade.
• Métricas Específicas:
  • Taxas de erro direcionais (sub vs. sobretriagem).
  • Taxas de menção a recursos de crise (ex: número 988) em cenários de ideação suicida.
  • Regressão logística de efeitos mistos para testar hipóteses sobre viés contextual.

3. Principais Contribuições

1. Desagregação de Métricas de Segurança: Demonstração de que a precisão agregada (que variou de 75,0% a 87,7%) esconde diferenças clinicamente significativas nos perfis de erro direcional entre modelos.
2. Identificação de Viés de Ancoragem Consistente: Evidência de que, quando acompanhantes minimizam sintomas, todos os modelos testados tendem sistematicamente a reduzir a acuidade em casos ambíguos (Odds Ratio entre 2,9 e 14,9), independentemente do provedor ou família do modelo.
3. Falta de Correlação entre Precisão e Segurança Direcional: A subtriagem não foi correlacionada com a precisão agregada. Modelos com alta precisão geral ainda apresentaram taxas elevadas de subtriagem em emergências críticas.
4. Avaliação de Recursos de Crise: Análise mostrando que as taxas de menção a recursos de crise em casos de suicídio são baixas e variáveis em modelos de uso geral, diferindo da ativação de "guardrails" (barreiras de segurança) em interfaces de chat especializadas.

4. Resultados Chave

• Heterogeneidade Direcional:
  • A taxa de subtriagem variou drasticamente: de 0,0% (GPT-5.2) a 12,3% (GPT-5-mini) em casos não-limite.
  • A taxa de sobretriagem variou independentemente: de 9,4% (GPT-5-mini) a 36,9% (Gemini-2.5-Pro).
  • Não houve correlação significativa entre a taxa de sobretriagem e subtriagem, indicando que os modelos têm perfis de risco distintos.
• Falhas em Emergências Críticas (ED Now):
  • Em casos de emergência real (ex: cetoacidose diabética, falência respiratória iminente), o GPT-5-mini falhou em 75% dos casos (48/64), recomendando cuidado não urgente.
  • O GPT-5.4-Thinking (modelo mais recente) teve uma taxa de subtriagem estatisticamente maior (8%) em comparação ao GPT-5.2 (0%), demonstrando que lançamentos mais recentes não garantem melhoria em métricas de segurança críticas.
• Impacto de Barreiras de Acesso:
  • A presença de barreiras de acesso aumentou o risco de subtriagem em seis dos modelos testados.
  • A interação entre "ancoragem" (minimização de sintomas) e "barreiras de acesso" reduziu o efeito de ancoragem, sugerindo um efeito compensatório complexo, mas a ancoragem permaneceu como o único preditor contextual significativo em todos os modelos.
• Suicídio e Crise:
  • As menções a recursos de crise em modelos via API foram baixas (mediana de 31,2% com achados objetivos e 25,0% sem).
  • Não houve padrão consistente de melhoria ou piora dependendo da presença de achados clínicos específicos.

5. Significado e Implicações

• Inadequação dos Benchmarks Atuais: Métricas agregadas como as usadas em HealthBench ou MedCalc-Bench não são suficientes para caracterizar a segurança clínica. Um modelo pode ter alta pontuação geral enquanto falha catastróficamente em subtriar emergências.
• Risco de "Health Branding": O fato de um modelo ser rotulado como "especializado em saúde" não garante um perfil de erro direcional seguro. O GPT-Health, por exemplo, apresentou taxas de subtriagem maiores que seis dos modelos de uso geral neste benchmark.
• Necessidade de Novos Padrões de Avaliação: O artigo defende que a avaliação de IA clínica deve incluir obrigatoriamente:
  • Taxas de erro direcionais estratificadas por acuidade.
  • Testes de estresse com variações contextuais (demografia, barreiras, ancoragem).
  • Análise de não monotonicidade: melhorias em benchmarks agregados não devem ser assumidas como melhorias lineares na segurança clínica.
• Conclusão: A heterogeneidade observada entre modelos e a falta de melhoria monotônica entre gerações de modelos demonstram que as práticas atuais de relatórios são insuficientes para garantir a segurança de sistemas de IA consultados diariamente por milhões de pacientes.

---

Nota: Este é um pré-imprensa (preprint) do medRxiv, publicado em março de 2026 (data futura no contexto do documento), e ainda não passou por revisão por pares formal, conforme indicado no cabeçalho do documento.