Safety and accuracy follow different scaling laws in clinical large language models

Resumo Técnico: Segurança e Precisão Seguem Leis de Escala Diferentes em Grandes Modelos de Linguagem Clínicos

Declaração do Problema
Os Grandes Modelos de Linguagem (LLMs) clínicos estão sendo cada vez mais implantados para suporte à decisão, frequentemente sob a suposição de que escalar o tamanho do modelo, o comprimento do contexto ou a computação no momento da inferência melhorará inerentemente a segurança. No entanto, em domínios clínicos como a radiologia, a segurança não é meramente uma função da precisão média. Um modelo pode atingir alta precisão enquanto retém um pequeno subconjunto de erros de "alto risco" — respostas incorretas que poderiam alterar o manejo clínico, contradizer evidências ou serem entregues com excesso de confiança perigoso. Benchmarks convencionais frequentemente tratam todas as respostas incorretas como equivalentes, falhando em distinguir entre erros benignos e aqueles com consequências clínicas graves. Os autores postulam que erros relevantes para a segurança são esparsos, assimétricos e estruturados clinicamente, o que significa que estratégias de escala que melhoram o desempenho médio podem não mitigar esses modos de falha específicos e de alto risco.

Metodologia
Para abordar essa lacuna, os autores introduzem o SaFE-Scale (Avaliação de Escala Focada em Segurança), um framework para medir como a segurança dos LLMs clínicos muda em relação à escala do modelo, qualidade da evidência, estratégia de recuperação, exposição ao contexto e computação no momento da inferência.

1. Construção do Benchmark (RadSaFE-200): O estudo utiliza o RadSaFE-200, um benchmark de avaliação focado em segurança em radiologia, composto por 200 perguntas de múltipla escolha. O conjunto de dados é agregado de conjuntos previamente publicados (RadioRAG, RaR) e casos recém-curados. Crucialmente, cada pergunta inclui:

   • "Evidência limpa" definida por clínicos (raciocínio clínico conciso e correto).
   • "Evidência de conflito" (evidência limpa mais uma frase distratora ou parcialmente conflitante).
   • Rótulos de segurança no nível da opção, indicando se uma escolha de resposta específica constitui um erro de alto risco (dano clínico plausível), uma resposta insegura (contradiz o padrão de cuidado) ou uma contradição de evidência.

2. Desenho Experimental: Os autores avaliaram 34 LLMs implantados localmente em sete famílias (Qwen, Llama, Gemma, MedGemma, DeepSeek, Mistral, OpenAI-OSS) abrangendo de 0,5B a 685B parâmetros. A avaliação seguiu um desenho totalmente fatorial em seis condições de implantação:

   • Sem livro: Prompting zero-shot sem evidência externa.
   • Evidência limpa: Prompting com evidência curada e escrita por clínicos.
   • Evidência de conflito: Prompting com evidência contendo um distrator.
   • RAG Padrão: Geração Aumentada por Recuperação usando um pipeline fixo e a Radiopaedia como fonte.
   • RAG Agente: Framework de Recuperação e Raciocínio (RaR) envolvendo reformulação de consulta em múltiplos passos e síntese.
   • Máximo contexto: Prompting com a janela de contexto máxima possível.

   Experimentos secundários investigaram a computação no momento da inferência via autoconsistência (votação majoritária sobre 20 amostras) e ensembles fixos de três modelos (votação majoritária entre modelos heterogêneos).

3. Métricas: Os desfechos primários incluíram a taxa de erros de alto risco, taxa de respostas inseguras, taxa de contradição e excesso de confiança perigoso (definido como uma resposta incorreta de alto risco com confiança normalizada por entropia $\ge$ 0,80). A precisão foi relatada como desfecho secundário.

Principais Resultados
O estudo demonstra que a segurança e a precisão se desacoplam significativamente entre as condições de implantação:

• Qualidade da Evidência Domina: A melhoria mais significativa tanto na precisão quanto na segurança veio do fornecimento de evidência limpa e escrita por clínicos. Isso deslocou a precisão média do modelo de 73,5% (sem livro) para 94,1% e reduziu erros de alto risco de 12,0% para 2,6%. O excesso de confiança perigoso caiu de 8,0% para 1,6%.
• Limitações da Recuperação e do Raciocínio Agente: Embora o RAG Padrão e o RAG Agente tenham melhorado a precisão em relação ao prompting sem livro (76,0% e 78,1%, respectivamente), eles falharam em reproduzir o perfil de segurança da evidência limpa. O RAG Agente, apesar de melhorar a precisão em relação ao RAG Padrão, resultou em maior excesso de confiança perigoso (8,0% vs. 5,7%), indicando que uma melhor integração de evidências não elimina automaticamente erros de alto risco e confiantes.
• Ineficácia da Escala e Computação:
  • Escala do Modelo: Dentro das famílias de modelos, parâmetros maiores melhoraram as linhas de base sem livro, mas não eliminaram erros de alto risco. A evidência limpa comprimiu a variância entre as famílias, sugerindo que a qualidade da evidência é um determinante mais forte da segurança do que o tamanho do modelo.
  • Comprimento do Contexto: O prompting com máximo contexto aumentou a latência (27,0s vs. 18,0s) sem fechar a lacuna de segurança, produzindo precisão semelhante ao prompting sem livro (74,0%).
  • Computação no Momento da Inferência: A autoconsistência forneceu ganhos marginais apenas em precisão (+0,39%) e segurança, falhando em reduzir significativamente erros de alto risco.
  • Ensembles: Embora os ensembles tenham melhorado a precisão agregada em relação à média do painel, eles introduziram falha sincronizada, onde todos os três membros selecionaram a mesma opção errada. Muitos erros de alto risco dos ensembles foram unânimes, e os ensembles não superaram consistentemente o membro individual mais seguro.
• Confiança como Sinal: A confiança foi encontrada como um filtro de segurança não confiável. Os modelos mantiveram alta confiança (frequentemente >85%) mesmo ao produzir erros de alto risco ou inseguros. A lacuna entre a confiança em respostas corretas e erros de alto risco foi muito pequena para servir como filtro de implantação.
• Concentração do Pior Caso: Falhas com consequências clínicas não foram aleatórias; concentraram-se em um pequeno subconjunto de perguntas. As 15 perguntas de maior risco produziram erros de alto risco em >50% do painel de modelos, com algumas perguntas causando taxas de falha de 100% em todos os 34 modelos.

Significado e Alegações
O artigo alega que a segurança dos LLMs clínicos não é uma consequência passiva da escala (tamanho do modelo, contexto ou computação), mas uma propriedade de implantação moldada pela qualidade da evidência, design de recuperação e construção de contexto.

• Desacoplamento de Métricas: Os autores argumentam que as leis de escala da precisão não se aplicam à segurança. Um sistema pode tornar-se mais preciso enquanto permanece inseguro se a estratégia de implantação (por exemplo, recuperação) não abordar a natureza específica dos erros de alto risco.
• Evidência é Crítica: A alavanca primária para a segurança é a qualidade da informação fornecida ao modelo. Evidência curada e escrita por clínicos é a única condição testada que moveu consistentemente os modelos para uma "região de implantação segura" (precisão $\ge$ 90%, erro de alto risco $\le$ 5%).
• Reavaliação das Estratégias de Implantação: As descobertas sugerem que confiar apenas em recuperação, raciocínio agente ou ensembles é insuficiente para a segurança clínica. Esses métodos podem melhorar o desempenho médio, mas deixam erros residuais, de alta confiança, que apresentam riscos clínicos.
• Mudança na Avaliação: O artigo defende uma mudança na avaliação de LLMs clínicos, passando de relatórios de precisão de métrica única para perfis de segurança multidimensionais que medem explicitamente erros de alto risco, contradições e falhas sincronizadas. O RadSaFE-200 e o SaFE-Scale são apresentados como instrumentos para habilitar esse tipo de análise de segurança granular e específica de implantação.

Os autores concluem que sistemas de IA clínica mais seguros exigem medição explícita de segurança no nível da implantação, priorizando a redução de erros de alto risco através de controles de qualidade de evidência, em vez de assumir que a segurança emergirá da escala de parâmetros do modelo ou da computação no momento da inferência.