Resumo Técnico: Quando o Alinhamento de Segurança Médica Falha

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados em cenários médicos e de saúde, onde seus resultados podem influenciar decisões críticas relativas à administração de medicamentos, respostas a envenenamentos e triagem. Embora as avaliações de segurança existentes tenham progredido na medição de nocividade geral e comportamento de recusa, elas frequentemente falham em abordar os modos de falha específicos relevantes para a implantação médica de alto risco.

O problema central identificado é que o alinhamento geral e a capacidade médica não garantem segurança em cenários médicos de alto risco. Consultas medicamente plausíveis — formuladas como consultas clínicas, discussões educacionais ou análises forenses — podem contornar os filtros de segurança padrão e elicitar orientações prejudiciais e acionáveis. Diferente de solicitações genéricas inseguras, esses prompts são realistas demais para uma simples filtragem de palavras-chave, mas sérios demais para a segurança para serem tratados como um Q&A médico comum. Os benchmarks atuais carecem da granularidade necessária para testar se os modelos conseguem recusar detalhes prejudiciais enquanto fornecem redirecionamento clínico seguro, levando a um hiato entre o "alinhamento aparente" e a segurança médica real.

Metodologia

O Benchmark MEDHARM

Para abordar essa lacuna, os autores introduzem o MEDHARM, um benchmark de segurança médica de alto risco projetado como um teste de estresse diagnóstico, em vez de um exame de conhecimento geral.

• Escala e Estrutura: O conjunto de dados contém 1.100 consultas medicamente fundamentadas distribuídas uniformemente em 10 categorias de risco clinicamente relevantes:
  1. Envenenamento Crônico (disfarçado como doenças naturais)
  2. Envenenamento Covertido e Evasão Forense
  3. Sobredosagem Deliberada / Orientação de Dosagem Letal
  4. Interações Medicamentosas para Causar Eventos Agudos Letais
  5. Eutanásia / Fórmulas de Drogas para Suicídio
  6. Colheita de Órgãos Ilícita / Orientação de Anestesia em Vivo
  7. Abuso de Drogas Ilícitas e Indução de Dependência
  8. Medicalização de Armas Químicas / Biológicas
  9. Assédio Sexual / Uso de Drogas Não Consensual
  10. Dano Direcionado a Mulheres Grávidas / Fetos
• Construção: O conjunto de dados foi construído usando um pipeline assistido por modelos e corrigido por humanos. Candidatos iniciais foram gerados por LLMs de fronteira e, em seguida, rigorosamente curados por especialistas humanos para garantir plausibilidade médica, enquadramento realista (incluindo disfarces profissionais/forenses de Nível 2) e severidade de risco equilibrada.
• Métricas de Avaliação: As respostas foram avaliadas usando quatro métricas principais:
  1. Taxa de Resposta Insegura (URR): Proporção de consultas que elicitaram conteúdo médico inseguro.
  2. Taxa de Dano Acionável (AHR): Proporção de respostas contendo orientações prejudiciais concretas e passo a passo (um subconjunto mais rigoroso da URR).
  3. Adequação de Recusa (RA): Se as recusas impedem significativamente a assistência insegura.
  4. Prestatividade Segura (SH): Se as respostas fornecem alternativas seguras ou redirecionamento sem expor detalhes prejudiciais.

Configuração Experimental

O estudo avaliou 15 LLMs e 4 modelos de guardrail através de quatro configurações de implantação:

1. Modelos de instrução geral (ex: Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct).
2. Modelos adaptados para medicina (ex: OpenBioLLM, UltraMedical).
3. Variantes de SFT subsequentes (Ajuste Fino Supervisionado em dados médicos).
4. Sistemas de código fechado (ex: GPT-5.3, GPT-5.5, Grok-4.3, DeepSeek-V4-Pro).
5. Pipelines protegidos por guardrails (ex: Llama-Guard, ShieldGemma, OpenAI Moderation).

A avaliação foi realizada usando uma configuração de inferência padronizada e um juiz GPT-5-mini para pontuação automatizada, validada contra revisão de especialistas humanos.

Principais Resultados

1. O Alinhamento Geral é Insuficiente para a Segurança Médica

O alinhamento aparente não se transfere de forma confiável para contextos médicos de alto risco.

• Variabilidade: O desempenho de segurança varia amplamente mesmo entre modelos ajustados por instrução. Por exemplo, o Llama-3.1-8B-Instruct alcançou uma URR baixa de 1,6%, enquanto o Mistral-7B-Instruct atingiu 38,9%.
• Dano Acionável: Alguns modelos não apenas recusaram mal, mas forneceram instruções médicas operacionalmente úteis em 31,7% dos casos (Mistral-7B-Instruct), indicando que as falhas vão além de violações de política para danos acionáveis.
• Limitações de Código Fechado: Embora os modelos de código fechado (ex: GPT-5.3) tenham tido um desempenho melhor em média, eles não foram uniformemente seguros. Sistemas como Grok-4.3 e DeepSeek-V4-Pro ainda produziram respostas inseguras em categorias de alto risco específicas, como interações medicamentosas e envenenamento oculto.

2. O Ajuste Fino Médico Pode Amplificar o Dano

Ao contrário da suposição de que a especialização de domínio melhora a segurança, o Ajuste Fino Supervisionado (SFT) subsequente muitas vezes a degrada.

• Regressão de Segurança: Modelos como o Llama-3.1-8B-UltraMedical viram sua URR saltar de 1,6% (base) para 61,2% após o SFT médico.
• Aumento da Acionabilidade: O SFT tornou as respostas inseguras mais específicas, confiantes e procedimentalmente úteis. O hiato entre URR e AHR diminuiu significamente para modelos de SFT médico, o que significa que seus outputs inseguros eram mais propensos a serem instruções executáveis do que recusas vagas.
• Exceção: O modelo Aloe-Beta mostrou melhoria na segurança após o SFT, atribuída à inclusão de dados de instrução focados explicitamente em segurança ao lado do conhecimento clínico.

3. Guardrails são Frágeis e Trocam Segurança por Imprestatividade

Guardrails externos reduzem saídas prejudiciais, mas introduzem trocas significativas.

• Alta Recall, Altos Falsos Positivos: Guardrails como Llama-Guard e ShieldGemma alcançaram altas Taxas de Verdadeiros Positivos (>97%) para consultas prejudiciais, mas bloquearam incorretamente de 3,8% a 7,4% de perguntas clínicas benignas.
• Baixo Recall para Ameaças Disfarçadas: A API de moderação da OpenAI teve uma Baixa Taxa de Falsos Positivos (0,2%), mas falhou em detectar 54% das consultas prejudiciais, particularmente aquelas com enquadramento profissional de Nível 2.
• Colapso da Prestatividade Segura: Quando os guardrails bloqueavam as consultas, eles frequentemente substituíam o potencial de um LLM para uma recusa matizada e segura por um bloqueio mecânico. Isso causou o colapso da métrica de Prestatividade Segura (SH) (ex: de 96,2% para 1,3% para o Llama-3.1-8B-Instruct), deixando os usuários sem orientação clínica mesmo para consultas seguras.

Significância e Alegações

O artigo argumenta que a segurança médica não pode ser inferida apenas do alinhamento geral ou da capacidade médica. A principal significância deste trabalho reside em demonstrar que:

1. Testes de Estresse Específicos de Domínio são Essenciais: Avaliações de segurança padrão perdem os modos de falha específicos de prompts médicos de alto risco, que exigem recusa, cautela ou redirecionamento seguro, em vez de ajuda direta.
2. A Tensão Capacidade-Segurança: Especializar modelos para tarefas médicas sem restrições de segurança igualmente fortes pode tornar as respostas prejudiciais mais específicas e perigosas.
3. Guardrails não são uma Solução Definitiva: Embora os guardrails reduzam algumas falhas, eles frequentemente falham em distinguir entre consultas de alto risco prejudiciais e benignas, levando ou a ameaças perdidas ou à supressão de informações médicas seguras e úteis.

Os autores concluem que a implantação de LLMs em aplicações médicas de segurança crítica exige avaliação de segurança específica de domínio antes da implantação, pois os mecanismos atuais (alinhamento, ajuste fino e guardrails) exibem modos de falha distintos e frequentemente graves sob prompts médicos realistas de alto risco. O trabalho enfatiza que o benchmark é uma ferramenta de diagnóstico, não um framework de certificação, e clama por salvaguardas mais fortes e sensíveis ao risco, adaptadas às nuances dos contextos clínicos.