Resumo Técnico: Quando os Grandes Modelos de Linguagem Falham na Saúde

Definição do Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados na saúde para tarefas críticas, como resposta a perguntas clínicas, suporte ao diagnóstico e sumarização de relatórios. No entanto, esses modelos exibem uma sensibilidade significativa a perturbações sutis de prompts, tanto léxicas (nível de palavra) quanto sintáticas (nível de estrutura). Em ambientes clínicos de alta criticidade, mesmo variações menores na fraseação — como substituição de sinônimos, reordenação de sintomas ou leves mudanças sintáticas — podem levar a saídas inconsistentes, erros diagnósticos ou conselhos prejudiciais. O problema central abordado é a falta de robustez intrínseca tanto em modelos de propósito geral (ex: GPT-3.5, Llama3) quanto em modelos médicos específicos (ex: ClinicalBERT, BioLlama3, BioBERT). Essa imprevisibilidade gera riscos inaceitáveis para a confiança clínica, pois os modelos podem alterar diagnósticos ou recomendar dosagens incorretas baseando-se apenas em entradas refraseadas.

Metodologia

O estudo utiliza um framework de análise de sensibilidade sistemática usando o benchmark MedMCQA, um conjunto de dados de larga escala contendo mais de 194.000 questões de múltipla escolha médicas. A avaliação abrange cinco modelos: GPT-3.5, Llama3, ClinicalBERT, BioLlama3 e BioBERT.

Estratégia de Perturbação

Os autores categorizam as perturbações em dois tipos:

1. Perturbações Léxicas: Envolvendo substituições de tokens, como substituir termos médicos por sinônimos clinicamente precisos (ex: "falta de ar" para "dispneia") ou introduzir erros ortográficos menores. Estas são geradas usando BioSyn e validadas via embeddings BioBERT e SciBERT para garantir equivalência médica.
2. Perturbações Sintáticas: Envolvendo mudanças estruturais, como reordenação de cláusulas, mudança de voz ativa/passiva ou alteração do foco da sentença (ex: clivagem), preservando o significado clínico subjacente.

Framework de Avaliação

O pipeline envolve:

1. Gerar prompts perturbados ($P'$) a partir de prompts originais ($P$).
2. Validar a equivalência semântica usando o Universal Sentence Encoder (USE) e BioSyn para garantir que a entrada perturbada retém a intenção clínica original.
3. Selecionar os top-$K$ prompts sintaticamente alinhados com base em pontuações de similaridade de cosseno.
4. Executar esses prompts através dos LLMs alvo e comparar as saídas com a verdade fundamental (ground truth).

Métricas

O desempenho é quantificado usando:

• BERTScore: Mede a similaridade sintática e semântica entre a resposta do modelo e a verdade fundamental.
• Pontuação do Universal Sentence Encoder (USE): Avalia a similaridade de embedding ao nível da sentença para avaliar a preservação do significado clínico.
• Taxa de Resposta (RR): A proporção de respostas válidas geradas.
• Taxa de Instrução de Seguimento (FIR): A extensão em que o modelo adere a restrições de formatação ou estruturais específicas (ex: saída em JSON) dentro das respostas válidas.

A estabilidade é categorizada por limiares de pontuação: 0.9–1.0 (Muito Estável), 0.7–0.9 (Moderadamente Estável), 0.5–0.7 (Sensibilidade Leve) e <0.5 (Alta Sensibilidade).

Principais Contribuições

1. Definição e Categorização Formal: O artigo define formalmente e categoriza as perturbações de prompt em variações léxicas e sintáticas, avaliando sistematicamente seu impacto no desempenho de LLMs em tarefas de saúde.
2. Análise Comparativa: Fornece uma comparação abrangente entre modelos de propósito geral e modelos médicos de domínio específico, revelando que nenhuma categoria é intrinsecamente imune à sensibilidade.
3. Identificação de Vulnerabilidades: O estudo identifica modos de falha críticos, incluindo "deriva de instrução" (onde os modelos falham em restrições de formatação apesar da lógica médica correta) e "interpretação estrutural errônea" (onde mudanças sintáticas levam a diagnósticos falsos).
4. Evidência de Benchmarking: Os autores consolidam evidências sobre a robustez de LLMs em domínios de saúde, detalhando os efeitos observados de tipos específicos de perturbação na consistência e precisão do modelo.

Resultados

• Sensibilidade Geral: Todos os modelos avaliados, incluindo os médicos específicos, mostraram redução de desempenho sob perturbação. A precisão caiu de aproximadamente 98–99% em configurações não perturbadas para 94–95% sob mudanças sintáticas.
• Impacto Léxico vs. Sintático: Os modelos demonstraram relativa resiliência a substituições léxicas simples (ex: sinônimos), mas mostraram fragilidade significativa sob reordenação sintática e pistas contextuais enganosas.
• Deriva de Instrução: Variações léxicas frequentemente causaram os modelos a priorizar o fluxo de linguagem natural sobre instruções de formatação estritas (ex: estrutura JSON), levando a uma queda nas pontuações de FIR mesmo quando o diagnóstico médico estava correto.
• Colapso Estrutural: Perturbações sintáticas ocasionalmente causaram falha sistêmica total, onde o modelo pesou incorretamente sinais clínicos (ex: confundindo "aumento de escarro" com "Edema Pulmonar" em vez de "DPOC"), resultando em diagnósticos falsos (falha de RR).
• Desempenho do Modelo: O BioLlama3 demonstrou a maior robustez entre os modelos testados, enquanto o BioBERT e o ClinicalBERT exibiram maior sensibilidade, particularmente a variações sintáticas. Modelos de propósito geral como o GPT-3.5 mostraram estabilidade competitiva, mas não superior, aos modelos especializados.

Significância e Alegações

O artigo afirma que os LLMs médicos não são intrinsecamente seguros. As descobertas desafiam a suposição de que o ajuste fino (fine-tuning) de domínio garante confiabilidade em ambientes clínicos. Os autores enfatizam que:

• Imprevisibilidade é Inaceitável: Na saúde de alto risco, modelos que alteram diagnósticos devido a entradas refraseadas ou que alucinam medicamentos sob leve refraseamento não podem ser confiáveis para clínicos.
• Necessidade de Robustez: Benchmarks atuais focados apenas em precisão em dados limpos são insuficientes. Há uma necessidade urgente de avaliação de robustez sistemática que considere variações léxicas e sintáticas.
• Direções Futuras: Os autores defendem métricas padronizadas, testes de perturbação controlados (semelhantes a frameworks como MedFuzz e RAmBLA) e o desenvolvimento de modelos que sejam ou comprovadamente resilientes ou transparentemente limitados em sua implantação para garantir a segurança do paciente.

O estudo conclui que, embora os LLMs possuam potencial significativo para a saúde, sua fragilidade atual sob perturbações de prompt exige um design de prompt cuidadoso e mais pesquisas sobre robustez adversarial antes que a adoção clínica generalizada possa ser considerada segura.