DeVisE: Behavioral Testing of Medical Large Language Models

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais aplicados em suporte à decisão clínica. No entanto, as avaliações convencionais (benchmarks tradicionais) focam principalmente em métricas de desempenho de tarefas (como precisão ou F1-score) e raramente revelam se as saídas do modelo refletem raciocínio médico genuíno ou apenas correlações superficiais e vieses.

A questão central é: um LLM utiliza conceitos clínicos da mesma forma que um médico humano (ajustando previsões baseadas na gravidade dos sintomas), ou ele depende de atalhos e vieses estatísticos? Métricas padrão muitas vezes ocultam diferenças clinicamente relevantes no comportamento do modelo quando variáveis críticas são alteradas.

2. Metodologia: O Framework DeVisE

Os autores propõem o DeVisE (Demographics and Vital signs Evaluation), um framework de teste comportamental baseado em contrafactuais controlados. O objetivo é perturbar minimamente as entradas do modelo para observar como ele reage.

• Fonte de Dados: Utilização de notas de alta de pacientes da UTI do banco de dados MIMIC-IV.
• Variáveis de Estudo:
  • Demográficas: Idade, Gênero, Etnia.
  • Sinais Vitais: Frequência cardíaca, Pressão arterial (sistólica/diastólica), Temperatura, Saturação de oxigênio, Frequência respiratória.
• Geração de Contrafactuais:
  • Para cada paciente, criam-se versões "contrafactuais" alterando apenas uma variável de cada vez (ex: mudar a frequência cardíaca de 89 bpm para 120 bpm), mantendo o restante da nota inalterado.
  • As variáveis numéricas são mapeadas para escalas de gravidade clínica (de -2 "muito baixo" a +2 "muito alto").
  • São geradas duas modalidades de entrada: Notas Brutas (texto clínico original) e Notas Baseadas em Templates (estrutura padronizada contendo apenas as variáveis de interesse).
• Tarefas de Avaliação (Zero-shot):
  1. Previsão de Mortalidade: Classificação binária (morte ou não).
  2. Previsão de Tempo de Permanência (LoS): Classificação em 4 faixas de horas na UTI.
  3. Avaliação Independente de Tarefa: Medição da mudança na perplexidade (probabilidade do modelo atribuir ao perfil do paciente) sem foco em uma tarefa específica.
• Modelos Testados: 8 LLMs de última geração, variando em tamanho, domínio e capacidades de raciocínio (ex: Phi-4, LLaMA-3.3, OpenBioLLM, GPT-4.1-mini, DeepSeek-R1, etc.).

3. Métricas de Avaliação

O estudo não se limita à acurácia, focando em métricas comportamentais:

• Deslocamento de Probabilidade de Rótulo (KL Divergence): Mede o quanto a distribuição de probabilidade da tarefa muda entre o paciente original e o contrafactual.
• Taxa de Inversão (Flips %): Porcentagem de vezes que a classe prevista muda (ex: de "baixo risco" para "alto risco") devido à perturbação.
• Direção Correta (%CD): Verifica se a mudança na previsão segue a direção clínica esperada (ex: se a gravidade aumenta, a probabilidade de morte deve aumentar).
• Monotonicidade (%Mono): Avalia se a resposta do modelo escala consistentemente com a gravidade da perturbação (ex: quanto pior o sinal vital, maior o risco previsto, de forma linear).
• Mudança de Perplexidade (Task-independent): Mede a "surpresa" linguística do modelo ao ver o contrafactual.

4. Principais Resultados

• Sensibilidade a Sinais Vitais:
  • A maioria dos modelos ajusta suas previsões de mortalidade e LoS de forma monotônica e direcionalmente correta quando os sinais vitais mudam, indicando que internalizaram a severidade fisiológica.
  • Notas Baseadas em Templates amplificam a sensibilidade do modelo às mudanças nos sinais vitais (maior KL e taxas de inversão) em comparação às notas brutas. Isso sugere que o contexto rico das notas brutas pode diluir a importância de variáveis específicas.
  • Modelos de propósito geral (como GPT-OSS-120B) mostraram alta sensibilidade, mas com instabilidade. Modelos médicos (OpenBioLLM) e de raciocínio (DeepSeek-R1) tenderam a ser mais conservadores e estáveis.
• Vieses Demográficos:
  • Perturbações demográficas (idade, gênero, etnia) produziram efeitos sistemáticos, embora menores que os sinais vitais.
  • Idade: Foi a variável com maior impacto; pacientes mais velhos tiveram consistentemente maior tempo de permanência previsto.
  • Gênero e Raça: Observaram-se taxas de inversão (flips) significativas (até 23%) perto das fronteiras de decisão. Padrões consistentes de viés foram detectados (ex: previsão de menor tempo de permanência para mulheres e pacientes brancos, alinhando-se com disparidades de saúde conhecidas), indicando que vieses de pré-treinamento persistem.
• Perplexidade: Mesmo sem supervisão de tarefa, os modelos mostraram aumento na perplexidade conforme a gravidade do contrafactual aumentava, sugerindo que eles registram internamente essas perturbações como eventos linguísticos improváveis.

5. Contribuições Chave

1. Introdução do DeVisE: Um benchmark clínico que aplica testes comportamentais com contrafactuais minimamente diferentes para avaliar a robustez e o raciocínio de LLMs médicos.
2. Dataset Validado: Liberação de um conjunto de dados com 1.001 notas brutas e 1.001 notas baseadas em templates, cada uma com seus respectivos contrafactuais validados manualmente e automaticamente.
3. Análise Comparativa Abrangente: Avaliação de 8 LLMs de ponta através de múltiplas dimensões (tipo de nota, tarefa específica vs. independente, especialização médica vs. geral).

6. Significado e Conclusão

O estudo demonstra que métricas de tarefa padrão são insuficientes para garantir a segurança e a confiabilidade de LLMs na medicina. O DeVisE revela que, embora os modelos possam ser precisos em tarefas estáticas, seu comportamento sob perturbações clínicas varia drasticamente:

• Alguns modelos são excessivamente sensíveis e instáveis.
• Outros são conservadores, mas podem perpetuar vieses demográficos sutis.
• A ausência de contexto (templates) força o modelo a depender mais das variáveis críticas, revelando melhor sua capacidade de raciocínio causal, enquanto notas brutas podem mascarar falhas de raciocínio.

O trabalho conclui que a avaliação comportamental baseada em contrafactuais é um passo essencial para o desenvolvimento de LLMs médicos mais robustos, interpretáveis e justos, permitindo a detecção precoce de falhas de raciocínio antes da implantação em cenários reais.