Domain-Adapted Small Language Models for Reliable Clinical Triage

1. Declaração do Problema

A atribuição precisa do Índice de Gravidade de Emergência (ESI) em departamentos de emergência (DE) é crítica para os desfechos dos pacientes e a alocação de recursos, mas permanece altamente variável e subjetiva.

• Desafios Atuais: A precisão do triagem humana é baixa (frequentemente 30–50%), levando a subtriagem (atraso em cuidados que salvam vidas) ou supertriagem (sobrecarga de recursos).
• Limitações da IA Existente: Embora os Modelos de Linguagem Grandes (LLMs) mostrem promessa, modelos proprietários levantam preocupações de HIPAA/privacidade devido a chamadas de API externas, exigem recursos de computação massivos e frequentemente produzem saídas inconsistentes. Além disso, estratégias de inferência complexas (como debates multiagente ou Geração Aumentada por Recuperação) não foram comprovadas para melhorar o desempenho em tarefas clínicas baseadas em regras.
• A Lacuna: Há uma necessidade de ferramentas de suporte à decisão que preservem a privacidade, sejam locais (on-premise) e computacionalmente eficientes, capazes de automatizar com confiabilidade a atribuição de ESI sem comprometer a segurança ou a reprodutibilidade.

2. Metodologia

O estudo propõe um framework para adaptar Modelos de Linguagem Pequenos (SLMs) (≤7B parâmetros) ao triagem clínico usando um pipeline de dados específico e uma estratégia de ajuste fino.

Fontes de Dados e Preparação

• Conjunto de Dados: Dados retrospectivos do DE pediátrico do Children's National Hospital (CNH) (aprox. 117k atendimentos).
• Filtragem: Um subconjunto de alta qualidade ($n=353$) foi curado para avaliação, exigindo Queixas Principais completas, Sinais Vitais, Exames Físicos e Histórico Médico Prévio.
• Dados de Treinamento:
  1. Curado por Especialistas: 245 vignetas do Manual ESI (Padrão Ouro).
  2. Conjunto de Dados Padrão Prateado: 117.247 vignetas clínicas geradas automaticamente ao solicitar ao Qwen2.5-7B que resumisse campos estruturados de triagem, mantendo o ESI atribuído pela enfermeira como a verdade fundamental (ground truth).

Seleção e Arquitetura do Modelo

• Modelos Base: Vários SLMs de código aberto (Qwen2.5, MedGemma, MedLLaMA2) e modelos maiores (GPT-OSS) foram avaliados.
• Modelo Alvo: Qwen2.5-7B foi selecionado como o candidato principal devido ao seu equilíbrio entre desempenho e eficiência.
• Estratégia de Ajuste Fino:
  • QLoRA (Adaptação de Baixo Rank Quantizada): Utilizado para treinamento eficiente em memória em configurações multi-GPU.
  • Fragmentação Sequencial: O conjunto de dados prateado foi dividido em 10 fragmentos. O modelo foi treinado sequencialmente em cada fragmento (Fragmento 1 $\to$ Fragmento 10) para monitorar a convergência e a estabilidade.
  • Formatos de Entrada: Seis pipelines de prompt foram testados, incluindo notas brutas, dados estruturados e vignetas clínicas (resumos concisos de narrativas de pacientes).

Métricas de Avaliação

O desempenho foi medido em relação aos níveis de ESI atribuídos por enfermeiras usando:

• Discordância Total: Taxa geral de má classificação.
• Subtriagem/Supertriagem: Erros direcionais.
• Erros Significativos: Má classificações críticas (ex.: prever ESI 3–5 para um verdadeiro ESI 2, ou ESI 1–2 para um verdadeiro ESI 3–5).
• Tempo de Inferência: Latência por atendimento de paciente.

Experimentos Exploratórios

• Explicabilidade: Mapas de atenção em nível de token foram analisados para identificar quais sinais clínicos (ex.: dificuldade respiratória vs. termos administrativos) impulsionaram as previsões.
• Sistemas Multiagente: Ensaios de 3–4 agentes com diferentes personas (segurança em primeiro lugar, estritamente baseado em diretrizes) foram testados usando mecanismos de votação e debate.
• Geração Aumentada por Recuperação (RAG): Testou-se a injeção do Manual ESI na janela de contexto.
• Robustez: Desempenho avaliado quando dados chave (Sinais Vitais ou Exame Físico) foram removidos artificialmente.

3. Principais Contribuições

1. Demonstração da Viabilidade de SLMs: Provou que um modelo de código aberto de 7B parâmetros, quando adaptado a domínios, pode superar LLMs proprietários maiores (ex.: GPT-4o) e outros SLMs no triagem clínico.
2. Otimização da Representação de Entrada: Identificou que vignetas clínicas (resumos concisos) são o formato de entrada superior, superando significativamente notas de triagem brutas ou dados estruturados isoladamente.
3. Superioridade do Ajuste Fino sobre Inferência Complexa: Mostrou que o ajuste fino direcionado em dados específicos da instituição produz melhores resultados do que estratégias de inferência complexas como debates multiagente ou RAG, que frequentemente introduziam ruído e latência.
4. Implantação com Preservação de Privacidade: Estabeleceu um caminho para suporte de triagem local (on-premise) e compatível com HIPAA usando modelos leves que operam com latência subsegundo.

4. Principais Resultados

Comparação de Desempenho do Modelo

• Melhor Modelo: Qwen2.5-7B ajustado finamente alcançou o melhor equilíbrio entre precisão e velocidade.
  • Discordância Total: Reduzida para 25,85% (comparado a ~50–60% para modelos base e ~57% para GPT-4o).
  • Erros Significativos: Alcançou baixas taxas de subtriagem significativa (6,25%) e supertriagem (2,56%).
  • Velocidade de Inferência: 0,15–0,16 segundos por atendimento, tornando-o adequado para fluxos de trabalho em tempo real.
• Comparação com Modelos Maiores: Modelos maiores (ex.: GPT-OSS-120B, MedGemma-27B) não ofereceram ganhos de precisão, mas foram 20–150x mais lentos. O GPT-4o teve uma discordância de ~57% e levou ~6 segundos por atendimento.

Impacto das Estratégias

• Ajuste Fino vs. RAG: O ajuste fino sozinho reduziu significativamente a discordância. Adicionar RAG (recuperando diretrizes ESI) aumentou as taxas de erro e a latência, sugerindo que, para tarefas baseadas em regras, o conhecimento internalizado via ajuste fino é superior à recuperação externa.
• Sistemas Multiagente: Ensaios (3–4 agentes) degradaram o desempenho (a discordância subiu para ~33–43%) e aumentaram a latência (21–56s), provavelmente devido a raciocínios conflitantes e variabilidade.
• Robustez a Dados Faltantes: O Qwen2.5-7B ajustado finamente manteve baixa discordância (~29%) mesmo quando Sinais Vitais ou Exames Físicos estavam ausentes, superando tanto o Qwen base quanto o GPT-4o em cenários de dados incompletos.

Achados de Explicabilidade

• Previsões Corretas: A atenção focou em marcadores clinicamente significativos (frequências respiratórias, descritores de dor, contexto específico de idade).
• Previsões Incorretas: A atenção desviou-se para termos administrativos ("gestão", "processo") ou pistas lexicais superficiais, indicando áreas para melhoria futura na curadoria de dados de treinamento.

5. Significado e Conclusão

Este estudo estabelece que Modelos de Linguagem Pequenos Adaptados a Domínios são uma solução prática, segura e altamente eficaz para suporte ao triagem clínico.

• Impacto Clínico: Ao reduzir a discordância e erros significativos, esses modelos podem auxiliar enfermeiras na padronização das atribuições de ESI, potencialmente reduzindo atrasos no atendimento para pacientes de alta acuidade.
• Viabilidade Operacional: O tempo de inferência subsegundo e a capacidade de implantação local abordam as barreiras críticas de latência e privacidade de dados que têm impedido a adoção de LLMs na saúde.
• Insight Estratégico: Os achados sugerem que, para tarefas médicas estruturadas e baseadas em regras, ajuste fino de alta qualidade em dados específicos da instituição é mais eficaz do que escalar o tamanho do modelo ou empregar arquiteturas de inferência complexas.

Trabalho Futuro: Os autores recomendam expandir para dados em tempo real e ruidosos, incluindo populações excluídas (saúde mental, ESI 1), e desenvolver benchmarks ancorados em desfechos para validar a precisão do triagem contra desfechos reais de pacientes, em vez de apenas atribuições de enfermeiras.