Using reasoning LLMs to extract SDOH events from clinical notes

Título: Uso de LLMs com Capacidades de Raciocínio para Extrair Eventos de Determinantes Sociais da Saúde (SDOH) de Notas Clínicas

1. Problema e Contexto

Os Determinantes Sociais da Saúde (SDOH) — condições ambientais, comportamentais e sociais que influenciam a saúde — têm um impacto significativo nos resultados dos pacientes. No entanto, a maioria das informações sobre SDOH está contida em notas clínicas não estruturadas dentro de Registros Eletrônicos de Saúde (EHR), o que limita sua utilidade imediata para análise automatizada.

Abordagens anteriores utilizaram modelos de linguagem pré-treinados (como BERT) ajustados (fine-tuning) para tarefas específicas de Extração de Entidades Nomeadas (NER). Embora eficazes, esses métodos exigem:

• Grandes conjuntos de dados anotados.
• Recursos computacionais intensivos.
• Reajuste complexo para extrair SDOH fora do escopo original da tarefa.

Modelos de Linguagem de Grande Escala (LLMs) gerais (como GPT-3.5/4) foram testados, mas muitas vezes apresentaram desempenho inferior aos modelos BERT ajustados, pois não possuíam treinamento específico para análise médica e falhavam na extração de detalhes em nível de span (trechos de texto). O desafio atual é extrair eventos de SDOH estruturados com alta precisão, sem a necessidade de ajuste fino (fine-tuning) extensivo, aproveitando as novas capacidades de raciocínio de LLMs de última geração.

2. Metodologia

Os autores propuseram uma abordagem baseada em engenharia de prompts utilizando LLMs com capacidades avançadas de raciocínio (OpenAI o4-mini, Gemini 2.5 Flash e Llama-3.1-8B). O pipeline proposto consiste em quatro módulos principais:

1. Prompts com Diretrizes de Anotação (Guidelines):

   • O modelo recebe as diretrizes completas de anotação do corpus SHAC (Social History Annotated Corpus).
   • O prompt instrui o modelo a extrair eventos de SDOH (status de vida, emprego, uso de álcool, tabaco e drogas) e seus argumentos associados (gatilho, status, tipo, duração, frequência, quantidade, método) em formato JSON.
   • O objetivo é garantir que o modelo siga regras estritas de anotação sem necessidade de treinamento prévio.

2. Aprendizado com Poucos Exemplos (Few-Shot Prompting):

   • Foram fornecidos 50 exemplos totalmente anotados (extraídos dos conjuntos de treinamento MIMIC-III e UW) dentro do prompt.
   • Esses exemplos servem como referência para o formato de saída e a lógica de extração, demonstrando como mapear o texto clínico para a estrutura JSON requerida.

3. Mecanismo de Autoconsistência (Self-Consistency):

   • Para mitigar a variabilidade inerente à geração de texto por LLMs, o modelo foi solicitado a extrair os eventos três vezes para a mesma nota clínica.
   • Um algoritmo de votação majoritária foi aplicado para determinar os eventos e argumentos mais consistentes entre as três respostas, aumentando a robustez e a precisão.

4. Pós-processamento:

   • Correção de erros de posicionamento de caracteres (índices de texto) que o modelo pode gerar incorretamente.
   • Filtragem de eventos inválidos (ex: eventos sem o argumento obrigatório "status" ou com valores inválidos como "desconhecido").

3. Contribuições Principais

• Demonstração de Eficácia sem Fine-Tuning: Provaram que LLMs com capacidades de raciocínio, quando guiados por prompts otimizados, podem atingir desempenho competitivo na extração de SDOH sem a necessidade de ajuste fino (fine-tuning) em dados médicos específicos.
• Estratégia de Pipeline Otimizada: Identificaram que a combinação de diretrizes completas (em vez de resumos gerados por IA), 50 exemplos few-shot, autoconsistência e pós-processamento é a configuração ideal.
• Análise Comparativa: Compararam modelos proprietários de ponta (o4-mini, Gemini 2.5) com modelos open-source menores (Llama-3.1-8B), destacando as vantagens dos modelos de raciocínio avançado.
• Análise de Erros Detalhada: Identificaram que parte das "erros" do modelo eram, na verdade, discrepâncias de anotação (problemas de chave) ou extrações mais ricas do que as anotações de ouro, sugerindo que o desempenho real pode ser ainda melhor do que as métricas indicam.

4. Resultados

O método foi avaliado na tarefa compartilhada n2c2/UW de 2022, utilizando o corpus SHAC.

• Desempenho Geral:

  • O modelo OpenAI o4-mini alcançou um Micro-F1 de 0,866, posicionando-se entre os melhores times da competição n2c2/UW (superando equipes como a Microsoft e o Children's Hospital of Philadelphia).
  • O Gemini 2.5 Flash alcançou um Micro-F1 de 0,825 com custo significativamente menor.
  • O Llama-3.1-8B teve desempenho inferior (Micro-F1 de 0,591), falhando principalmente na adesão ao formato estruturado e na confusão entre exemplos e notas alvo.

• Desempenho por Categoria:

  • O o4-mini obteve os melhores resultados em Uso de Álcool (F1: 0,904) e Tabaco (F1: 0,892).
  • O desempenho foi mais baixo em Uso de Drogas (F1: 0,805), provavelmente devido à complexidade do esquema de anotação (múltiplos gatilhos, métodos e tipos).
  • O modelo apresentou maior precisão (Precision) do que todas as equipes líderes na competição.

• Estudos de Ablação:

  • Few-Shot: 50 exemplos foram ideais (F1 0,881), superando significativamente o cenário 0-shot (F1 0,786).
  • Autoconsistência: Aumentou o Micro-F1 de 0,842 para 0,903.
  • Pós-processamento: Adicionalmente elevou o Micro-F1 para 0,929 em subconjuntos de teste, demonstrando o valor crítico de cada módulo do pipeline.

5. Significado e Conclusão

O estudo conclui que LLMs com capacidades de raciocínio são soluções viáveis e superiores para a extração de SDOH, oferecendo:

1. Simplicidade de Implementação: Não requerem treinamento complexo ou grandes recursos computacionais para ajuste fino.
2. Generalização: São capazes de extrair informações de SDOH além do escopo original de treinamento, adaptando-se a novos tipos de eventos sem re-treinamento.
3. Escalabilidade: Podem ser atualizados continuamente conforme novos modelos de IA são lançados.

Apesar das limitações (como o uso de dados de apenas duas instituições e riscos potenciais de privacidade ao usar APIs comerciais), a metodologia proposta oferece um caminho promissor para integrar SDOH estruturados em fluxos de trabalho clínicos e de decisão, superando as barreiras de implementação dos modelos tradicionais baseados em BERT.