Extracting patient reported cannabis use and reasons for use from electronic health records: a benchmarking study of large language models

Este estudo de benchmarking demonstra que é viável extrair com alta precisão o status e os motivos do uso de cannabis de registros eletrônicos de saúde de pacientes com doenças reumáticas autoimunes, utilizando uma combinação de modelos de linguagem clínica ajustados e classificadores baseados em grandes modelos de linguagem.

O essencial

Imagine que os prontuários médicos (os cadernos digitais onde os médicos anotam tudo o que acontece com o paciente) são como bibliotecas gigantes e bagunçadas. Nesses livros, há milhões de páginas escritas à mão (ou digitadas de forma livre) sobre como os pacientes se sentem, o que tomam e como lidam com suas dores.

O problema é que, para um computador, ler essas páginas é como tentar encontrar uma agulha num palheiro, especialmente quando o assunto é cannabis. Os médicos escrevem de formas diferentes: alguns dizem "o paciente usa maconha", outros "o paciente fuma erva", e alguns negam o uso.

Os pesquisadores deste estudo queriam criar um super-robô de leitura (chamado de Modelo de Linguagem ou LLM) capaz de entrar nessa biblioteca gigante, ler milhões de anotações e responder duas perguntas simples:

1. O paciente usa cannabis? (Sim, não, usava antes ou nunca usou?)
2. Por que ele usa? (Para dor, para dormir, para ansiedade, etc.?)

Aqui está como eles fizeram isso, explicado de forma simples:

1. A Missão: Encontrar o Tesouro Escondido

Os cientistas tinham um monte de dados de pacientes com doenças reumáticas (dores nas juntas e autoimunes). Eles precisavam saber quem usava cannabis e por quê, mas fazer isso manualmente seria como tentar ler todos os livros da biblioteca em uma vida inteira. Eles precisavam de automação.

2. Os "Robôs" em Competição

Eles testaram vários tipos de "robôs" (Inteligências Artificiais) para ver qual era o melhor:

• Os "Generalistas": Robôs que leram de tudo na internet (como o GPT, Gemini e Llama). Eles são inteligentes, mas às vezes se perdem em detalhes médicos específicos.
• O "Especialista Treinado": Um robô chamado GatorTron que foi "treinado" especificamente com textos médicos. Pense nele como um médico residente que leu apenas livros de medicina.

3. O Grande Teste: Quem é o Melhor?

Eles deram um desafio para os robôs e compararam os resultados:

• Desafio 1: "Ele usa ou não usa?" (Classificação Simples)

  • Resultado: O Especialista Treinado (GatorTron) venceu de lavada.
  • Analogia: É como pedir para alguém dizer se uma fruta é uma maçã ou uma laranja. O especialista, que já viu milhares de frutas, acerta quase 100% das vezes. Os robôs generalistas, embora inteligentes, às vezes confundem as cores.
  • Aprendizado: Para tarefas diretas e específicas, um modelo menor e treinado é mais rápido e preciso.

• Desafio 2: "Por que ele usa?" (Classificação Complexa)

  • Resultado: O Generalista (GPT-OSS-20B) venceu.
  • Analogia: Agora, imagine pedir para explicar por que a pessoa está comendo a fruta. Ela pode estar com fome, querendo fazer um bolo, ou porque gosta do cheiro. Isso exige entender o contexto, a história e as nuances. O robô generalista, que leu de tudo na internet, é melhor em entender essa "história" e o motivo por trás da ação do que o especialista focado apenas em rótulos.
  • Aprendizado: Para entender o "porquê" e o contexto emocional ou social, os robôs gigantes e generalistas são melhores.

4. O Que Eles Descobriram na Biblioteca?

Depois de escolher os melhores robôs para cada tarefa, eles leram os dados de 2015 a 2024 e descobriram coisas interessantes:

• O uso está crescendo: Cada vez mais pacientes relatam usar cannabis.
• O motivo principal é a dor: A maioria usa para aliviar a dor das doenças nas juntas.
• O segundo motivo é o sono: Nos últimos anos, o uso para dormir aumentou muito.
• A dor é real: Pacientes que usam cannabis geralmente relatam ter mais dor do que os que não usam (o que faz sentido: quem tem mais dor, busca mais alívio).

5. A Lição Final (O "Pulo do Gato")

O estudo nos ensina uma lição valiosa sobre Inteligência Artificial na medicina: Não existe um "robô universal" perfeito.

• Se você quer saber se algo aconteceu (como um diagnóstico ou uso de remédio), use um especialista treinado (mais barato, mais rápido e preciso).
• Se você quer entender o motivo ou a história complexa por trás de algo, use um robô generalista gigante (que entende melhor o contexto).

Resumo da Ópera:
Os pesquisadores criaram um sistema inteligente que consegue ler milhões de prontuários médicos e nos dizer quem usa cannabis e por quê, sem precisar de um humano lendo cada página. Isso ajuda a entender melhor como os pacientes lidam com suas dores e pode ajudar médicos a tomar decisões melhores no futuro, tudo isso usando a "mágica" da Inteligência Artificial certa para a tarefa certa.

Resumo técnico

Resumo Técnico: Extração de Uso de Cannabis e Motivos Relatados por Pacientes em Prontuários Eletrônicos de Saúde

Título Original: Extracting patient reported cannabis use and reasons for use from electronic health records: a benchmarking study of large language models.
Autores: Wang, Yiyu et al. (Stanford University, Emory University, etc.)
Fonte: Preprint medRxiv (2026)

1. Problema e Motivação

As doenças reumáticas autoimunes (ARDs) são frequentemente acompanhadas por dor crônica e incapacidade funcional. O uso de cannabis tem emergido como uma abordagem adjunta para o manejo da dor nessas populações. No entanto, a maioria das informações sobre o uso de cannabis pelos pacientes está contida em textos não estruturados dentro dos Prontuários Eletrônicos de Saúde (EHRs), tornando-a inacessível para análises em larga escala.

Abordagens anteriores baseadas em regras ou léxicos são difíceis de manter e escalar devido à variabilidade na documentação clínica. Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam novas oportunidades para extração de informações, existem lacunas críticas:

• Falta de avaliação sistemática da eficácia de LLMs na identificação de uso de cannabis e seus contextos clínicos.
• Pouca documentação empírica sobre como o desempenho dos LLMs varia entre diferentes estratégias de prompting e parâmetros de decodificação (temperatura).
• Debate sobre a superioridade de modelos gerais versus modelos pré-treinados especificamente para o domínio clínico.

2. Metodologia

Design do Estudo e Dados

• Tipo: Estudo observacional retrospectivo.
• Fonte de Dados: Prontuários eletrônicos de um centro médico acadêmico terciário (2015–2024).
• População: Pacientes com ≥18 anos com doenças reumáticas autoimunes (ARDs) confirmadas (ex: Artrite Reumatoide, Lúpus, Espondilite Anquilosante).
• Pré-processamento:
  • Filtragem de notas usando correspondência de strings difusa (fuzzy string matching) contra um léxico de palavras-chave de cannabis (limiar de similaridade ≥90).
  • Extração de janelas de contexto de 50 palavras (±25 palavras do termo correspondente).
  • Resultado: 43.689 snippets (fragmentos de texto) relevantes de 3.244 pacientes.

Anotação e Padrão de Referência

Dois especialistas do domínio anotaram manualmente os dados para criar um padrão de referência:

1. Status de Uso (831 snippets): 4 classes (Não é menção real/incierto, Negação de uso, Uso passado positivo, Uso atual positivo).
2. Motivo de Uso (1.027 snippets): 6 classes (Dor, Náusea, Sono, Ansiedade/Stress/Humor, Apetite, Não mencionado/desconhecido).

Modelos e Estratégias de Avaliação

O estudo comparou cinco modelos de linguagem:

• Domínio Geral: Gemini-2.0, LLaMA-3.1, GPT-OSS-20B.
• Domínio Clínico: MedGemma-4B, GatorTron (345M parâmetros).

Estratégias Testadas:

• Inferência baseada em Prompt: Avaliação de 8 estratégias de prompt (zero-shot, few-shot, raciocínio estruturado, verificação em etapas) e ajuste de temperatura (0.0 a 1.0).
• Ajuste Fino (Fine-tuning): O modelo GatorTron foi ajustado supervisionadamente para a tarefa de classificação de status de uso, utilizando otimização Bayesiana (Optuna) para hiperparâmetros.

Métricas de Avaliação: Precisão, Recall, F1-score e Acurácia em um conjunto de teste retido (held-out), com intervalos de confiança calculados via bootstrapping.

3. Resultados Principais

Desempenho na Classificação de Status de Uso

• Melhor Modelo: O modelo GatorTron ajustado finamente superou todos os modelos generativos.
  • Acurácia: 0,90 | F1: 0,91 | Recall: 0,90 | Precisão: 0,90.
• Modelos Generativos: O gpt-oss-20B foi o melhor entre os modelos generativos, mas não superou o GatorTron ajustado.
• Observação: Temperaturas mais baixas (0,0–0,3) resultaram em maior reprodutibilidade e estabilidade. Nenhuma estratégia de prompt foi universalmente superior; o desempenho dependeu do modelo específico.

Desempenho na Classificação de Motivos de Uso

• Melhor Modelo: O gpt-oss-20B (modelo generativo) superou os outros, incluindo o GatorTron ajustado.
  • Acurácia: 0,77 | F1: 0,77 | Precisão: 0,86.
  • Configuração ótima: Estratégia de "verificação em múltiplos passos" com temperatura 0,3.
• Desempenho do GatorTron: O modelo ajustado teve desempenho inferior (F1 ~0,55) nesta tarefa, sugerindo que a complexidade semântica e o contexto narrativo dos motivos exigem a capacidade de raciocínio mais ampla dos LLMs generativos.

Insights Clínicos Gerados

Aplicando o pipeline ao conjunto de dados em larga escala (n=5.580 pacientes):

• Tendência Temporal: O uso relatado de cannabis aumentou de 7,4% em 2015 para 13,0% em 2024.
• Subgrupos: Pacientes com Artrite Reumatoide (RA) tiveram a maior prevalência de uso; Espondilite Anquilosante (AS) a menor.
• Motivos: A dor permaneceu o motivo predominante ao longo de 10 anos. Motivos relacionados ao sono aumentaram ao longo do tempo, tornando-se o segundo motivo mais frequente a partir de 2022.
• Correlação com Dor: Até 2022, usuários relataram pontuações de dor mais altas que não-usuários. A partir de 2023, essa tendência inverteu-se, com não-usuários relatando dores ligeiramente maiores.

4. Contribuições Chave

1. Benchmarking Empírico: Fornece uma comparação direta entre modelos de domínio geral e clínico, demonstrando que o tamanho do modelo não garante superioridade universal; o desempenho é dependente da tarefa.
2. Estratégia Híbrida Otimizada: Propõe um fluxo de trabalho onde modelos menores ajustados finamente (como GatorTron) são ideais para extração estruturada (status), enquanto LLMs generativos grandes (como gpt-oss-20B) são superiores para extração contextual complexa (motivos).
3. Validação de Temperatura e Prompt: Demonstra que a engenharia de prompts não é transferível entre arquiteturas e que temperaturas baixas são cruciais para estabilidade em tarefas clínicas.
4. Escala e Reprodutibilidade: Cria um pipeline escalável para fenotipagem de uso de substâncias em grandes coortes de EHRs, permitindo estudos observacionais que antes eram inviáveis manualmente.

5. Significado e Implicações

Este estudo valida a viabilidade de usar IA para extrair comportamentos de autogestão de sintomas (uso de cannabis) de textos clínicos não estruturados. As descobertas sugerem que:

• Para tarefas de classificação bem definidas com dados anotados disponíveis, a adaptação de domínio de modelos menores é mais eficiente em termos computacionais e robusta.
• Para tarefas semânticamente heterogêneas, os LLMs generativos oferecem vantagens significativas.
• A abordagem permite a geração de evidências do mundo real sobre padrões de uso de cannabis em doenças crônicas, apoiando tanto a pesquisa observacional quanto o potencial desenvolvimento de suporte à decisão clínica.

Limitações Notadas: A documentação clínica não é padronizada (subnotificação potencial), a extração baseada em snippets pode perder contexto narrativo mais amplo e a validação externa em outros sistemas de saúde é necessária.