Curation and Extraction of Drug-Related Entities from Reddit Platform

Resumo Técnico: Curadoria e Extração de Entidades Relacionadas a Drogas da Plataforma Reddit

Declaração do Problema
Os médicos aprendem principalmente sobre drogas ilícitas por meio de casos clínicos de overdose, o que limita sua compreensão dos padrões de uso no mundo real, dos dosagens e dos efeitos. Por outro lado, os usuários de drogas frequentemente compartilham experiências de primeira mão em plataformas de mídia social como o Reddit, oferecendo insights sobre substâncias psicoativas novas (NPS) e terminologia vernacular que frequentemente divergem da linguagem médica formal. Embora estudos anteriores tenham utilizado mídias sociais para rastrear o uso de substâncias, há uma falta significativa de conjuntos de dados padronizados e curados que anotem não apenas os nomes das drogas, mas também as doses relatadas e os efeitos. Os conjuntos de dados existentes de Reconhecimento de Entidades Nomeadas (NER) são frequentemente limitados a substâncias específicas, baseiam-se em narrativas clínicas estruturadas em vez de texto não estruturado gerado por usuários, ou carecem de anotações para dosagem e efeitos adversos. Essa lacuna dificulta o desenvolvimento de modelos de Processamento de Linguagem Natural (NLP) capazes de fechar a divisão entre a terminologia clínica e o discurso online coloquial para identificar ameaças emergentes à saúde pública.

Metodologia
Para abordar esses desafios, os autores introduziram o REDOSE (REddit Drug DOSe and Effect), um conjunto de dados abrangente e um framework de benchmarking.

• Curadoria de Dados: O conjunto de dados compreende 6.435 documentos únicos coletados de sete subreddits relacionados a drogas (por exemplo, r/fentanyl, r/heroin, r/suboxone). Os dados foram extraídos usando a API do Reddit (praw), com metadados como nomes de usuário e geolocalização removidos para proteger a privacidade. Postagens duplicadas foram filtradas.
• Processo de Anotação: Um toxicologista médico certificado anotou os conjuntos de treinamento e teste, enquanto dois estudantes de ciências médicas anotaram o conjunto de validação. O esquema de anotação focou em três tipos de entidades:
  • DRUG: Drogas, vitaminas ou ervas (excluindo neurotransmissores).
  • DOSE: Quantidade e unidades da substância.
  • EFFECT: Mudanças no estado físico ou mental atribuídas à substância.
  • A concordância entre anotadores (IAA) foi calculada usando um método adaptado para documentos com múltiplas entidades, resultando em uma pontuação de 0,75.
• Desenvolvimento e Benchmarking de Modelos: O estudo avaliou três categorias de modelos:
  1. Modelos Baseados em BERT: BaseBERT, BioBERT e BiomedBERT ajustados finamente. Adicionalmente, camadas CRF e LSTM foram adicionadas ao BaseBERT e BioBERT para avaliar ganhos de desempenho.
  2. Modelos de Linguagem de Grande Escala (LLMs): GPT-4 e Llama-3 (variantes de 8B e 70B) foram testados usando prompt de um único exemplo (one-shot prompting).
  3. Geração Aumentada por Recuperação (RAG): Uma abordagem baseada em recuperação foi desenvolvida para LLMs extrair os 5 exemplos mais semelhantes do corpus de treinamento para anexar ao prompt, visando superar as limitações de exemplos estáticos de poucos exemplos (few-shot).
• Avaliação: As métricas incluíram precisão, recall e pontuações F1 em nível de span. Para LLMs, métricas em nível de documento foram usadas devido aos desafios de tokenização com doses numéricas.

Principais Resultados

• Estatísticas do Conjunto de Dados: O REDOSE contém 6.267 entidades anotadas (4.784 DRUG, 750 EFFECT, 733 DOSE) em 15.469 frases.
• Desempenho do BERT:
  • BiomedBERT alcançou a maior pontuação F1 para extração de DRUG (0,843) com alta precisão (0,907).
  • BaseBERT alcançou o maior recall para DRUG (0,873) e a maior pontuação F1 micro-média geral (0,826) entre as variantes BERT.
  • Extração de EFFECT: Todos os modelos baseados em BERT lutaram significativamente com a extração de EFFECT, com pontuações F1 variando de 0,043 (BiomedBERT) a 0,298 (BaseBERT). A adição de camadas CRF+LSTM melhorou ligeiramente as pontuações F1 de EFFECT (até 0,291 para BioBERT+CRF+LSTM), mas não superou significativamente modelos mais simples em outras categorias.
• Desempenho do LLM:
  • Llama-3 70B superou o GPT-4 na extração de DRUG (F1 = 0,79 vs. 0,72).
  • GPT-4 demonstrou desempenho superior na extração de EFFECT, alcançando um recall de 0,41 comparado ao 0,04 do Llama-3 70B, resultando na melhor pontuação F1 geral para EFFECT (0,12).
  • Impacto do RAG: A abordagem RAG melhorou significativamente o recall de extração de DRUG do Llama-3 8B (de 44% para 80%) e a pontuação F1 (de 0,55 para 0,75), embora os ganhos para a extração de EFFECT tenham sido modestos.
• Análise Comparativa: Ao contrário de algumas expectativas, modelos BERT ajustados finamente (especificamente BaseBERT) superaram os LLMs no recall geral e nas pontuações F1 para extração de drogas. Os autores atribuem isso ao alinhamento do texto gerado por usuários do Reddit com corpora de linguagem geral, em vez de jargão médico estrito.

Significado e Contribuições
O artigo afirma três contribuições principais:

1. Conjunto de Dados REDOSE: A introdução do primeiro conjunto de dados de seu tipo coletado de plataformas online com anotações detalhadas de drogas, doses e efeitos. Ele captura narrativas curadas por pacientes e termos vernáculos (por exemplo, "fent", "SEA #4") que frequentemente são perdidos pelos registros médicos formais, fornecendo um recurso para treinar modelos para detecção de substâncias emergentes.
2. Benchmarking: O estudo fornece uma comparação justa entre modelos BERT ajustados finamente tradicionais e LLMs modernos (tanto one-shot quanto baseados em RAG) para tarefas de NER médica em um contexto de mídia social.
3. Análise de Modelo: A pesquisa oferece uma análise profunda dos comportamentos dos modelos, destacando que, embora os LLMs possuam grandes bases de conhecimento, eles podem lutar com as distribuições de frequência específicas e definições estritas de limites necessárias para NER médica sem ajuste fino. Também identifica que modelos mais simples podem ser mais adequados para conteúdo gerado por usuários que se desvia da linguagem específica do domínio.

Os autores concluem que o REDOSE serve como um recurso crítico para avançar o NLP na pesquisa sobre uso de substâncias, permitindo a detecção de tendências emergentes e informando diretrizes de saúde pública, enquanto observam que trabalhos futuros devem abordar vieses no conjunto de dados e explorar a integração multimodal.