Curation and Extraction of Drug-Related Entities from Reddit Platform

Resumen Técnico: Curación y Extracción de Entidades Relacionadas con Drogas de la Plataforma Reddit

Enunciado del Problema
Los médicos aprenden principalmente sobre drogas ilícitas a través de casos clínicos de sobredosis, lo que limita su comprensión de los patrones de uso en el mundo real, las dosis y los efectos. Por el contrario, los usuarios de drogas comparten frecuentemente experiencias de primera mano en plataformas de redes sociales como Reddit, ofreciendo información sobre sustancias psicoactivas nuevas (NPS) y terminología vernácula que a menudo se desvía del lenguaje médico formal. Aunque estudios anteriores han utilizado redes sociales para rastrear el consumo de sustancias, existe una carencia significativa de conjuntos de datos estandarizados y curados que anoten no solo los nombres de las drogas, sino también las dosis reportadas y los efectos. Los conjuntos de datos existentes de Reconocimiento de Entidades Nombradas (NER) suelen limitarse a sustancias específicas, dependen de narrativas clínicas estructuradas en lugar de texto generado por usuarios no estructurado, o carecen de anotaciones para dosis y efectos adversos. Esta brecha obstaculiza el desarrollo de modelos de Procesamiento del Lenguaje Natural (NLP) capaces de cerrar la división entre la terminología clínica y el discurso coloquial en línea para identificar amenazas emergentes de salud pública.

Metodología
Para abordar estos desafíos, los autores introdujeron REDOSE (REddit Drug DOSe and Effect), un conjunto de datos integral y un marco de referencia.

• Curación de Datos: El conjunto de datos comprende 6.435 documentos únicos recopilados de siete subreddits relacionados con drogas (por ejemplo, r/fentanyl, r/heroin, r/suboxone). Los datos se extrajeron utilizando la API de Reddit (praw), eliminando metadatos como nombres de usuario y geolocalización para proteger la privacidad. Se filtraron publicaciones duplicadas.
• Proceso de Anotación: Un toxicólogo médico certificado por la junta anotó los conjuntos de entrenamiento y prueba, mientras que dos estudiantes de ciencias médicas anotaron el conjunto de validación. El esquema de anotación se centró en tres tipos de entidades:
  • DRUG (DROGA): Drogas, vitaminas o hierbas (excluyendo neurotransmisores).
  • DOSE (DOSIS): Cantidad y unidades de la sustancia.
  • EFFECT (EFECTO): Cambios en el estado físico o mental atribuidos a la sustancia.
  • La concordancia entre anotadores (IAA) se calculó utilizando un método adaptado para documentos con múltiples entidades, obteniendo una puntuación de 0,75.
• Desarrollo y Evaluación de Modelos: El estudio evaluó tres categorías de modelos:
  1. Modelos basados en BERT: Se ajustaron finamente BaseBERT, BioBERT y BiomedBERT. Además, se añadieron capas CRF y LSTM a BaseBERT y BioBERT para evaluar las ganancias de rendimiento.
  2. Modelos de Lenguaje Grande (LLM): Se probaron GPT-4 y Llama-3 (variantes de 8B y 70B) utilizando la técnica de prompting de un solo ejemplo (one-shot).
  3. Generación Aumentada por Recuperación (RAG): Se desarrolló un enfoque basado en recuperación para LLMs para extraer los 5 ejemplos más similares del corpus de entrenamiento y añadirlos al prompt, con el objetivo de superar las limitaciones de los ejemplos estáticos de pocos ejemplos.
• Evaluación: Las métricas incluyeron precisión, recuperación y puntuaciones F1 a nivel de fragmento. Para los LLM, se utilizaron métricas a nivel de documento debido a los desafíos de tokenización con dosis numéricas.

Resultados Clave

• Estadísticas del Conjunto de Datos: REDOSE contiene 6.267 entidades anotadas (4.784 DRUG, 750 EFFECT, 733 DOSE) a través de 15.469 oraciones.
• Rendimiento de BERT:
  • BiomedBERT logró la puntuación F1 más alta para la extracción de DRUG (0,843) con una alta precisión (0,907).
  • BaseBERT logró la mayor recuperación para DRUG (0,873) y la puntuación F1 micro-promediada general más alta (0,826) entre las variantes de BERT.
  • Extracción de EFFECT: Todos los modelos basados en BERT tuvieron dificultades significativas con la extracción de EFFECT, con puntuaciones F1 que oscilaron entre 0,043 (BiomedBERT) y 0,298 (BaseBERT). La adición de capas CRF+LSTM mejoró ligeramente las puntuaciones F1 de EFFECT (hasta 0,291 para BioBERT+CRF+LSTM), pero no superó significativamente a los modelos más simples en otras categorías.
• Rendimiento de LLM:
  • Llama-3 70B superó a GPT-4 en la extracción de DRUG (F1 = 0,79 frente a 0,72).
  • GPT-4 demostró un rendimiento superior en la extracción de EFFECT, logrando una recuperación de 0,41 en comparación con el 0,04 de Llama-3 70B, resultando en la mejor puntuación F1 general para EFFECT (0,12).
  • Impacto de RAG: El enfoque RAG mejoró significativamente la recuperación de extracción de DRUG de Llama-3 8B (del 44% al 80%) y su puntuación F1 (de 0,55 a 0,75), aunque las ganancias para la extracción de EFFECT fueron modestas.
• Análisis Comparativo: Contrario a algunas expectativas, los modelos BERT ajustados finamente (específicamente BaseBERT) superaron a los LLM en la recuperación general y las puntuaciones F1 para la extracción de drogas. Los autores atribuyen esto a la alineación del texto generado por usuarios de Reddit con corpus de lenguaje general en lugar de jerga médica estricta.

Significado y Contribuciones
El artículo afirma tres contribuciones principales:

1. Conjunto de Datos REDOSE: La introducción del primer conjunto de datos de su tipo recopilado de plataformas en línea con anotaciones detalladas de drogas, dosis y efectos. Captura narrativas curadas por pacientes y términos vernáculos (por ejemplo, "fent", "SEA #4") que a menudo se pasan por alto en los registros médicos formales, proporcionando un recurso para entrenar modelos para la detección de sustancias emergentes.
2. Evaluación: El estudio proporciona una comparación justa entre los modelos BERT ajustados finamente tradicionales y los LLM modernos (tanto de un solo ejemplo como basados en RAG) para tareas de NER médica en un contexto de redes sociales.
3. Análisis de Modelos: La investigación ofrece un análisis profundo de los comportamientos de los modelos, destacando que, aunque los LLM poseen grandes bases de conocimiento, pueden tener dificultades con las distribuciones de frecuencia específicas y las definiciones estrictas de límites requeridas para el NER médico sin ajuste fino. También identifica que los modelos más simples pueden ser más adecuados para el contenido generado por usuarios que se desvía del lenguaje específico del dominio.

Los autores concluyen que REDOSE sirve como un recurso crítico para avanzar en el NLP en la investigación del consumo de sustancias, permitiendo la detección de tendencias emergentes y la información de las directrices de salud pública, mientras señalan que el trabajo futuro debe abordar los sesgos del conjunto de datos y explorar la integración multimodal.