Extracting patient reported cannabis use and reasons for use from electronic health records: a benchmarking study of large language models

Este estudio de benchmarking demuestra que es posible extraer con alta precisión el estado y las razones del consumo de cannabis de notas clínicas no estructuradas en pacientes con enfermedades reumáticas autoinmunes mediante la combinación de modelos de lenguaje clínico ajustados y clasificadores basados en grandes modelos de lenguaje.

Lo esencial

¡Imagina que los historiales médicos de los hospitales son como bibliotecas gigantescas y desordenadas! 📚🏥

En esta biblioteca, hay millones de libros (las notas de los médicos) escritos a mano o a máquina, donde los doctores anotan todo lo que les cuentan sus pacientes. El problema es que la mayoría de esta información está "escondida" en medio de párrafos largos y confusos. Si quieres saber cuánta gente usa cannabis para aliviar el dolor de sus enfermedades reumáticas, tendrías que leer millones de páginas una por una. ¡Imposible para un humano!

Aquí es donde entran los Modelos de Lenguaje Grande (LLM), que podemos imaginar como detectives robóticos superinteligentes 🤖🕵️‍♂️.

¿Qué hicieron los investigadores?

Los autores de este estudio (un equipo de científicos de Stanford y Emory) querían ver qué tan buenos eran estos "detectives robóticos" para leer las notas médicas y encontrar dos cosas:

1. ¿El paciente usa cannabis? (Sí, no, o lo usó antes).
2. ¿Por qué lo usa? (¿Para el dolor? ¿Para dormir? ¿Para la ansiedad?).

Para probarlos, crearon un "examen" con notas reales de pacientes con enfermedades autoinmunes (como artritis o lupus).

La carrera de los robots 🏁

En esta carrera, probaron diferentes tipos de robots:

• Los "Generalistas": Robots que saben de todo (como GPT, Gemini o LLaMA). Son como estudiantes universitarios brillantes que han leído toda internet.
• Los "Especialistas Médicos": Robots que han estudiado medicina específicamente (como GatorTron). Son como médicos residentes que han leído miles de historiales clínicos.

El resultado de la carrera:

1. Para saber "SI o NO" (Uso de cannabis):
   El ganador fue el Especialista Médico (GatorTron).

   • La analogía: Imagina que tienes que encontrar una aguja en un pajar. El especialista médico, que conoce el lenguaje de los doctores, encontró la aguja casi perfecto (90% de precisión). Los generalistas, aunque inteligentes, a veces se confundían con el jerga médica.

2. Para saber "POR QUÉ" (Razones de uso):
   Aquí ganó el Generalista (GPT-OSS-20B).

   • La analogía: Preguntar "¿Por qué?" es más difícil. Es como leer entre líneas. El generalista es mejor entendiendo el contexto, las emociones y las historias complejas que los pacientes cuentan. El especialista médico a veces se quedaba corto porque solo buscaba palabras clave, no el "sentimiento" detrás de la frase.

¿Qué descubrieron al leer las notas? (Los hallazgos)

Una vez que los robots leyeron millones de notas, los investigadores sacaron conclusiones fascinantes sobre la realidad de los pacientes entre 2015 y 2024:

• El uso está subiendo: Cada año, más pacientes mencionan usar cannabis. Pasó del 7% al 13% en una década. 📈
• El dolor es el rey: La razón #1 para usarlo sigue siendo el dolor. Es como si el cannabis fuera el "anillo de poder" que los pacientes buscan para controlar su sufrimiento.
• El sueño es el nuevo rey: Desde 2022, la gente también lo usa mucho para dormir. 🌙
• La paradoja del dolor: Curiosamente, al principio, los que usaban cannabis tenían más dolor que los que no lo usaban. Pero en los últimos años, esa diferencia se invirtió. Esto no significa que el cannabis cure el dolor mágicamente, sino que muestra una relación compleja: quizás los que tienen más dolor prueban el cannabis, o quizás el cannabis ayuda a algunos pero no a todos.

¿Por qué es importante esto?

Este estudio es como un mapa del tesoro para la medicina moderna. 🗺️

Nos enseña que no siempre necesitamos el robot más grande y costoso para todo.

• Si quieres saber hechos simples (¿Usa cannabis?), un robot médico entrenado y pequeño es más rápido, barato y preciso.
• Si quieres entender historias complejas (¿Por qué lo usa?), necesitas el robot generalista más grande.

En resumen:
Los investigadores crearon una herramienta que puede leer millones de notas médicas en segundos para entender cómo los pacientes con enfermedades crónicas se cuidan a sí mismos. Esto ayuda a los médicos a ver el panorama completo y a los científicos a investigar mejor, sin tener que perder años leyendo papel por papel. ¡Es como tener una linterna mágica en una biblioteca oscura! 🔦✨

Resumen técnico

A continuación presento un resumen técnico detallado del estudio en español, basado en el documento proporcionado.

Título del Estudio

Extracción del uso de cannabis reportado por pacientes y las razones de su uso a partir de registros electrónicos de salud (EHR): un estudio de referencia de modelos de lenguaje grandes (LLM).

---

1. Planteamiento del Problema

Las enfermedades reumáticas autoinmunes (ARD) se asocian frecuentemente con dolor crónico y discapacidad funcional. El cannabis ha surgido como un enfoque adjunto potencial para el manejo del dolor en estas poblaciones. Sin embargo, la información sobre el uso de cannabis en los registros electrónicos de salud (EHR) se encuentra principalmente en texto clínico no estructurado (notas narrativas).

• Limitaciones actuales: Los métodos tradicionales de Procesamiento de Lenguaje Natural (NLP) basados en reglas o léxicos son difíciles de mantener a gran escala y carecen de flexibilidad ante variaciones en la documentación clínica.
• Brecha de investigación: Existe una falta de evaluación sistemática sobre la fiabilidad, generalización y comportamiento de los Modelos de Lenguaje Grandes (LLM) en tareas clínicas específicas, como la distinción entre modelos generales y aquellos preentrenados en dominio clínico, así como el impacto de las estrategias de prompting y la temperatura de decodificación.

2. Metodología

Diseño y Datos

• Estudio: Observacional retrospectivo realizado en un centro médico académico terciario (Stanford).
• Cohorte: Pacientes ≥18 años con ARD (artritis reumatoide, lupus, espondilitis anquilosante, etc.) tratados entre 2015 y 2024.
• Datos: Más de 2 millones de notas clínicas. Se extrajeron fragmentos de texto (snippets) de 50 palabras (±25 palabras alrededor de la coincidencia) utilizando coincidencia difusa (fuzzy string matching) contra un léxico de cannabis con umbral de similitud del 90%.
• Conjunto de datos:
  • Entrenamiento/Desarrollo: 791 notas.
  • Validación/Prueba: 40 notas.
  • Conjunto retenido (Held-out): 42,858 notas para aplicación a gran escala.
• Annotación: Dos expertos del dominio etiquetaron manualmente dos conjuntos de datos de referencia:
  1. Estado de uso (831 fragmentos): 4 clases (no es un uso real/duda, negación, uso pasado, uso actual).
  2. Razón de uso (1,027 fragmentos): 6 clases (dolor, náuseas, sueño, ansiedad/estrés, apetito, no mencionado/desconocido).

Modelos y Estrategias Evaluadas

Se compararon cinco modelos de lenguaje bajo diferentes configuraciones:

• Modelos de Dominio General: Gemini-2.0, LLaMA-3.1, GPT-OSS-20B.
• Modelos de Dominio Clínico: MedGemma-4B, GatorTron (345M parámetros).
• Estrategias: Se probaron ocho estrategias de prompting (desde zero-shot hasta few-shot) y un rango de temperaturas de decodificación (0.0 a 1.0).
• Ajuste Fino (Fine-tuning): Se realizó un ajuste fino supervisado del modelo GatorTron para la clasificación de estado de uso, optimizando hiperparámetros mediante optimización bayesiana (Optuna).

Métricas de Evaluación

Se utilizaron precisión, recall, F1-score y exactitud (accuracy) en el nivel de fragmento, con intervalos de confianza del 95% estimados mediante bootstrapping.

---

3. Contribuciones Clave

1. Benchmarking Sistemático: Proporciona una evaluación empírica comparativa de modelos LLM generales vs. clínicos para la extracción de fenotipos de cannabis en EHR.
2. Análisis de Dependencia de la Tarea: Demuestra que el rendimiento óptimo depende de la complejidad semántica de la tarea (clasificación estructurada vs. inferencia contextual).
3. Pipeline Escalable: Desarrolla y valida un flujo de trabajo reproducible para extrair no solo el estado de uso, sino también las razones clínicas subyacentes a gran escala.
4. Insights Clínicos Reales: Genera tendencias temporales y características demográficas de pacientes con ARD que usan cannabis, basándose en datos del mundo real extraídos de notas no estructuradas.

---

4. Resultados

Clasificación del Estado de Uso (Cannabis Use Status)

• Mejor Modelo: El modelo GatorTron ajustado fino superó a todos los modelos generativos.
  • Exactitud: 0.90
  • F1-score: 0.91
  • Recall: 0.90
  • Precisión: 0.90
• Hallazgo: Para tareas de clasificación estructurada con etiquetas claras, los modelos de transformadores clínicos más pequeños y ajustados finamente son más eficientes y precisos que los LLMs generativos grandes.

Clasificación de la Razón de Uso (Reason for Use)

• Mejor Modelo: El modelo generativo GPT-OSS-20B (con estrategia de verificación multietapa y temperatura 0.3) obtuvo el mejor rendimiento.
  • Exactitud: 0.77
  • F1-score: 0.77
  • Precisión: 0.86
• Hallazgo: Para tareas semánticamente complejas y dependientes del contexto (inferir motivos narrativos), los LLMs generativos grandes muestran ventajas sobre los modelos de clasificación supervisada.

Tendencias Clínicas y Demográficas (2015-2024)

• Prevalencia: El uso de cannabis reportado aumentó de un 7.4% en 2015 a un 13.0% en 2024.
• Subgrupos: Los pacientes con Artritis Reumatoide (RA) mostraron la prevalencia más alta y en crecimiento; los de Espondilitis Anquilosante (AS) la más baja.
• Razones: El dolor fue la razón predominante a lo largo de la década. Las razones relacionadas con el sueño aumentaron con el tiempo, convirtiéndose en la segunda razón más frecuente a partir de 2022.
• Dolor vs. Uso: Hasta 2022, los usuarios reportaron puntuaciones de dolor más altas que los no usuarios. A partir de 2023, esta tendencia se invirtió ligeramente.
• Comorbilidad: No hubo diferencias significativas en el índice de comorbilidad de Charlson entre usuarios y no usuarios, pero los usuarios tenían un mayor recuento total de medicamentos.

Rendimiento Computacional

• GPT-OSS-20B requirió ~21.9 GB de VRAM por GPU y un tiempo de procesamiento de ~8.9 segundos por lote (8 fragmentos).
• GatorTron ajustado fino demostró ser una alternativa más eficiente en recursos para tareas de clasificación binaria/multiclase estructurada.

---

5. Significado e Implicaciones

• Estrategia de Despliegue Híbrida: El estudio sugiere que no existe un modelo "universalmente superior". La estrategia óptima es dependiente de la tarea:
  • Usar modelos ajustados finamente (fine-tuned) para tareas de extracción estructurada y definidas (ej. estado de uso) debido a su eficiencia y alto rendimiento.
  • Usar LLMs generativos grandes para tareas que requieren razonamiento contextual profundo y extracción de motivos implícitos.
• Investigación Observacional: Este enfoque permite la medición escalable de estrategias de autogestión de síntomas en poblaciones crónicas, apoyando la investigación observacional y potencialmente la toma de decisiones clínicas.
• Limitaciones: Se reconoce que la documentación clínica no está estandarizada (posible subregistro), el desequilibrio de clases afecta las métricas y los resultados son observacionales (no causales). Se requiere validación externa en otros sistemas de salud.

En conclusión, el estudio valida que la combinación de modelos clínicos ajustados finamente y LLMs generativos permite una extracción precisa y escalable de fenotipos de uso de cannabis, transformando datos no estructurados en información clínica accionable para la investigación en enfermedades reumáticas.