Leveraging Few-Shot Learning and Large Language Models for Analyzing Blood Pressure Variations Across Biological Sex from Scientific Literature

Resumen Técnico: Aprovechamiento del Aprendizaje de Pocos Disparos (Few-Shot Learning) y Modelos de Lenguaje de Gran Escala para el Análisis de las Variaciones de la Presión Arterial según el Sexo Biológico

Planteamiento del Problema
Los estándares y tecnologías actuales de monitoreo de la presión arterial (PA) se establecieron hace décadas, basándose frecuentemente en datos de poblaciones predominantemente blancas y genéticamente homogéneas. Estos estándares se aplican con frecuencia a nivel mundial sin ajustarse a factores demográficos individuales como el sexo biológico, la edad o la raza. En consecuencia, aunque las guías existentes ayudan a identificar pacientes en riesgo, carecen de precisión como biomarcadores para diagnosticar la severidad de la hipertensión o evaluar el riesgo de enfermedad cardiovascular (ECV) debido a la ausencia de consideraciones demográficas. Si bien la literatura científica contiene vastas cantidades de datos de PA recopilados de cohortes diversas, el análisis manual de miles de publicaciones para deducir distribuciones de población en toda la demografía es laborioso, propenso al error humano y carece de generalizabilidad.

Metodología
El estudio propone un marco para extraer automáticamente información relacionada con la PA, distinguiendo específicamente entre sexos biológicos, a partir de la literatura científica utilizando Procesamiento de Lenguaje Natural (NLP).

• Recopilación de Datos: Los autores construyeron un conjunto de datos a partir de PubMed Central (PMC), indexando más de 5,6 millones de manuscritos. Un proceso de recuperación de dos pasos utilizando un motor de búsqueda basado en Solr filtró los artículos basados en palabras clave relacionadas con la presión arterial, indicadores de sexo biológico (p. ej., masculino/femenino) y unidades de medida (p. ej., mmHg). Esto redujo el corpus a ~113.000 artículos, que luego fueron segmentados en párrafos. Se utilizó un modelo de cero disparos (zero-shot) para excluir párrafos irrelevantes, resultando en un subconjunto de 3.127 párrafos. De estos, 220 párrafos fueron anotados manualmente por un experto médico, con un subconjunto doblemente anotado por un experto en NLP para asegurar la calidad (Acuerdo Inter-Anotador Kappa de Cohen = 0,74). El conjunto de datos final comprendió 213 artículos, incluyendo 90 casos que reportaban valores de PA por sexo biológico.
• Formulación de la Tarea: El problema se definió como una tarea de extracción de información dirigida a 10 entidades específicas: el número de sujetos masculinos y femeninos ($N_{masculino}$, $N_{femenino}$), y la media y desviación estándar para la presión sistólica (PAS) y diastólica (PAD) para ambos sexos.
• Modelos Evaluados:
  1. Aprendizaje de Pocos Disparos (DANN): Un modelo que utiliza aumentación de datos combinada con un clasificador de vecino más cercano, entrenado en un conjunto de entrenamiento separado (80%) y evaluado en un conjunto de prueba independiente (20%) mediante validación cruzada de 5 pliegues (5-fold cross-validation).
  2. Modelos de Lenguaje de Gran Escala (Zero-Shot): Se probaron dos modelos sin ajuste fino (fine-tuning):
     • LLaMA3 (70 mil millones de parámetros): Un modelo de código abierto preentrenado en más de 15 billones de tokens.
     • GPT-3.5: Un modelo de código cerrado que potencia ChatGPT.
  • Ingeniería de Prompts: Los prompts se diseñaron para pedir explícitamente a los modelos que señalaran si entidades específicas (media/desviación estándar para hombres/mujeres) estaban presentes en el texto para mitigar las alucinaciones. Si el modelo fallaba al señalar la presencia de una entidad, el valor correspondiente se trataba como faltante.
• Análisis: Los datos extraídos se utilizaron para generar mapas de calor y diagramas de contorno utilizando Modelos de Mezcla Gaussiana (GMM) para visualizar las distribuciones de la PA a través de los sexos.

Resultos Clave

• Desempeño de los Modelos:
  • LLaMA3 demostró un desempeño superior con un F1 score de 0,85 (±0,00) a nivel de sistema. Logró una alta precisión (0,87) y exhaustividad/recuperación (0,84) en todas las entidades, con desviaciones estándar de las métricas cercanas a cero, lo que indica una alta consistencia.
  • GPT-3.5 alcanzó un desempeño moderado con un F1 score de 0,67 (±0,04). Aunque mostró una alta precisión (0,86), su exhaustividad/recuperación (0,55) fue significativamente menor que la de LLaMA3.
  • DANN (Few-Shot) exhibió un bajo desempeño con un F1 score promedio de 0,30 (±0,01), teniendo dificultades particularmente con la precisión (0,34) y la exhaustividad/recuperación (0,28).
• Análisis de Variación de la PA: Los diagramas de contorno generados a partir de los datos extraídos indicaron que los hombres tienden a exhibir valores de PA más altos que las mujeres, un hallazgo consistente con estudios previos a nivel poblacional.

Significancia y Reivindicaciones
El artículo afirma ser el primer estudio en aplicar Modelos de Lenguaje de Gran Escala para extraer información cuantitativa relacionada con la PA de la literatura biomédica a gran escala y vincularla al sexo biológico. Las contribuciones primarias son:

1. Viabilidad de la Extracción de Cero Disparos (Zero-Shot): El estudio demuestra que los LLM de cero disparos (específicamente LLaMA3) pueden extraer de manera confiable información de la PA y del sexo biológico a nivel poblacional de la literatura clínica, superando a los sistemas tradicionales de extracción de información de pocos disparos (como DANN) en este contexto.
2. Escalabilidad: El enfoque proporciona un marco escalable para analizar las diferencias demográficas en la PA sin la necesidad de desarrollar modelos específicos para la tarea o realizar un ajuste especializado en el dominio.
3. Abordaje del Sesgo Demográfico: Al automatizar la recuperación de datos específicos por sexo, el método apoya la creación de rangos de referencia de PA más personalizados, mejorando potencialmente la precisión del diagnóstico de la hipertensión y la estratificación del riesgo.
4. Utilidad en la Investigación Biomédica: Los resultados resaltan la utilidad más amplia de los LLM para abordar desafíos similares en la investigación biomédica, ofreciendo un plano para aplicar el NLP en la extracción de mediciones vitales de la literatura científica.

Los autores enfatizan que, si bien este estudio se centró en el sexo biológico, la metodología es aplicable a otros factores demográficos y signos vitales, aunque reconocen limitaciones respecto a la exclusión de otras variables de confusión (p. ej., edad, raza) y la dependencia de estadísticas de media/desviación estándar.