Automated Meta-Analysis of Transcranial Magnetic Stimulation Based on GraphRAG: A Methodology Study

Resumen Técnico: Metaanálisis Automatizado de Estimulación Magnética Transcraneal Basado en GraphRAG

Planteamiento del Problema
La eficacia terapéutica de la Estimulación Magnética Transcraneal (EMT) depende altamente de parámetros de estimulación específicos (p. ej., frecuencia, intensidad, sitio). Sin embargo, diferentes combinaciones de parámetros para una misma enfermedad suelen arrojar resultados clínicos heterogéneos, lo que requiere una síntesis de evidencia cuantitativa mediante metaanálisis para optimizar los protocolos. El metaanálisis tradicional consume muchos recursos, requiriendo meses de labor manual por parte de múltiples expertos para extraer datos de la literatura no estructurada, y es propenso al error humano y a la dificultad de actualizarse con la nueva literatura. Aunque los Modelos de Lenguaje Extensos (LLM) muestran potencial para la extracción de información de textos, carecen de capacidades de recuperación dinámica y están limitados por sus fechas de corte de entrenamiento. Además, los sistemas de Generación Aumentada por Recuperación (RAG) convencionales, que recuperan fragmentos de texto, no logran satisfacer los requisitos de agregación de datos estructurados propios de un metaanálisis, ya que no pueden mantener asociaciones sistemáticas entre entidades médicas (p. ej., métodos de tratamiento, medidas de resultado) a través de múltiples artículos.

Metodología
El estudio propone un flujo de trabajo metodológico basado en GraphRAG que comprende tres etapas centrales: extracción de parámetros, construcción del grafo de conocimiento y consulta multinivel.

1. Extracción de Parámetros (Procesamiento de Texto Largo):

   • Estrategia de Fragmentación (Chunking): Para abordar las limitaciones de la ventana de contexto de los LLM y el problema de "pérdida en el medio" (lost-in-the-middle), los autores emplean una estrategia de fragmentación de texto basada en títulos combinada con un algoritmo de ventana deslizante. Esto divide los textos completos en bloques semánticos (resumen, métodos, resultados, tablas). Un procesamiento especial de "protección de tablas" asegura la integridad de los datos tabulares.
   • Ingeniería de Prompts: El sistema utiliza plantillas de prompts específicas que combinan estos bloques semánticos para extraer datos estructurados. Las plantillas están diseñadas para:
     • Información Básica: Diseño del estudio, población, tamaño de la muestra.
     • Medidas de Resultado: Resultados primarios/secundarios, escalas y puntos temporales.
     • Parámetros de EMT: Frecuencia, intensidad, objetivo, tipo de bobina y métodos de placebo (sham).
     • Riesgo de Sesgo: Evaluación utilizando la herramienta RoB2 (cinco dominios).
   • Almacenamiento Dinámico: Los datos extraídos se almacenan en formato JSON. El esquema es dinámico, adaptándose a los diseños experimentales (p. ej., ECA de dos brazos, ECA de múltiples brazos, estudios cruzados) para manejar estructuras de datos específicas como efectos de arrastre o comparaciones por pares, manteniendo al mismo tiempo una nomenclatura consistente de los atributos principales.

2. Construcción del Grafo de Conocimiento:

   • Definición de Entidades: A diferencia del RAG estándar que utiliza tokens o fragmentos de texto como nodos, este método utiliza artículos completos como nodos de entidad.
   • Almacenamiento Híbrido: El sistema integra tres representaciones de información:
     • Almacenamiento de Palabras Clave: Extraído mediante principios PICO (Población, Intervención, Comparación, Resultado) y palabras clave generales, utilizando tablas de sinónimos y mapeo de jerarquías padre-hijo (p. ej., TBS como un subtipo de rTMS).
     • Almacenamiento Estructurado: Reutilización directa de los archivos JSON de la fase de extracción para consultas de parámetros detallados.
     • Almacenamiento Semántico: Los resúmenes de los artículos se convierten en vectores densos utilizando el modelo de embedding BAAI/bge-base-en-v1.5.
   • Agrupamiento de Comunidades (Clustering): Se aplica el algoritmo de Leiden para particionar el grafo de nodos en comunidades semánticamente cohesivas, estableciendo asociaciones de entidades basadas en puntuaciones de similitud ponderadas.

3. Consulta Multinivel:

   • Un mecanismo de recuperación híbrido calcula una puntuación total ($Score_{total}$) ponderando la coincidencia de palabras clave, la coincidencia de campos estructurados (utilizando principios de TF-IDF) y la similitud de coseno de los vectores semánticos.
   • Consulta de Palabras Clave: Utiliza lógica booleana con sinónimos y mapeo jerárquico para manejar la diversidad del lenguaje natural.
   • Consulta Estructurada: Aplica una ponderación inspirada en BM25 para suprimir términos genéricos de alta frecuencia (p. ej., "TMS") y priorizar características discriminativas (p. ej., "deep TMS").
   • Consulta Semántica: Utiliza la similitud de coseno entre los vectores de la consulta y del documento para clasificar la relevancia.

Construcción del Conjunto de Datos
Los autores construyeron un conjunto de datos específico, TMS-MAD (TMS Meta-Analysis Dataset), que comprende 26 metaanálisis relacionados con la TMS y sus 250 estudios originales de soporte (277 documentos en total). El conjunto de datos cubre trastornos neurológicos incluyendo depresión, accidente cerebrovascular, enfermedad de Alzheimer y enfermedad de Parkinson, con una mezcla de tipos de estudio (ECA, ensayos cruzados, etc.). Todos los datos fueron anotados manualmente para servir como verdad de terreno para la evaluación.

Resultados
El método fue evaluado en cuatro LLM: GPT-5.4, DeepSeek-V4-flash, Gemini-3.1-flash-lite y Claude-haiku-4.5.

• Precisión de la Extracción:
  • Campos Fijos: Los valores de Coincidencia Exacta (EM) para campos como títulos y tipos de diseño de estudio superaron el 90% en todos los modelos.
  • Campos Abiertos: Aunque las puntuaciones de coincidencia exacta fueron menores (p. ej., el BLEU-4 para medidas de intervención osciló entre 12.4% y 32.5%), la similitud semántica (Similitud de Coseno) fue alta (>0.8 para la mayoría de los campos, >0.89 para los parámetros de TMS), lo que indica que los modelos capturaron el significado correcto a pesar de las diferencias de redacción.
  • Campos Numéricos: El Error Porcentual Absoluto Medio (MAPE) para los tamaños de muestra estuvo generalmente entre el 7% y el 12%, aunque los errores fueron mayores para métricas específicas como el porcentaje de hombres (hasta 22%) y el número de pulsos (hasta 39%).
  • Riesgo de Sesgo (RoB2): Claude-haiku-4.5 alcanzó la mayor precisión (79.34%) y las puntuaciones Kappa más altas para el riesgo de sesgo general. El rendimiento fue más fuerte en los dominios de aleatorización y más débil en los dominios de datos faltantes.
• Eficiencia: El tiempo promedio para extraer parámetros de un solo artículo fue de 86.71 segundos, reduciendo significativamente el esfuerzo manual requerido para el metaanálisis.
• Rendimiento de la Recuperación: La estrategia de recuperación híbrida superó a los enfoques unimodales (solo palabras clave, solo estructura, solo semántica) en términos de tasa de coincidencia (la proporción de artículos relevantes recuperados respecto al conjunto de verdad de terreno). Mientras que la recuperación puramente semántica devolvió un alto volumen de artículos con menor precisión, el enfoque híbrido equilibró eficazmente la recuperación (recall) y la precisión.
• Replicación de Gráficos de Forest (Forest Plots): El sistema logró reproducir gráficos de forest para consultas específicas (p. ej., rTMS para PSCI, ataxia cerebelosa), aunque ocurrieron discrepancias cuando los datos se presentaban únicamente en imágenes, las cuales el LLM basado en texto no pudo procesar.

Contribuciones Clave

1. Paradigma GraphRAG para el Metaanálisis: El estudio introduce una aplicación novedosa de GraphRAG donde los artículos sirven como nodos de entidad en lugar de fragmentos de texto, permitiendo la recuperación y síntesis sistemática de estudios completos requeridos para el metaanálisis.
2. Almacenamiento y Recuperación Híbridos: Propone una estrategia de almacenamiento de tres modalidades (palabras clave, estructurado, semántico) que equilibra la granularidad de la recuperación con la completitud de la información, abordando las limitaciones del RAG estándar en la agregación de datos estructurados.
3. Conjunto de Datos TMS-MAD: La creación de un conjunto de datos especializado y estructurado para el metaanálisis de la TMS para facilitar la evaluación de los métodos de extracción y recuperación automatizados.
4. Flujo de Trabajo Automatizado: Un proceso completo desde la fragmentación de texto largo y la extracción basada en prompts hasta la construcción del grafo de conocimiento y el cálculo del tamaño del efecto, demostrando la viabilidad de automatizar partes del proceso de metaanálisis.

Significancia y Afirmaciones
El artículo afirma que el método propuesto apoya eficazmente las tareas de extracción de datos y recuperación para el metaanálisis en el dominio de la TMS. Al aprovechar los LLM para la extracción de parámetros estructurados y GraphRAG para la síntesis sistemática de la literatura, el estudio proporciona una solución viable para el metaanálisis automatizado. Demuestra que, si bien los LLM pueden no igualar perfectamente la extracción humana en cada detalle de cadena exacta, logran una alta fidelidad semántica y reducen significativamente los costos de tiempo y recursos asociados con el metaanálisis tradicional. Los autores concluyen que este enfoque ofrece una vía práctica hacia la automatización de la síntesis de evidencia, aunque reconocen limitaciones respecto a la extracción de datos basados en imágenes y la necesidad de capacidades multimodales para resolver completamente todas las fuentes de datos.