SPIRIT-CONSORT-ELM: Element-Level Assessment of Randomized Controlled Trial Reporting Using Large Language Models

Resumen Técnico: SPIRIT-CONSORT-ELM

Planteamiento del Problema
Los ensayos controlados aleatorios (ECA) son fundamentales para evaluar los beneficios y daños de las intervenciones, sin embargo, su utilidad se ve frecuentemente comprometida por una notificación incompleta. Aunque las guías de notificación como SPIRIT (para protocolos) y CONSORT (para resultados) proporcionan listas de verificación para asegurar la exhaustividad, los métodos de evaluación automatizados existentes operan principalmente a nivel de "ítem". Este enfoque binario —que determina únicamente si un ítem de la lista está presente o ausente— no logra capturar el matiz de la completitud de la notificación. Muchos ítems de las listas de verificación constan de múltiples "elementos" distintos (detalles específicos requeridos para el cumplimiento total). En consecuencia, un ítem puede marcarse como "notificado" incluso si faltan elementos cruciales, o marcarse como "incompleto" sin distinguir entre un solo detalle faltante y una ausencia total de información. Esta falta de granularidad dificulta la capacidad de proporcionar retroalimentación accionable a los autores y limita la fiabilidad de la metainvestigación sobre las tendencias de notificación.

Metodología
Los autores abordan esta brecha mediante el desarrollo de SPIRIT-CONSORT-ELM, un marco de trabajo y un conjunto de datos para la evaluación a nivel de elemento. La metodología consta de tres componentes principales:

1. Construcción del Marco de Trabajo: Tres expertos en epidemiología y metainvestigación derivaron 119 preguntas específicas de los 83 ítems de las listas de verificación de SPIRIT 2013 y CONSORT 2010. Estas preguntas se centran en elementos constitutivos dentro de los ítems de las listas. El marco incluye preguntas de opción única ("seleccione uno"), de opción múltiple ("seleccione todos los que correspondan") y condicionales. Las preguntas condicionales se activan solo cuando ciertos elementos están presentes o ausentes, requiriendo más detalles o justificación.
2. Curación del Conjunto de Datos: El marco se aplicó al corpus existente SPIRIT-CONSORT-TM, que comprende 200 artículos (100 pares de protocolo-resultados). Dos expertos anotaron de forma independiente 50 artículos (25 pares) para establecer el acuerdo entre anotadores, mientras que los 150 artículos restantes fueron anotados por un solo experto. Las anotaciones se basaron en fragmentos de texto relevantes previamente identificados para los ítems correspondientes.
3. Pipeline de Evaluación Automatizada: Los autores formularon la evaluación a nivel de elemento como una tarea de comprensión de lectura de máquina (MRC). El pipeline consta de:
   • Recuperación de Evidencia: Un modelo basado en PubMedBERT (ajustado con SPIRIT-CONSORT-TM) identifica las oraciones que contienen información de notificación a nivel de ítem.
   • Respuesta a Preguntas: Un Modelo de Lenguaje de Gran Escala (LLM) generativo, específicamente GPT-5 y el modelo de pesos abiertos Qwen-2.5, responde a las 119 preguntas basándose en el texto recuperado.
   • Estrategias de Prompting: El sistema emplea plantillas de prompt manuales y agnósticas a la pregunta. Los autores evaluaron el impacto del razonamiento de Cadena de Pensamiento (CoT), los prompts generados por el LLM y los ejemplos en contexto (seleccionados mediante estrategias de aleatoriedad o similitud semántica).

Contribuciones Clave
El artículo presenta tres contribuciones principales:

1. Marco a Nivel de Elemento: Un conjunto formalizado de 119 preguntas que operacionalizan las guías de notificación al nivel de elemento, yendo más allá de la presencia binaria del ítem para evaluar detalles de notificación específicos.
2. Conjunto de Datos SPIRIT-CONSORT-ELM: Un conjunto de datos anotado por expertos que contiene juicios para 119 preguntas a través de 200 publicaciones de ECA, proporcionando un punto de referencia para la evaluación de grano fino.
3. Pipeline de Evaluación Automatizada: Una evaluación de los LLM para esta tarea, demostrando un pipeline que combina la recuperación de evidencia a nivel de oración con el razonamiento generativo de LLM para responder preguntas estructuradas.

Resultados

• Anotación Humana: El acuerdo entre anotadores fue alto, con un promedio de Gwet's AC1 de 0.782, lo que indica que los humanos pueden realizar la evaluación a nivel de elemento de manera fiable cuando se les proporcionan fragmentos de texto relevantes.
• Rendimiento del Modelo: El pipeline automatizado utilizando GPT-5 logró una puntuación F1 de 0.822, una precisión de 0.852 y un Gwet's AC1 de 0.796. El modelo de pesos abiertos Qwen-2.5 logró resultados comparables (F1: 0.803), aunque con un mayor tiempo de inferencia. Ambos modelos superaron a la línea base de clase mayoritaria.
• Impacto de la Recuperación de Evidencia: El uso de fragmentos de texto anotados por expertos (un límite superior) mejoró significamente el rendimiento (F1: 0.893) en comparación con el método de recuperación automatizada (F1: 0.822), lo que sugiere que mejorar la recuperación de evidencia es un área clave para futuras mejoras.
• Prompting y Ejemplos: El razonamiento de Cadena de Pensamiento (CoT) proporcionó un aumento modesto en el rendimiento (+1.0 pp en F1) pero aumentó el tiempo de procesamiento y el costo más de cinco veces. Los ejemplos en contexto (one-shot) produjeron mejoras leves (+0.8 pp en F1) dependiendo de la estrategia de selección, pero añadir más ejemplos (3-shot, 5-shot) degradó el rendimiento.
• Diferencias entre Guías: El rendimiento fue mayor para las preguntas relacionadas con SPIRIT (F1: 0.840) que para las de CONSORT (F1: 0.780), probablemente porque las preguntas de CONSORT a menudo requieren interpretar extensiones de texto más largas y difusas respecto a los resultados.

Significancia y Reivindicaciones
Los autores afirman que SPIRIT-CONSORT-ELM proporciona el primer punto de referencia para evaluar la completitud de las guías de notificación al nivel de elemento. Postulan que esta granularidad permite una evaluación más válida y fiable de la transparencia de los ECA que las simples comprobaciones a nivel de ítem. El marco permite la identificación de elementos faltantes específicos, ofreciendo retroalimentación accionable para autores, revisores y editores. Si bien el sistema automatizado demuestra la viabilidad, los autores se muestran modestos, señalando que los niveles actuales de rendimiento, aunque alentadores, pueden requerir mejoras adicionales para una adopción amplia en el mundo real. Enfatizan que el marco complementa las guías existentes y apoya la metainvestigación al proporcionar datos de mayor resolución sobre las prácticas de notificación. El conjunto de datos y el código están disponibles públicamente para facilitar el desarrollo posterior de sistemas automatizados para mejorar la notificación de los ECA.