Disagreement as a signal: an auditable dual-LLM and human-arbitrated workflow for methodological quality assessment in preclinical complex-intervention evidence

Resumen Técnico: El desacuerdo como señal en flujos de trabajo de doble LLM auditables

Planteamiento del problema
La integración de los Modelos de Lenguaje de Gran Tamaño (LLM) en los flujos de trabajo de síntesis de evidencia se está acelerando, aunque su aplicación para la evaluación de la calidad metodológica sigue siendo un desafío. A diferencia de la simple extracción de información, la evaluación de la calidad implica juicios complejos sobre factores no específicos, controles específicos del dominio y reglas de puntuación dependientes del contexto. La literatura actual sugiere que, si bien los LLM pueden asistir en el cribado o la extracción, no pueden reemplazar de forma autónoma a los evaluadores humanos en tareas de juicio de alto riesgo sin comprometer la fiabilidad. Existe una brecha crítica en la falta de un flujo de trabajo claramente definido y auditable que aproveche los LLM para la pre-calificación manteniendo, al mismo tiempo, la supervisión humana, particularmente para intervenciones complejas como los estudios preclínicos en animales donde las condiciones de control deben coincidir con factores no específicos específicos (por ejemplo, calor, humo, restricción).

Metodología
Los autores desarrollaron y pilotaron un flujo de trabajo de pre-calificación de doble LLM, auditable y arbitrado por humanos. El proceso se estructuró de la siguiente manera:

1. Preparación del corpus: Se seleccionaron 16 estudios de texto completo sobre moxibustión para la fatiga inducida por el ejercicio. Los PDF se convirtieron a Markdown utilizando MinerU para mejorar la legibilidad por parte de la máquina.
2. Extracción de evidencia estructurada: La evidencia se extrajo en tablas estructuradas que contienen archivos fuente, números de línea originales, fragmentos textuales literales y racionales de extracción para garantizar la procedencia.
3. Pre-calificación de doble LLM: Dos entornos de LLM interactivos e independientes procesaron los mismos paquetes de evidencia y las reglas de puntuación preespecificadas. Generaron puntuaciones iniciales, ubicaciones de la evidencia y racionales.
4. Disparadores de arbitraje:
   • Ruta de discrepancia: Los elementos con diferencias de puntuación ($\Delta \ge 1$), evidencia ambigua o juicios de frontera se derivaron a la arbitración humana.
   • Ruta de acuerdo: Los elementos donde ambos LLM estuvieron de acuerdo no se aceptaron como verdad absoluta (ground truth), sino que fueron sometidos a una revisión muestreada por investigadores humanos para detectar clasificaciones erróneas compartidas.
   • Revisión de terceros: Los elementos clave de frontera se sometieron a una revisión independiente adicional.
5. Marcos de puntuación: El flujo de trabajo aplicó tres arquitecturas:
   • SYRCLE: 9 ítems (Riesgo de sesgo).
   • ARRIVE 2.0: 12 ítems (Calidad de la notificación).
   • Marco Específico de la Moxibustión (MSF): 10 ítems (Calidad operativa de la intervención compleja, centrado en el diseño de control, la reproducibilidad de la dosis y la seguridad).

Resultados Clave

• Métricas del flujo de trabajo: El flujo de trabajo generó 496 evaluaciones a nivel de ítem. Los dos LLM lograron un 79.2% de acuerdo exacto (393 ítems) y un 20.8% de desacuerdo (103 ítems). Todos los elementos discrepantes fueron arbitrados por humanos.
• Valor de la intervención humana:
  • Entre los 50 ítems acordados muestreados, 48 fueron confirmados y 2 fueron corregidos (tasa de confirmación del 96.0% dentro de la muestra, no de la precisión general).
  • La arbitración humana resolvió las discrepancias regresando a la cadena de evidencia; la decisión final coincidió con el LLM A en el 73.8% de los casos, con el LLM B en el 23.3%, y difirió de ambos en el 2.9%.
  • La revisión de terceros identificó y corrigió 8 inconsistencias sistemáticas de puntuación.
• Patrones de desacuerdo: Los desacuerdos se concentraron en ítems dependientes del contexto y de frontera de dominio, incluyendo criterios de inclusión/exclusión, notificación de resultados, características basales, interpretación de la especificidad y la concordancia de la fijación/entorno y los controles sham.
• Percepciones metodológicas: La matriz estructurada reveló debilidades recurrentes en el corpus: controles sham o de no-acupuntura insuficientes, concordancia térmica/de fijación inadecuada, reproducibilidad de la dosis incompleta (temperatura, distancia) y una débil notificación de seguridad.
• Comparación de constructos: Las puntuaciones porcentuales del MSF superaron a las de SYRCLE en todos los 16 estudios (media $\Delta = +23.9$ puntos porcentuales). Esta diferencia fue impulsada principalmente por la evaluación del MSF sobre la dosis y la reproducibilidad operativa, constructos que las herramientas genéricas de riesgo de sesgo no capturan.

Contribuciones Clave

1. Diseño de flujo de trabajo auditable: El estudio propone un flujo de trabajo transferible donde los LLM están limitados a la localización de evidencia, la pre-calificación y la exposición de discrepancias, en lugar de la evaluación autónoma. Los componentes centrales —procedencia estructurada, arbitraje disparado por discrepancia de doble modelo, revisión muestreada de ítems acordados y revisión independiente de terceros— están diseñados para ser ajenos al dominio.
2. El desacuerdo como señal: El artículo redefine el desacuerdo entre LLM no como ruido o fallo, sino como una señal de alto valor que indica requisitos de juicio complejos o evidencia insuficiente, dirigiendo eficazmente el esfuerzo humano hacia los elementos más críticos.
3. Marco específico del dominio (MSF): El desarrollo del MSF demuestra cómo las herramientas genéricas (SYRCLE/ARRIVE) pueden complementarse con marcos específicos de la intervención para capturar puntos ciegos operativos (por ejemplo, la reproducibilidad de la dosis térmica en la moxibustión) que las herramientas genéricas pasan por alto.

Significación y Reivindicaciones
Los autores posicionan este estudio como un piloto metodológico más que como una validación definitiva de la precisión de los LLM.

• Rol de los LLM: El estudio afirma que los LLM son herramientas efectivas para estructurar pistas metodológicas dispersas y exponer la incertidumbre dentro de una cadena de evidencia trazable, pero deben permanecer como auxiliares de la arbitración humana.
• Limitaciones: Los autores declaran explícitamente que la tasa de confirmación del 96% en los ítems acordados muestreados no equivale a la precisión general de los modelos, ya que no se estableció un estándar de oro dual-humano completamente independiente. El MSF se encuentra en una etapa piloto y requiere validación externa para su fiabilidad y validez.
• Generalizabilidad: Se afirma que los componentes del flujo de trabajo son transferibles a otras intervenciones complejas (por ejemplo, acupuntura, cirugía), siempre que los expertos en el dominio definan los ítems de puntuación específicos y las reglas de frontera antes del despliegue.
• Conclusión: La principal contribución es la demostración de que un flujo de trabajo de doble LLM, cuando se combina con una rigurosa arbitración humana y un seguimiento de la procedencia, puede generar matrices de ítems comparables y auditables que revelan patrones metodológicos recurrentes en la investigación de intervenciones complejas que de otro modo podrían permanecer ocultos.