Resumen Técnico: RegCheck – Una herramienta para comparaciones estructuradas entre registros de estudios y artículos científicos

Declaración del Problema

A pesar de los beneficios reconocidos del registro de estudios para la transparencia y el rigor científico, la práctica de comparar los registros de estudios con sus artículos publicados finales sigue siendo poco común. Esta brecha existe porque la comparación manual es un proceso laborioso y lento que requiere una lectura cuidadosa de diferentes formatos y experiencia en el dominio. En consecuencia, las desviaciones de los planes registrados (por ejemplo, cambios en los resultados, cambios en el tamaño de la muestra o desviaciones en el análisis) pasan desapercibidas con frecuencia para autores, revisores y editores.

Si bien los Modelos de Lenguaje de Gran Escala (LLM) generativos ofrecen una solución potencial para la automatización, el uso ad hoc de interfaces de chat comerciales es insuficiente para la evaluación formal de la investigación. Los autores identifican seis limitaciones críticas del uso directo de prompts en LLMs:

1. Flexibilidad Analítica: El resultado varía significamente según la formulación del prompt, el formato y los parámetros del modelo, lo que dificulta la estandarización y la reproducibilidad.
2. Limitaciones de la Interfaz: Las interfaces de chat comerciales restringen parámetros críticos (por ejemplo, temperatura, prompts de sistema) y carecen de estabilidad, ya que los proveedores pueden cambiar los modelos subyacentes sin previo aviso.
3. Privacidad de Datos: Cargar manuscritos no publicados en interfaces comerciales conlleva el riesgo de retención de datos y uso para entrenamiento, violando las expectativas de confidencialidad de la revisión por pares.
4. Dependencias No Deseadas: La generación secuencial en contextos de chat crea dependencias entre dimensiones (por ejemplo, un error al juzgar hipótesis puede propagarse al análisis estadístico), lo que impide la evaluación independiente de dimensiones específicas.
5. Conflación de Tareas: Delegar la ingesta, la definición, la extracción y la adjudicación a una sola llamada de LLM oscurece el rendimiento de los pasos individuales.
6. Verificabilidad: Los LLM pueden "alucinar" o proporcionar afirmaciones sin citas sistemáticas, lo que dificulta que los usuarios verifiquen la fuente de un juicio sin una relectura manual.

Metodología: El Marco IDEA y la Arquitectura Parity

Para abordar estas limitaciones, los autores presentan RegCheck, una herramienta de código abierto y modular construida sobre una arquitectura más amplia llamada Parity. Parity implementa el marco IDEA, un flujo de trabajo conceptual de cuatro pasos diseñado para mantener distintos los pasos de entrada, recuperación de evidencia y juicio:

1. Ingestión (Ingestion): Los documentos (registros y artículos) se recolectan y analizan mediante métodos deterministas (por ejemplo, APIs JSON para registros, analizadores de PDF especializados como GROBID o DPT-2 para manuscritos). Esto asegura la integridad del texto y gestiona artículos de múltiples estudios aislando las secciones relevantes.
2. Definición (Definition): Los usuarios definen explícitamente las dimensiones de comparación (por ejemplo, tamaño de la muestra, resultados primarios). Este paso es dirigido por humanos, permitiendo preajustes específicos de disciplina (por ejemplo, clínico/médico, psicología) o definiciones personalizadas.
3. Extracción (Extraction): El texto relevante se recupera mediante embeddings semánticos. Los documentos se fragmentan (alineados con los límites de oraciones/secciones), se convierten en vectores y se consultan contra las definiciones de las dimensiones mediante similitud de coseno. Una búsqueda híbrida por palabras clave complementa esto para asegurar que no se pierdan fragmentos de alto valor.
4. Adjudicación (Adjudication): Un LLM generativo se invoca únicamente en esta etapa. Recibe los fragmentos de evidencia extraídos y la definición de la dimensión para producir un juicio estructurado (Desviación, Sin Desviación o Evidencia Insuficiente) con una justificación. Crucialmente, cada dimensión se adjudica en una llamada separada para evitar la contaminación cruzada de errores.

Implementación del Flujo de Trabajo de RegCheck:
La herramienta operacionaliza IDEA en un flujo de seis etapas:

• Ingestión y Preparación: Análisis y normalización de texto, eliminación de referencias y gestión de referencias cruzadas dentro de los artículos.
• Embedding e Indexación: Creación de representaciones vectoriales de fragmentos de texto utilizando modelos neutrales respecto al proveedor (con soporte para despliegue local).
• Definición: Selección o creación de conjuntos de dimensiones.
• Extracción y Adjudicación: Recuperación de evidencia, resumen y generación de veredictos.
• Reporte: Generación de reportes interactivos y compartibles (vía IDs únicos) que cuentan con una vista de "Resumen" (veredictos codificados por colores con justificaciones) y una vista de "Evidencia" (texto fuente lado a lado con fragmentos resaltados).

El sistema soporta tanto una interfaz web como una Interfaz de Línea de Comandos (CLI). La CLI permite la ejecución totalmente local (usando modelos de embedding y LLM locales) para maximizar la privacidad y seguridad, e incluye un "modo de consenso" que ejecuta múltiples llamadas de adjudicación para mitigar la estocasticidad.

Contribuciones Clave

1. Software RegCheck: Una herramienta funcional y de código abierto (disponible en regcheck.app y GitHub) que automatiza las comparaciones estructuradas entre registros y artículos manteniendo la supervisión humana.
2. El Marco IDEA: Un modelo conceptual para descomponer tareas de comparación metacientífica en pasos modulares y distintos (Ingestión, Definición, Extracción, Adjudicación), aclarando dónde son apropiados y dónde no los LLM.
3. Flujo de Trabajo Verificable: Un diseño que asegura que todos los juicios de los LLM estén directamente respaldados por fragmentos de texto literales y deterministas, permitiendo a los usuarios verificar las afirmaciones de manera trivial.
4. Arquitectura de Preservación de Privacidad: Soporte para despliegue local y modelos de pesos abiertos, abordando las preocupaciones de confidencialidad inherentes a la revisión por pares.
5. Preajustes Específicos de Disciplina: Conjuntos de dimensiones preconfigurados para diversas áreas (clínica, psicología, economía) que se alinean con las normas de reporte específicas de cada dominio.

Resultados y Estado de la Evaluación

El artículo no presenta resultados empíricos finales a gran escala que cuantifiquen la precisión de RegCheck frente a una verdad de referencia, ya que la evaluación sistemática está en curso. En su lugar, los autores proporcionan:

• Un Ejemplo Práctico: Una comparación hipotética de un ensayo clínico que demuestra la capacidad de la herramienta para identificar desviaciones claras (por ejemplo, cambio de resultado de continuo a dicotómico), desviaciones sutiles (por ejemplo, cambios en el umbral de la función renal de 30 a 45 mL/min) y casos de evidencia insuficiente.
• Pruebas Anecdóticas: Pruebas preliminares realizadas por el equipo de investigación sugieren que la herramienta es precisa en la extracción y hábil para detectar desviaciones omitidas por humanos, incluyendo cambios numéricos sutiles y cambios de resultados no declarados.
• Estrategia de Evaluación: Los autores describen un plan de evaluación riguroso centrado en:
  • Acuerdo entre Evaluadores: Comparar el rendimiento de RegCheck frente a evaluadores humanos para establecer la "no inferioridad" (es decir, RegCheck debería estar tan de acuerdo con los humanos como los humanos están entre sí).
  • Benchmarks Artificiales: Uso de textos generados por LLM con inconsistencias inyectadas para probar la precisión frente a verdades de referencia conocidas.

Significación y Reivindicaciones

Los autores posicionan a RegCheck no como un reemplazo de la experiencia humana, sino como una herramienta para reducir la barrera práctica de la comparación entre el registro y el artículo. Su importancia radica en:

• Integración Rutinaria: Hacer que las verificaciones de consistencia sean una parte factible de los flujos de trabajo de los autores, la revisión por pares y la evaluación post-publicación, maximizando así la utilidad de los registros de estudios.
• Estandarización: Proporcionar un método reproducible, transparente y verificable para comparar artefactos de investigación, abordando las inconsistencias del uso ad hoc de LLM.
• Confiabilidad: Mejorar la capacidad de la comunidad científica para distinguir entre planes pre-registrados y decisiones post-hoc, lo cual es crítico para evaluar el riesgo de sesgo y la robustez de las afirmaciones científicas.

El artículo concluye que, al descomponer la tarea de comparación y mantener el juicio humano "en el bucle" para la definición y la verificación final, RegCheck aspira a transformar una tarea laboriosa y raramente realizada en un componente rutinario y eficiente de la práctica científica.