CheckSupport: A Local LLM-Powered Tool for Automated Manuscript Submission Checklist Selection and Completion

Resumen Técnico: CheckSupport

Enunciado del Problema
La transparencia y la estandarización en la presentación de informes son críticas para la reproducibilidad de la investigación científica, sin embargo, el cumplimiento de las directrices de presentación (por ejemplo, CONSORT, PRISMA, STARD) sigue siendo inconsistente. Las principales barreras son el esfuerzo manual sustancial y la experiencia en el dominio requeridos para identificar la lista de verificación adecuada para un estudio específico y completarla con precisión. Las soluciones automatizadas existentes a menudo dependen de Modelos de Lenguaje Grandes (LLM) basados en la nube, lo que plantea preocupaciones significativas en cuanto a la privacidad de los datos, los costos, la reproducibilidad y la accesibilidad a largo plazo. Además, las aplicaciones actuales de los LLM en la ciencia se centran a menudo en la síntesis de texto generativo, lo cual puede no alinearse con la necesidad de una extracción fiel y fundamentada en la evidencia en la presentación de informes científicos.

Metodología
Los autores presentan CheckSupport, una herramienta de línea de comandos de código abierto y desplegable localmente diseñada para automatizar la selección y la finalización de listas de verificación. El sistema opera completamente sin conexión utilizando el marco Ollama, asegurando que los datos del manuscrito nunca salgan del hardware local del usuario.

• Arquitectura y Flujo de Trabajo: El sistema sigue una tubería modular: ingestión del manuscrito (PDF/DOCX/Texto) $\rightarrow$ identificación de la lista de verificación $\rightarrow$ análisis de la lista de verificación $\rightarrow$ extracción de contenido $\rightarrow$ generación del informe. Soporta tanto directrices estandarizadas como listas de verificación personalizadas definidas por el usuario.
• Estrategia de Prompts por Etapas: En lugar de utilizar los LLM como generadores de forma libre, CheckSupport los trata como componentes de inferencia restringida. El proceso se descompone en cuatro etapas secuenciales:
  1. Recomendación de Lista de Verificación: Una tarea de clasificación de una sola etiqueta con un solo ejemplo, donde el modelo selecciona una lista de verificación de una lista fija basada en un fragmento truncado del manuscrito (los primeros 2.000 caracteres).
  2. Preprocesamiento y Generación de Orientación: El modelo infiere orientación general y específica por sección sobre qué información buscar, utilizando una temperatura más alta (0.7) para elicitar consejos descriptivos.
  3. Extracción de Texto a Nivel de Sección: El sistema extrae las partes relevantes del manuscrito para cada sección de la lista de verificación utilizando ventanas fijas de 5.000 caracteres.
  4. Generación de Respuestas a Nivel de Ítem: Para cada ítem de la lista de verificación, el modelo genera una respuesta basada en el texto del ítem, las instrucciones analizadas y el contenido de la sección extraído previamente.
• Controles de Inferencia: Para priorizar la precisión y la reproducibilidad, el sistema emplea temperaturas bajas para la clasificación (0.2) y la extracción (0.3–0.5), utiliza ventanas de contexto fijas para evitar la dependencia de modelos de contexto extendido y hace cumplir restricciones estrictas de salida. Permite y fomenta explícitamente las respuestas "nulas" cuando la información está ausente para prevenir la alucinación.
• Configuración del Modelo: El sistema es agnóstico al modelo, pero utiliza por defecto modelos ajustados a instrucciones como Llama 3.1, capaces de ejecutarse en hardware de consumo que solo tiene CPU.

Contribuciones Clave

• Marco de Ejecución Local: CheckSupport proporciona una alternativa totalmente local y que preserva la privacidad a las herramientas de IA basadas en la nube, abordando las preocupaciones de seguridad de los datos en entornos de investigación sensibles.
• Enfoque de Inferencia Estructurada: El artículo introduce una metodología de prompts por etapas que descompone tareas complejas de presentación de informes en pasos de inferencia restringidos, priorizando la extracción fiel sobre la fluidez generativa.
• Implementación de Código Abierto: La herramienta se lanza como software de código abierto, permitiendo transparencia, auditoría y adaptación a diversos estándares de presentación de informes.
• Doble Funcionalidad: Automatiza tanto la selección de la directriz de presentación correcta como la finalización fundamentada en la evidencia de dicha directriz.

Resultados
Evaluado en un corpus de 100 manuscritos revisados por pares (indexados bajo "IA en radiología" de 2025), CheckSupport demostró el siguiente rendimiento en hardware exclusivo de CPU:

• Recomendación de Lista de Verificación: Logró una precisión general del 90%. El rendimiento varió por categoría: 86.7% para estudios complejos de "Tipo A" (nuevas estructuras de LLM/ajuste fino), 100% para estudios de "Tipo B" (aplicaciones prácticas) y 80% para manuscritos donde no era aplicable ninguna lista de verificación.
• Finalización de Lista de Verificación: Logró una precisión general a nivel de ítem del 88%. La precisión fue mayor para los manuscritos de "Tipo B" (93.3%) en comparación con los de "Tipo A" (80.0%).
• Tiempo de Ejecución: El tiempo promedio de reloj por manuscrito fue de 12.5 segundos, incluyendo tanto la recomendación como la finalización completa.
• Análisis de Errores: Los errores provinieron principalmente de un lenguaje ambiguo en el manuscrito, informes incompletos en el texto fuente o información que caía fuera de las ventanas de contexto acotadas. Cabe destacar que el sistema produjo ningún caso de contenido no respaldado o fabricado, señalando exitosamente la información faltante como respuestas nulas.

Significado y Afirmaciones
Los autores posicionan a CheckSupport no como una herramienta para generar contenido científico, sino como infraestructura para la gobernanza de la investigación. El artículo afirma que al transferir la carga del cumplimiento de las listas de verificación del esfuerzo manual a una automatización asistida y estructurada, el sistema apoya una presentación de informes científicos más transparente y reproducible.

Las afirmaciones clave sobre el significado incluyen:

• Reencuadre de la Utilidad de los LLM: El trabajo demuestra que los LLM pueden utilizarse eficazmente para el apoyo metodológico y la extracción rigurosa en lugar de la generación narrativa.
• Privacidad y Confianza: Al operar localmente, el sistema aborda las crecientes preocupaciones sobre la filtración de datos y las dependencias propietarias, fomentando la confianza institucional.
• Humano en el Bucle: Los autores enfatizan que el sistema está diseñado para aumentar, no reemplazar, la supervisión humana. Hace explícitas las brechas en la presentación de informes en lugar de llenarlas implícitamente, permitiendo que los investigadores y revisores se centren en áreas que requieren juicio experto.
• Cambio Cultural: La herramienta tiene como objetivo reducir la barrera para la finalización de listas de verificación, potencialmente reduciendo la fatiga de los revisores y fomentando la visión de las directrices de presentación como componentes integrales del proceso de investigación en lugar de obligaciones administrativas.