Development and Assessment of an Accessible AI-Powered Tool for Manuscript Evaluation Through Iterative Optimization in Plastic Surgery Research ​

Resumen Técnico: Desarrollo y Evaluación de una Herramienta de IA Accesible para la Evaluación de Manuscritos

Planteamiento del Problema
Los autores de países de ingresos bajos y medios (PIBM) y de regiones de habla no inglesa enfrentan desventajas sistémicas en el acceso a orientación editorial experta para la preparación de manuscritos. Esta falta de retroalimentación previa al envío suele derivar en el rechazo de manuscritos por parte de revistas de alto impacto, lo que desanima las labores de investigación. Si bien los Modelos de Lenguaje de Gran Escala (LLM) ofrecen soluciones potenciales, los enfoques existentes suelen depender de soluciones de codificación personalizada que requieren una experiencia técnica significativa, costos continuos de Interfaz de Programación de Aplicaciones (API) y mantenimiento de infraestructura. Además, estudios previos no han examinado sistemáticamente si el rendimiento de la IA en la revisión por pares puede mejorarse significamente mediante el refinamiento iterativo y la integración de conocimientos específicos del dominio.

Metodología
Este estudio comparativo prospectivo desarrolló y evaluó tres enfoques de IA progresivamente refinados para evaluar manuscritos de cirugía plástica, comparándolos con revisiones por pares humanas de BMJ Open (una revista que utiliza revisión por pares abierta).

• Conjunto de Datos: Se realizaron sesenta evaluaciones de manuscritos sobre 15 manuscritos de primer borrador que representaban tres categorías: estudios clínicos, ensayos clínicos y revisiones (sistemáticas/de alcance/metaanálisis).
• Instrumento de Evaluación: La calidad se evaluó utilizando el Instrumento de Calidad de Revisión (RQI) validado de 8 ítems, puntuado en una escala Likert de 5 puntos (puntuación total máxima = 40). Dos evaluadores ciegos puntuaron todas las revisiones.
• Configuraciones de la Herramienta de IA:
  • Herramienta 1 (Línea Base): GPT-5 estándar con un prompt simple solicitando la revisión de un manuscrito, carente de instrucciones personalizadas o bases de conocimiento.
  • Herramienta 2 (Mejorada con Conocimiento): Un GPT personalizado que incorpora instrucciones de revisión específicas y una arquitectura de Generación Aumentada por Recuperación (RAG) que contiene una base de conocimientos de tres artículos de metodología de revisión por pares.
  • Herramienta 3 (Optimizada Iterativamente): Construida sobre la Herramienta 2, esta configuración utilizó meta-prompting para abordar las debilidades identificadas. Las instrucciones del sistema mejoradas requirieron que la IA: (1) citara secciones específicas del manuscrito, figuras, tablas y números de página; y (2) evaluara si las interpretaciones de los autores estaban respaldadas por los datos, identificando específicamente conclusiones exageradas. La base de conocimientos se actualizó para incluir las guías para autores de Plastic and Reconstructive Surgery.
• Análisis Estadístico: Se utilizaron estadísticas descriptivas, Coeficientes de Correlación Intraclase (ICC) para la confiabilidad inter-evaluador, y pruebas de Friedman con comparaciones de rango signed-rank de Wilcoxon post-hoc (corregidas por Holm-Bonferroni) se utilizaron.

Resultajes Clave

• Rendimiento General: La Herramienta 3, optimizada iterativamente, logró puntuaciones medias de RQI significativamente más altas ($28.53 \pm 3.76$) en comparación con las revisiones humanas ($25.17 \pm 4.87$), la Herramienta 2 ($24.30 \pm 5.02$) y la Herramienta 1 ($24.00 \pm 1.77$) ($p < 0.001$).
• Mejora Iterativa: La transición de la Herramienta 2 a la Herramienta 3 resultó en una mejora del 17.4% en las puntuaciones generales. Las mejoras en dimensiones específicas incluyeron:
  • Interpretación de Resultados: Mejoró de $2.10$a$3.40$ (un aumento del $61.9\%$).
  • Provisión de Evidencia: Mejoró de $2.50$a$3.20$ (un aumento del $28.0\%$).
  • Evaluación Metodológica: Mejoró de $3.97$a$5.00$ (se observó un efecto techo).
• Consistencia: La Herramienta 3 demostró una consistencia superior a través de los tipos de manuscritos (Coeficiente de Variación = 5.2%) en comparación con las revisiones humanas (14.8%).
• Compromisos (Trade-offs): La optimización dirigida a dimensiones técnicas resultó en declives no significativos en dimensiones subjetivas, específicamente en la evaluación de la originalidad ($-11.9\%$) y la calidad de la escritura ($-13.2\%$).
• Confiabilidad: La confiabilidad inter-evaluador fue buena en todos los grupos, con ICCs que oscilaron entre 0.69 y 0.78.

Contribuciones Clave

1. Marco Accesible: El estudio demuestra que se puede generar retroalimentación de nivel experto y alta calidad para manuscritos utilizando suscripciones estándar de ChatGPT Plus y plataformas de Custom GPT, eliminando la necesidad de codificación personalizada, costos de API o infraestructura institucional.
2. Estrategia de Optimización: La investigación establece que la optimización sistemática de las instrucciones mediante meta-prompting es más crítica para las ganancias de rendimiento que simplemente expandir la base de conocimientos. La Herramienta 3 superó significativamente a la Herramienta 2 a pesar de compartir la misma arquitectura RAG y los mismos artículos de metodología, lo que resalta la importancia de la ingeniería de prompts.
3. Validación de la Mejora Iterativa: El estudio proporciona evidencia empírica de que las herramientas de revisión por pares de IA pueden mejorarse sistemáticamente mediante un ciclo iterativo de medición de desempeño, intervención dirigida y reevaluación.

Significancia y Reivindicaciones
Los autores afirman que este trabajo establece un marco práctico y escalable para democratizar el acceso a la orientación en la preparación de manuscritos. Al utilizar una plataforma de bajo costo y técnicamente accesible, la herramienta aborda las inequidades estructurales en la publicación académica, beneficiando particularmente a los investigadores en entornos con recursos limitados e investigadores en etapas tempranas sin acceso a mentoría experta.

El estudio postula que, si bien las herramientas de IA pueden sobresalir en la crítica técnica (metodología, evidencia, interpretación), pueden requerir una guía humana complementaria para elementos subjetivos como la originalidad y el estilo de escritura. Los autores concluyen que este enfoque ofrece una vía viable para mejorar la calidad de los manuscritos antes del envío, aumentando potencialmente las tasas de aceptación y reduciendo las barreras para investigadores subrepresentados, sin reemplazar sus contribuciones científicas originales.