Position on LLM-Assisted Peer Review: Addressing Reviewer Gap through Mentoring and Feedback

Resumen Técnico: Posición sobre la Revisión por Pares Asistida por LLM

Planteamiento del Problema: La Brecha del Revisor
El artículo identifica un desajuste estructural crítico en el ecosistema de la investigación en IA denominado la "Brecha del Revisor", impulsado por el crecimiento sin precedentes de los envíos de IA (por ejemplo, incrementos anuales del 20–30% en conferencias importantes) que supera el crecimiento de la infraestructura de revisión. Esta brecha se manifiesta en dos dimensiones reforzadas:

1. Brecha de Volumen: Los volúmenes de envío exceden la capacidad de procesamiento, lo que conduce a asignaciones excesivas de revisores, fatiga y evaluaciones superficiales y perentorias.
2. Brecha de Calidad: El grupo de revisores se está expandiendo para incluir a investigadores noveles y autores con experiencia limitada en revisión, lo que crea un déficit en la experiencia de dominio. Sin una formación sistemática, esto conduce al afianzamiento de normas de revisión de baja calidad.

Los autores critican los enfoques actuales de Modelos de Lenguaje de Gran Escala (LLM) que se centran en la generación automatizada de revisiones. Argumentan que la generación directa por LLM conlleva riesgos de alucinación, resumen superficial y la propagación de sesgos, fallando al no abordar la causa raíz: la falta de competencia del revisor.

Metodología: Un Marco de Sistema Dual Centrado en el Humano
El artículo propone un cambio de paradigma de la automatización al aumento, posicionando a los LLM como asistentes educativos y herramientas de retroalimentación en lugar de revisores autónomos. Este enfoque se fundamenta en cinco principios básicos de una revisión por pares de alta calidad: Fidelidad (exactitud respecto a los hechos), Claridad (lenguaje inequívoco y basado en evidencia), Equidad (tono neutral y libre de sesgos), Proporcionalidad (peso de la crítica acorde con la contribución) y Constructividad (sugerencias accionables).

La solución propuesta consta de dos sistemas complementarios:

1. Sistema de Mentoría para Revisores Asistido por LLM (Educación):

   • Objetivo: Cultivar sistemáticamente las competencias del revisor a través de un entorno de aprendizaje "seguro para fallar".
   • Estructura: Un currículo pedagógico de tres etapas:
     • Reconocimiento Guiado: Los alumnos analizan ejemplos de revisiones de alta y baja calidad frente a los cinco principios para interiorizar los criterios.
     • Práctica de Refinamiento de la Revisión: Los alumnos revisan borradores que contienen fallos intencionales, recibiendo retroalimentación dirigida para identificar deficiencias.
     • Simulación Completa: Los alumnos escriben revisiones completas, las cuales el LLM analiza para generar un informe de mentoría integral que destaca éxitos y fracasos específicos en relación con los principios.
   • Resultado: Al completar el proceso, los revisores reciben una "Certificación de Revisor" voluntaria, que señala una experiencia mejorada sin obligar a la participación.

2. Sistema de Retroalimentación para Revisores Asistido por LLM (Verificación):

   • Objetivo: Cerrar la brecha entre la formación y la ejecución mediante el apoyo a los revisores durante el proceso de revisión real.
   • Flujo de Trabajo:
     • Detección y Verificación Cruzada: Un agente "crítico" de LLM escanea los borradores de revisión enviados en busca de violaciones de los cinco principios (por ejemplo, errores fácticos, contenido omitido, afirmaciones definitivas).
     • Generación de Retroalimentación Basada en Evidencia: El sistema extrae evidencia específica del artículo para ayudar a los revisores a justificar sus críticas (por ejemplo, aclarando declaraciones vagas sobre la insuficiencia de un conjunto de datos mediante la referencia a benchmarks específicos utilizados en el artículo).
     • Pruebas de Fiabilidad: Antes de la entrega, la retroalimentación se somete a una comprobación para asegurar un tono apropiado, evitar el fraseo de revisor a autor y prevenir elogios que no aporten información.
     • Refinamiento Opcional: La retroalimentación se comparte de forma privada con los revisores y los Presidentes de Área (Area Chairs). La revisión es no obligatoria, preservando la autonomía del revisor al tiempo que permite la autocorrección.

Contribuciones Clave

• Reencuadre Conceptual: El artículo argumenta contra el reemplazo del juicio humano por los LLM, proponiendo en su lugar una arquitectura de sistema dual donde los LLM sirven como mentores (construcción de habilidades a largo plazo) y mecanismos de retroalimentación (control de calidad en tiempo real).
• Rúbrica de Evaluación Estandarizada: Define un conjunto unificado de cinco principios básicos (Fidelidad, Claridad, Equidad, Proporcionalidad, Constructividad) para servir como base objetiva para la mentoría y la retroalimentación basadas en LLM.
• Diseño Arquitectónico: La propuesta describe un flujo de trabajo específico que integra la simulación educativa con la verificación post-borrador, asegurando que los principios aprendidos se apliquen en escenarios del mundo real sin imponer cargas adicionales a los revisores.
• Bucle de Mejora Colaborativa: El marco incluye un mecanismo para que los expertos humanos (por ejemplo, los Presidentes de Área) proporcionen retroalimentación meta sobre las sugerencias del LLM, creando un bucle cerrado para el refinamiento continuo del sistema y la mitigación de sesgos.

Resultados y Afirmaciones
Como artículo de posición, este trabajo no presenta resultados experimentales empíricos ni métricas cuantitativas de un sistema desplegado. En su lugar, los "resultados" son teóricos y estructurales:

• El artículo afirma que el cambio de la generación automatizada a la mentoría y retroalimentación asistida por LLM aborda tanto las dimensiones cuantitativas (capacidad) como las cualitativas (experiencia) de la Brecha del Revisor.
• Postula que este enfoque centrado en el humano mitiga los riesgos del sesgo de automatización y la pérdida de habilidades al mantener a los revisores humanos en el bucle como los principales responsables de la toma de decisiones, con los LLM actuando como herramientas de apoyo para la detección de errores y el refuerzo de habilidades.
• Los autores afirman que el sistema respeta la autonomía del revisor a través de su estructura de refinamiento opcional, evitando la homogeneización de las revisiones al tiempo que asegura la adherencia a los estándares profesionales.

Significancia
El artículo afirma que su significancia reside en ofrecer una vía sostenible para el ecososo académico. Al centrarse en cultivar la experiencia del revisor en lugar de simplemente generar texto, el marco propuesto pretende:

1. Romper el círculo vicioso de las revisiones de baja calidad y el estancamiento de la investigación.
2. Establecer un círculo virtuoso donde las mejores revisiones conducen a una investigación más rigurosa, lo que a su vez hace avanzar las tecnologías de IA que fortalecen aún más el ecosistema de revisión.
3. Proporcionar una solución escalable y rentable a la Brecha del Revisor que no dependa de la tarea imposible de expandir rápidamente el grupo de revisores expertos humanos, sino de mejorar sistemáticamente las competencias de la comunidad existente.

En última instancia, el artículo vislumbra un futuro donde el sistema de revisión por pares no sea solo un cuello de botella para ser automatizado, sino un componente robusto y de mejora continua del progreso científico, apoyado por una IA que potencia, en lugar de reemplazar, la experiencia humana.