FirstPass: Grounding AI Scientific Judgment in Multi-Round Editorial Outcomes

Resumen Técnico: FirstPass – Fundamentando el Juicio Científico de la IA en Resultados Editoriales de Múltiples Rondas

Planteamiento del Problema
Los sistemas actuales de IA para la revisión por pares científica sufren tres fallos fundamentales:

1. Estrechez de Dominio: Los conjuntos de datos existentes (por ejemplo, PeerRead, ReviewMT, MARG) se derivan exclusivamente de conferencias de Ciencias de la Computación y Aprendizaje Automático. Los modelos entrenados en ellos fallan al no capturar las normas científicas específicas de campos como la biología, la química o la física (por ejemplo, controles de contaminación o asignaciones espectrales de RMN).
2. Tratamiento Estático: La revisión por pares es un diálogo iterativo, pero los sistemas actuales generan revisiones en un solo paso (single shot), ignorando las iteraciones entre autor y revisor donde las afirmaciones científicas son puestas a prueba.
3. Evaluación Circular: Los sistemas suelen evaluarse mediante la mímica estilística (qué tan bien parecen una revisión) en lugar de su alineación con las decisiones y resultados editoriales reales.

En consecuencia, estos sistemas tratan la revisión por pares como una tarea de generación de texto en lugar de un ejercicio de juicio científico, fallando al predecir si un manuscrito requerirá ciclos de revisión adicionales o al identificar qué preocupaciones metodológicas sobrevivirán a la réplica.

Metodología
Los autores presentan FIRSTPASS, un conjunto de datos y un modelo ajustado diseñado para abordar estas brechas a través de tres componentes principales:

• Construcción del Conjunto de Datos: Los autores curaron 3,668 diálogos completos de revisión por pares de múltiples rondas de Nature Communications (enero de 2023 – diciembre de 2025) a través de cinco dominios científicos: biología, química, neurociencia, física y ciencias de la tierra.

  • Integridad: Aprovechando la revisión por pares transparente y obligatoria de la revista (desde noviembre de 2022), el conjunto de datos garantiza una integridad de contenido del 100%. Las auditorías automatizadas y la verificación manual de una muestra aleatoria confirmaron tasas de error insignificantes en el texto extraído.
  • Etiquetas: Los resultados editoriales se derivan del número de rondas de revisión: dos rondas se etiquetan como STANDARD (estándar), y tres o más como EXTENDED (extendido). Esto sirve como un indicador de las preocupaciones metodológicas no resueltas.
  • Tareas: El conjunto de datos soporta tres tareas de entrenamiento: (1) Generación de revisión (Artículo $\to$ Ronda 1), (2) Actualización del revisor (Artículo + Ronda 1 + Respuesta del Autor $\to$ Ronda 2), y (3) Predicción de resultado (Diálogo completo $\to$ Etiqueta).

• Arquitectura del Modelo y Entrenamiento:

  • Modelo Base: Se seleccionó Qwen2.5-7B-Instruct por su fuerte capacidad de razonamiento científico y su ventana de contexto de 32k tokens, necesaria para manejar artículos completos y diálogos de múltiples rondas.
  • Ajuste Fino (Fine-tuning): Se aplicó Adaptación de Bajo Rango (LoRA) con un rango $r=32$ y $\alpha=64$. Se entrenaron dos adaptadores separados: uno para clasificación (CLS) y otro para generación (SFT).
  • Decisión de Diseño Crítica (Enmascaramiento de Pérdida Solo de la Respuesta): Los autores identificaron que el ajuste fino de instrucción estándar calcula la pérdida sobre toda la secuencia, incluyendo miles de tokens de entrada. Para tareas de entrada larga/salida corta, esto provoca que la señal de clasificación sea ahogada por la predicción del texto de entrada. Los autores implementaron el enmascaramiento de pérdida solo de la respuesta (excluyendo los tokens de entrada del cálculo de la pérdida).
  • Estrategia de Truncamiento: Las entradas que exceden el límite de la secuencia se truncan simétricamente (conservando el primer 55% y el último 45% de los tokens) para preservar tanto el contenido científico del artículo como los intercambios más recientes de los revisores.

Hallazgos Clave y Resultados

• La Necesidad del Enmascaramiento Solo de la Respuesta: El hallazgo más significativo es que el enmascaramiento de pérdida solo de la respuesta es un prerrequisito arquitectónico, no simplemente una optimización.

  • Sin el enmascaramiento, la precisión del modelo en la predicción de resultados cae al 62.0%, desempeñándose peor que la línea base de la mayoría (65.4%).
  • Con el enmascaramiento, la precisión aumenta al 80.5% con un F1-macro de 78.2%. Este cambio de 18.5 puntos porcentuales demuestra que omitir el enmascaramiento es catastrófico para este régimen de tareas.

• Predicción de Ciclos de Revisión:

  • FIRSTPASS logró una precisión del 80.5% en el conjunto de prueba (318 ejemplos), superando la línea base de la mayoría por 15.1 puntos porcentuales y a la mejor línea base de cero disparos (zero-shot) (Gemini-3.1-flash-lite-preview) por 10.4 puntos porcentuales.
  • La significancia estadística se confirmó mediante la prueba exacta de McNemar ($p < 0.001$) contra todas las líneas base, excepto contra Qwen2.5-7B zero-shot ($p=0.185$).
  • El rendimiento fue consistente en los cinco dominios (oscilando entre 76.9% y 83.8%), lo que indica que el modelo captura señales generales de la disciplina sobre preocupaciones no resueltas en lugar de sobreajustarse a vocabularios específicos.

• Generación de Revisión:

  • FIRSTPASS generó revisiones con un promedio de 1,187 palabras, significativamente más cercanas a las referencias humanas (2,155 palabras) que otras líneas base.
  • Logró una puntuación ROUGE-L de 0.154, superando significativamente a las líneas base de cero disparos de Qwen, DeepSeek y Gemini ($p < 0.001$).
  • Aunque Llama-3-8B logró un ROUGE-L ligeramente superior (0.164), los autores lo atribuyen a "artefactos de longitud", donde el modelo generó texto más corto y formulaico (1,006 palabras) que optimizó el solapamiento de n-gramas sin profundidad. FIRSTPASS produjo críticas más largas y ricas en contenido.

Significancia y Reivindicaciones
El artículo posiciona a FIRSTPASS como un paso hacia sistemas de IA que actúan como "coautores científicos anticipatorios" en lugar de meras herramientas.

• Juicio vs. Mímica: Al entrenarse en diálogos completos y evaluarse contra resultados editoriales reales, FIRSTPASS demuestra que la IA puede ejercer el juicio científico —prediciendo si un manuscrito requerirá ciclos de revisión extendidos— en lugar de solo imitar la prosa de la revisión.
• Generalizabilidad: El rendimiento consistente en todos los dominios sugiere que las señales de la preocupación no resuelta del revisor son transferibles entre disciplinas, un requisito previo para un coautor confiable en un entorno multidisciplinario.
• Contribución Metodológica: El artículo proporciona la primera demostración empírica controlada de que el enmascaramiento de pérdida solo de la respuesta es crítico para tareas de clasificación de entrada larga/salida corta, ofreciendo una lección generalizable para el entrenamiento de LLMs en documentos científicos.

Limitaciones Reconocidas por los Autores
Los autores mantienen una postura modesta sobre el estado actual de implementación:

• Alcance de los Datos: El conjunto de datos incluye solo artículos publicados; los manuscritos rechazados (que podrían ofrecer señales más fuertes sobre los límites de publicabilidad) son inaccesibles.
• Modalidad: El flujo de trabajo es exclusivamente de texto, excluyendo figuras y datos suplementarios que a menudo impulsan las preocupaciones de los revisores.
• Validez de las Etiquetas: La etiqueta "STANDARD/EXTENDED" es un indicador basado en el conteo de rondas y puede estar influenciada por estilos de comunicación o logística editorial, más que puramente por el mérito científico.
• Validación: El caso de uso de "coautor" es una hipótesis de despliegue. La evaluación actual mide la precisión de la predicción en diálogos completados. La validación prospectiva (donde los autores utilicen la herramienta antes de la sumisión y se rastreen los resultados) se identifica como el siguiente paso necesario para confirmar la afirmación de coautoría.
• Generalizabilidad: El rendimiento más allá de Nature Communications (por ejemplo, revistas con diferentes culturas de revisión o formatos) permanece sin probar.