Resumen Técnico: ¿Está la revisión por pares realmente en declive? Análisis de la calidad de la revisión entre sedes y el tiempo

Declaración del Problema

La revisión por pares es la piedra angular de la validación científica moderna, pero una narrativa predominante sugiere un declive en la calidad de la revisión impulsado por el aumento de los volúmenes de envío, la escasez de revisores y el uso irresponsable de Modelos de Lenguaje de Gran Tamaño (LLM). A pesar de la preocupación generalizada, la evidencia empírica sobre la trayectoria de la calidad de la revisión es mayoritariamente anecdótica. Los principales desafíos para estudiar esta tendencia son:

1. Dificultad de Medición: La calidad de la revisión es difícil de formalizar, y el juicio humano es propenso al sesgo y no escala.
2. Heterogeneidad de Datos: Los formatos, directrices y estructuras de las revisiones varían significamente entre sedes (por ejemplo, ICLR, NeurIPS, ACL) y a lo largo del tiempo, lo que hace imposible una comparación cronológica consistente con los métodos existentes.
3. Falta de Marco de Trabajo: No existe un marco computacional holístico para el análisis multidimensional de la calidad de la revisión a escala.

Metodología

Los autores proponen un nuevo marco para el estudio comparativo basado en evidencia de la calidad de la revisión, aplicado a las principales conferencias de IA y aprendizaje automático (ICLR, NeurIPS y *ACL/ARR). La metodología consta de tres componentes principales:

1. Unificación de la Revisión

Para abordar la diversidad estructural, los autores introducen un proceso de unificación de dos pasos:

• Aplanamiento (Flattening): Todos los campos de texto y encabezados de sección de un formulario de revisión se concatenan en una cadena de texto continua ($r_f$), descartando los campos no textuales.
• Itemización: Un novedoso enfoque basado en LLM (utilizando GPT-5.2 en un entorno zero-shot) transforma el texto aplanado en un conjunto de elementos de puntos (bullet points) autónomos ($r_i$). Estos elementos se asignan a secciones predefinidas: Resumen, Fortalezas, Debilidades+ (que agrega debilidades, preguntas y sugerencias), y Otros.
• Validación: El proceso de itemización fue evaluado para la preservación del contenido (alucinaciones y omisiones) y la precisión de la asignación de secciones, logrando una alta precisión (0.95) y exhaustividad (0.88) en la alineación a nivel de oración, con revisores humanos confirmando la ausencia de alucinaciones u omisiones.

2. Esquema de Calidad Multidimensional

Los autores definen la calidad de la revisión basándose en la utilidad para editores y autores, operacionalizada a través de tres criterios y seis mediciones específicas (Tabla 1):

• Substantividad (Substantiveness):
  • ITX (Conteo de Ítems): El conteo de elementos informativos centrales en las secciones de Resumen, Fortalezas y Debilidades+.
  • LEN (Longitud): Conteo de caracteres del texto aplanado de la revisión (proxy ligero).
• Accionabilidad (Actionability):
  • ACT (Puntuación de Accionabilidad): Una puntuación basada en LLM (1–5) que evalúa qué tan fácilmente se pueden traducir las sugerencias en acciones específicas.
  • REQ (Conteo de Peticiones): Un conteo ligero de oraciones de petición explícita (por ejemplo, "Por favor, añada...") identificadas mediante un clasificador de etiquetado pragmático.
• Fundamentación (Grounding):
  • GND (Puntuación de Fundamentación): Una puntuación basada en LLM (1–5) que mide la medida en que los comentarios están anclados a partes específicas del artículo.
  • EXL (Enlaces Explícitos): Un conteo ligero de enlaces explícitos de la revisión al artículo (por ejemplo, "Fig. 1", "Sec. 2").

3. Puntuación Agregada y Análisis

• Normalización: Todas las métricas se normalizan al rango [0, 1].
• Puntuación Compuesta ($Q$): Se calcula una puntuación de calidad de revisión agregada como el promedio no ponderado de todas las mediciones normalizadas.
• Alcance de los Datos: El estudio analiza una muestra aleatoria de 1,000 revisiones por campaña de ICLR (2018–2025), NeurIPS (2021–2025) y ARR (2022–2025), excluyendo artículos rechazados por la mesa editorial (desk-rejected) y retirados.

Contribuciones Clave

1. Marco Holístico: El primer marco computacional para el estudio a gran escala y multidimensional de la calidad de la revisión a través de diversas sedes y el tiempo.
2. Unificación de la Revisión: Un enfoque novedoso y que preserva el significado para estandarizar diversas estructuras de revisión utilizando LLMs, permitiendo el análisis cronológico.
3. Esquema de Calidad: Un esquema multidimensional que combina mediciones ligeras (eficientes) y basadas en LLM (profundas) para la Substantividad, la Accionabilidad y la Fundamentación.
4. Análisis Empírico: El primer estudio a gran escala que aplica este esquema para analizar la evolución de la calidad de la revisión en las principales conferencias de ciencias de la computación.

Resultados

Correlación y Tipos de Medición

• Todas las mediciones están positivamente correlacionadas, lo que indica dimensiones de calidad no contradictorias, aunque no están perfectamente correlacionadas, lo que sugiere que son complementarias.
• Las mediciones ligeras (LEN, REQ, EXL) muestran una correlación moderadamente fuerte ($\rho \approx 0.6$) con las mediciones basadas en LLM (ACT, GND) en el agregado, lo que sugiere que los proxies ligeros pueden aproximar métricas que requieren muchos recursos a escala.

Tendencias Temporales

• Sin Declive Consistente: Contradiciendo la narrativa popular, el análisis revela que no hay un declive consistente en la mediana de la calidad de la revisión a través de las sedes y los años.
• Fluctuaciones: Aunque existen algunas fluctuaciones (por ejemplo, un aumento notable en la mediana de $Q$ para ICLR-2021, ICLR-2025 y NeurIPS-2025), las pruebas de bootstrap indican que muchas diferencias año tras año no son estadísticamente significativas o son prácticamente insignificantes.
• Aceptados vs. Rechazados: En ICLR, donde los datos son totalmente abiertos, la mediana de calidad para los artículos aceptados (0.24) es solo marginalmente superior a la de los artículos rechazados (0.23).

Distribución

La distribución de la puntuación agregada $Q$ está sesgada debido a valores atípicos positivos en las métricas basadas en conteo, con un pequeño subconjunto de revisiones con puntuaciones extremadamente bajas (por ejemplo, marcadores de posición o negativas).

Significancia y Reivindicaciones

El artículo sostiene que la narrativa del "declive en la calidad de la revisión" no está respaldada por los datos empíricos cuando se analiza a través de un marco sistemático y multidimensional. Los autores postulan que la percepción de declive puede provenir de:

1. Artefactos Estadísticos (H5): A medida que el número total de revisiones crece, el número absoluto de revisiones de baja calidad aumenta proporcionalmente, lo que lleva a que más autores experimenten revisiones deficientes y amplifique el sentimiento negativo en las redes sociales.
2. Medición Incompleta (H3): Las métricas actuales pueden omitir dimensiones específicas de la calidad, o los datos históricos (pre-2021) podrían mostrar tendencias diferentes que actualmente no son accesibles.
3. Escenarios del Peor Caso (H4): Aunque la mediana sea estable, la calidad de las peores revisiones podría haber decaído, aunque esto requiere mayor investigación con nuevas métricas.

Los autores enfatizan que su marco es exploratorio y está destinado a facilitar futuros estudios empíricos en lugar de servir como una herramienta directa para el diseño de políticas o la detección automatizada de revisiones. Hacen un llamado a la comunidad para que vaya más allá de la evidencia anecdótica y utilice métricas estandarizadas y escalables para comprender y mejorar el ecosistema de la revisión por pares.