How Closely Do LLM Reviews Align with Human Peer Review?

Resumen Técnico: Alineación de las revisiones de LLM con la revisión por pares humana

Planteamiento del problema
Los modelos de lenguaje de gran tamaño (LLM) se están implementando cada vez más para generar revisiones científicas; sin embargo, las evaluaciones existentes a menudo no logran determinar si los diferentes proveedores de modelos se alinean tanto con las decisiones de aceptación de las conferencias como con las prioridades de revisión humanas dentro de un entorno controlado único. Existe una brecha crítica en comprender si la capacidad de un revisor automatizado para distinguir entre artículos aceptados y rechazados implica una alineación con juicios humanos más finos, como la distinción entre presentaciones orales y de póster, o si comparte las mismas prioridades temáticas respecto a las debilidades de los artículos.

Metodología
El estudio llevó a cabo una evaluación controlada y trans-proveedor utilizando 300 envíos emparejados por temas de ICLR 2026. El conjunto de datos comprendió 100 artículos orales, 100 de póster y 100 rechazados. Para garantizar la consistencia temática, se emparejaron los artículos orales con artículos de póster y rechazados temáticamente similares mediante incrustaciones de abstracts (OpenAI text-embedding-3-small) y un emparejamiento de similitud uno a uno.

Se evaluaron tres LLM contemporáneos: OpenAI gpt-5.4, Google gemini-3.1-pro-preview y Anthropic claude-opus-4-6. Para mitigar la filtración de datos, los modelos se seleccionaron basándose en fechas de corte de entrenamiento anteriores al periodo de envío de ICLR 2026, y se desactivó la búsqueda externa. Cada modelo revisó cada artículo utilizando instrucciones idénticas y una escala de calificación estandarizada (0–10) tras eliminar la información de decisión de los PDF.

El análisis se centró en tres dimensiones:

1. Alineación de resultados: Si los LLM asignan calificaciones sistemáticamente diferentes a los artículos aceptados (oral/póster) frente a los rechazados, y si distinguen entre las categorías de oral y póster.
2. Uso de la escala: Comparación de las distribuciones de calificación y el uso específico de la escala de recomendación entre proveedores y frente a las bases humanas.
3. Acuerdo temático: Análisis de las debilidades escritas mediante la agrupación temática basada en incrustaciones (reducción de dimensionalidad UMAP seguida de agrupamiento k-means) para identificar los temas de crítica priorizados.

La significancia estadística se evaluó mediante pruebas de Mann–Whitney U para diferencias de distribución y pruebas de rango de Wilcoxon con emparejamiento para comparaciones directas entre evaluadores, aplicando la corrección de Holm para comparaciones múltiples.

Resultados clave

• Discriminación amplia vs. detallada: Los tres LLM distinguieron con éxito los artículos aceptados de los rechazados, asignando calificaciones significativamente más altas a los primeros. Sin embargo, ninguno de los modelos reprodujo la distinción entre artículos de póster y orales observada en las revisiones humanas. Los revisores humanos mostraron una progresión clara de la mediana de calificación (Rechazado: 4.0 → Póster: 5.33 → Oral: 6.5), mientras que los LLM no lograron diferenciar entre las categorías de póster y oral.
• Patrones de puntuación específicos del proveedor: Los comportamientos de puntuación variaron significativamente según el proveedor. Google Gemini asignó calificaciones sistemáticamente más altas en todas las categorías, incluyendo la asignación de una puntuación de 8 a 16 artículos rechazados. OpenAI y Claude estuvieron más cerca de las calificaciones humanas para los artículos rechazados y de póster, pero fueron más críticos (asignaron calificaciones más bajas) que los humanos al evaluar artículos orales.
• Uso de la escala: Los LLM utilizaron una porción más estrecha de la escala de calificación en comparación con los humanos. Ninguno de los modelos asignó los extremos de la escala (0 o 10), que sí fueron utilizados por los revisores humanos.
• Divergencia temática: Aunque las revisiones humanas y de los LLM compartieron temas de debilidad principales (p. ej., evidencia experimental, análisis teórico), su énfasis difirió. Los LLM identificaron con mayor frecuencia la "insuficiencia de comparaciones con líneas base" como una debilidad primaria. En contraste, los revisores humanos plantearon con mayor frecuencia preocupaciones sobre la "eficiencia computacional y los requisitos de recursos".

Contribuciones
Este trabajo proporciona tres contribuciones primarias:

1. Una evaluación controlada trans-proveedor de las puntuaciones de revisión por pares generadas por LLM, tanto en resultados de aceptación amplios como en categorías de presentación más finas.
2. Evidencia de que distinguir artículos aceptados de rechazados no implica una alineación con decisiones de conferencia más detalladas o un uso equivalente de la escala de recomendación.
3. Una comparación de las prioridades temáticas, demostrando que el desacuerdo entre humanos y LLM se extiende más allá de las calificaciones numéricas hacia los temas de debilidad considerados relevantes.

Significancia y afirmaciones
El artículo concluye que, si bien los LLM pueden servir como fuentes de crítica suplementaria —capaces de identificar debilidades recurrentes y proporcionar retroalimentación desde múltiples perspectivas—, sus puntuaciones y prioridades no deben tratarse como intercambiables con los juicios de revisión por pares humanos. Los hallazgos sugieren que la alineación de decisión amplia no garantiza el acuerdo con los juicios humanos más finos. En consecuencia, los futuros sistemas de revisión automatizada no deben evaluarse meramente por su fluidez o capacidad de separar artículos aceptados de rechazados, sino también por su estabilidad, uso de la escala, fundamentación en la evidencia y alineación con la estructura matizada de la evaluación experta. Los autores advierten contra la dependencia de los LLM para la toma de decisiones finales sin reconocer estas divergencias sistemáticas.