💻 computer science

Reviewer Scores Are Not Comparable Across Research Areas in ML Peer Review

Este documento de posición sostiene que los resultados de aceptación en las conferencias de ML están impulsados por fallos en el diseño de la medición más que por el sesgo individual, demostrando mediante un análisis de más de 50.000 artículos que las puntuaciones de los revisores son fundamentalmente incomparables entre áreas de investigación, lo que conduce a que las probabilidades de aceptación varíen hasta 8 veces para una misma puntuación dependiendo del tema.

Autores originales: Binyan Xu, Fan Yang, Xilin Dai, Kehuan Zhang

Publicado 2026-07-31

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Binyan Xu, Fan Yang, Xilin Dai, Kehuan Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Misterio de la Gran Tarjeta de Puntuación

Imagine una feria científica masiva y global donde miles de estudiantes brillantes presentan sus proyectos cada año. Para decidir quién obtiene un lugar en la exhibición final, un equipo de jueces otorga a cada proyecto una simple puntuación numérica, como una calificación del 1 al 10. La regla de la feria se supone que es simple y justa: un 7 significa "gran trabajo" sin importar de qué trate el proyecto. Ya sea que hayas construido un robot que baila, un programa que predice el clima o una nueva forma de enseñar a las computadoras a leer, un 7 debería significar lo mismo.

Pero, ¿qué pasaría si los jueces de la sección de "Robótica" son súper estrictos y solo dan 7 a robots perfectos, mientras que los jueces de la sección de "Clima" están súper emocionados y dan 7 a casi cualquier cosa que parezca una nube? Si no sabes a qué sección pertenece un proyecto, ese único número se vuelve confuso. Un 7 en un área puede ser un boleto dorado, mientras que un 7 en otra puede ser un rechazo cortés. Este es el rompecabezas que los investigadores en el campo del Aprendizaje Automático (Machine Learning) están tratando de resolver. Están analizando cómo las computadoras aprenden a reconocer patrones, tomar decisiones y resolver problemas, y se están haciendo una pregunta aterradora: ¿Es la "puntuación" que usamos para juzgar estos trabajos realmente justa, o depende enteramente de a qué club perteneces?

El Gran Descubrimiento del Documento: La Tarjeta de Puntuación está Rota

Este documento, escrito por un equipo de investigadores, profundiza en los datos de una importante conferencia de aprendizaje automático llamada ICLR. Analizaron más de 50,000 artículos presentados entre 2021 y 2026 para ver si la "puntuación" realmente significaba lo mismo para todos. Su conclusión es sorprendente: las puntuaciones no son comparables.

Piénselo como un videojuego donde los jugadores en diferentes niveles están usando controles diferentes. En los niveles "Tendencia" (como los temas nuevos y candentes de la IA), los controles son súper sensibles. Un toque diminuto te da una puntuación alta. En los niveles "Vieja Escuela" (como temas antiguos y establecidos), los controles son rígidos y difíciles de presionar. Si obtienes un 5.0 en el nivel de "Tendencia", podrías ser una superestrella. Pero si obtienes un 5.0 en el nivel de "Vieja Escuela", podrías estar pasando apuros. El documento encontró que, para la misma puntuación de revisor, la probabilidad de que un artículo sea aceptado puede ser hasta 8 veces mayor dependiendo de su tema.

Por ejemplo, un artículo sobre "pensamiento" o "razonamiento" con una puntuación de 5.0 tenía una probabilidad de aceptación del 52.6%. Pero un artículo sobre "reconocimiento de imágenes" o "ataques adversarios" con esa misma puntuación exacta de 5.0 solo tenía una probabilidad del 6.6%. ¡Esa es una diferencia de ocho veces! Los investigadores llaman a esto un "fallo de diseño de medición". No es que los revisores sean malos o que los presidentes de área sean sesgados; es que el sistema mismo está roto porque intenta usar una sola regla para medir cosas que son fundamentalmente diferentes.

Lo que NO es (Las Pistas Falsas)

Los autores fueron muy cuidadosos al descartar otras razones para esta brecha. Preguntaron: "¿Es porque los temas de 'Tendencia' son simplemente de mejor calidad?". La respuesta es no. Si eso fuera cierto, los artículos aceptados en esos temas calientes tendrían puntuaciones más altas. Por el contrario, los datos muestran lo opuesto: los temas calientes están aceptando artículos con puntuaciones más bajas que los temas fríos.

También verificaron si era porque los temas de "Vieja Escuela" tienen revisores súper expertos que son más difíciles de complacer. Los datos dicen que no de nuevo. Los revisores en las áreas difíciles de complacer no eran en realidad más confiados o expertos; estaban tan entusiastas como todos los demás.

Finalmente, se preguntaron si tal vez los temas de "Tendencia" estaban dejando pasar trabajos de menor calidad debido a que había demasiadas presentaciones (una "dilución de calidad"). Los datos mostraron ninguna relación entre qué tan rápido crecía un tema y cuánto caía la calidad. De hecho, algunos temas de rápido crecimiento mantuvieron sus tasas de aceptación estables mientras que otros se desplomaron.

El Verdadero Culpable: El "Ciclo de Hype" y el "Parche"

Entonces, ¿por qué está sucediendo esto? El documento argumenta que es un problema estructural. Cuando un tema es "caliente" (como una nueva y emocionante tendencia), atrae a una gran multitud de revisores nuevos y novatos que están emocionados y quizás un poco permisivos. Cuando un tema es "maduro" (como un campo antiguo y establecido), atrae a expertos senior que son más críticos. Debido a que el sistema no sabe quién está dando la puntuación, trata un "6" de un junior emocionado igual que un "6" de un senior gruñón.

Para solucionar esto, los Presidentes de Área (las personas que toman la decisión final de sí/no) tienen que adivinar. Usan sus "prioris de la comunidad"—básicamente, su intuición sobre qué tan difícil es que un artículo sea aceptado en ese tema específico. Esencialmente, están parcheando un sistema roto con su propia intuición. Esto significa que, para un artículo que se encuentra justo en el límite (un artículo "limítrofe"), su destino no se decide por qué tan bueno es el trabajo, sino por si el tema está "de moda" actualmente.

¿Qué Deberíamos Hacer?

El documento no solo señala el problema, sino que ofrece un plan de tres pasos para solucionarlo, sin necesidad de reconstruir completamente todo el sistema:

Ser Transparentes: Los organizadores de la conferencia deberían publicar un informe que muestre las tasas de aceptación para cada tema, desglosadas por puntuación. Si un artículo obtiene un 5.0, todos deberían poder ver: "Ah, un 5.0 en el Tema A se acepta el 50% de las veces, pero un 5.0 en el Tema B solo se acepta el 6% de las veces". Esto hace que el sesgo oculto sea visible.
Crear Reglas Personalizadas: En lugar de usar una escala genérica de "1 a 10" para todo, cada comunidad de investigación debería escribir su propia lista de verificación específica (rúbrica) sobre lo que hace que un buen artículo. Un "buen" artículo teórico se ve diferente de un "buen" artículo de ingeniería, y las reglas deben reflejarlo.
Usar Mejores Señales: El documento sugiere usar "señales calibradas". Por ejemplo, en lugar de mirar solo el número bruto, el sistema podría ajustar la puntuación basándose en el historial del revisor (¿solía dar puntuaciones altas o bajas?). También sugiere permitir que los autores clasifiquen sus propios artículos si presentan más de uno, lo que ayuda al sistema a entender la calidad relativa del trabajo mejor de lo que una puntuación bruta jamás podría.

La Conclusión

El documento concluye que el sistema actual es como una carrera donde los corredores en diferentes carriles están corriendo sobre superficies diferentes, pero todos son juzgados por el mismo cronómetro. Los corredores en los carriles "calientes" están obteniendo una ventaja inicial no porque sean más rápidos, sino porque la pista es más fácil. Los autores argumentan que hasta que no arreglemos la pista y hagamos que la puntuación sea justa en todos los carriles, los mejores artículos podrían seguir siendo rechazados simplemente porque están trabajando en un tema que no es "cool" en este momento. La solución no es culpar a los jueces, sino admitir que la regla que estamos usando tiene el tamaño equivocado para el trabajo.

Resumen Técnico: Las puntuaciones de los revisores no son comparables entre áreas de investigación en la revisión por pares de ML

1. Planteamiento del problema

El artículo identifica un fallo en el diseño de la medición en los procesos de revisión por pares de las principales conferencias de Aprendizaje Automático (ML), centrándose específicamente en ICLR. A medida que el volumen de envíos ha escalado de miles a decenas de miles, la dependencia de una escala de puntuación numérica fija (1–10) para determinar la aceptación se ha vuelto estructuralmente defectuosa.

El problema central es que las puntuaciones absolas de los revisores son incomparables entre diferentes áreas de investigación. El contrato implícito del sistema de revisión —que una puntuación específica (por ejemplo, 6.0) conlleva la misma probabilidad de aceptación independientemente del tema del artículo— se viola en la práctica. Los autores argumentan que los resultados de aceptación están moldeados por fuerzas que van más allá de las puntuaciones de los revisores, impulsadas por asignaciones de revisores estructuralmente no uniformes. Esto obliga a los Árbitros de Área (AC) a sustituir las decisiones basadas en puntuaciones por priors (conocimientos previos) de la comunidad, lo que conduce a disparidades sistemáticas donde los artículos en temas "tendencia" o "calientes" enfrentan umbrales de aceptación diferentes a aquellos en temas "maduros" o "fríos", incluso cuando reciben puntuaciones de revisores idénticas.

2. Metodología

El estudio es un análisis observacional basado en datos de ICLR 2021–2026, que cubren 50,289 artículos en 219 temas de investigación. Los autores utilizaron el repositorio PaperCopilot y BERTopic (derivado del texto de títulos y resúmenes) para construir una taxonomía granular de temas de investigación, la cual ofrece una granularidad más fina que las etiquetas oficiales de área principal.

El análisis procede a través de tres niveles de evidencia:

Análisis descriptivo: Comparación de tasas de aceptación (AR) brutas entre temas con intervalos de confianza de Wilson del 95%.
Análisis estructural: Ajuste de modelos de regresión logística ( $P(\text{aceptar}) = \sigma(\beta_0 + \beta_1 \cdot \text{puntuación})$ ) por tema para estimar el umbral de aceptación ( $\hat{\tau}$ ) donde un artículo tiene un 50% de probabilidad de aceptación.
Análisis sin modelo: Examen de las tasas de aceptación dentro de bandas de puntuación fijas (por ejemplo, $s \in [4.875, 5.125]$ ) para aislar el efecto de la identidad del tema del de la puntuación en sí misma.

Los autores descartaron rigurosamente cuatro explicaciones alternativas:

Cultura de puntuación: La hipótesis de que los temas de tendencia simplemente tienen puntuaciones base más altas.
Estándares de revisores expertos: La hipótesis de que las áreas de alto umbral cuentan con revisores más expertos y seguros de sí mismos.
Reponderación racional de los Árbitros de Área (AC): La hipótesis de que los AC ajustan racionalmente los pesos de Contribución frente a Solidez según el campo.
Dilución de la calidad: La hipótesis de que los campos en crecimiento sufren de una menor calidad media de los artículos.

3. Resultados clave

Disparidades en la tasa de aceptación: Existe una dispersión de 27.8 puntos porcentuales en las tasas de aceptación entre temas (desde un 18.3% para "reconocimiento" hasta un 46.0% para "campos de radiancia").
Variación del umbral: El umbral de aceptación (la puntuación requerida para una probabilidad de aceptación del 50%) varía significativamente por tema. Por ejemplo, los temas de "cadena de pensamiento" (chain-of-thought) tienen un umbral de 4.938, mientras que los temas de "funciones de activación/relu" tienen un umbral de 5.751.
La brecha de 8× (Hallazgo principal): Con puntuaciones de revisores idénticas, las probabilidades de aceptación varían drásticamente. Con una puntuación de 5.0, los artículos en temas de "optimización de políticas/razonamiento de LLM" tienen una tasa de aceptación del 52.6%, mientras que aquellos en temas de "CNN/robustez adversarial" tienen solo un 6.6%. Esto representa una diferencia de 8× en las probabilidades de aceptación para artículos que reciben exactamente la misma evaluación de los revisores.
Rechazo de alternativas:
- Explicación de calidad: Las áreas con mayores tasas de aceptación aceptan consistentemente artículos con menores puntuaciones medias de los revisores, lo que contradice la idea de que están aceptando artículos "mejores".
- Hipótesis de experto: No hay una correlación significativa entre la confianza del revisor y el umbral de aceptación de un tema ( $r = -0.102$ ). Las áreas de alta AR suelen ser atendidas por revisores entusiastas pero menos expertos.
- Reponderación racional: El análisis de subpuntuaciones muestra que las áreas de alto umbral exigen más tanto en Solidez como en Contribución simultáneamente, en lugar de intercambiar uno por otro.
- Dilución de la calidad: El crecimiento de los envíos en áreas específicas (por ejemplo, Datasets & Benchmarks creció +459%) no se correlacionó con descensos más pronunciados en las tasas de aceptación.

4. Mecanismo de la causa raíz

El artículo atribuye estas disparidades a una asignación de revisores estructuralmente no uniforme, lo que crea tres dimensiones de incomparabilidad que se agravan entre sí:

Profundidad de la experiencia: Las áreas "calientes" atraen a grandes grupos de revisores novatos con evaluaciones menos calibradas, mientras que las áreas maduras atraen a expertos sénior.
Cultura de puntuación: Diferentes comunidades interpretan la escala de 1 a 10 de manera distinta (por ejemplo, los métodos formales tratan un 8 como casi perfecto; el ML empírico trata un 6 como un aceptable sólido).
Base de novedad: Los revisores en áreas calientes calibran la novedad contra una frontera de alta novedad, elevando la vara, mientras que las áreas maduras tienen fronteras de movimiento más lento.

Consecuentemente, los AC deben confiar en los priors de la comunidad para interpretar las puntuaciones, reemplazando efectivamente la señal de calidad por una señal de identidad de tema. Esto se ve exacerbado por los "ciclos de hype", donde los temas emergentes disfrutan de una prima de aceptación temporal no relacionada con la calidad del artículo.

5. Significación y afirmaciones

El artículo afirma ser el primer estudio en identificar el desacoplamiento entre la puntuación y la aceptación a nivel de tema con identificación de mecanismos y la falsificación de explicaciones alternativas. Su significancia radica en desplazar la culpa del sesgo individual o el error del revisor hacia un fallo sistémico en el diseño de la medición.

Las afirmaciones clave incluyen:

La transparencia como prerrequisito: La opacidad actual de sedes como NeurIPS e ICLR impide la detección de estos patrones. Los autores argumentan que la transparencia es el prerrequisito para la rendición de cuentas y la reforma.
Viabilidad de la reforma: Las soluciones propuestas no requieren un rediseño fundamental del proceso de revisión, sino la adopción de señales calibradas y transparencia.
Limitación observacional: Los autores declaran explícitamente que su análisis es observacional y se limita a ICLR (el único foro con divulgación completa de revisiones). No pretenden identificar el efecto causal del tema de asignación sobre un artículo individual, sino documentar un patrón sistemático a nivel de población que la propia señal de calidad del sistema de revisión no puede explicar.

6. Acciones propuestas

El artículo hace un llamado a tres acciones interconectadas:

Comités de Programa: Publicar tasas de aceptación condicionadas a la puntuación y estratificadas por área como una métrica de equidad de primera clase para permitir la rendición de cuentas.
Comunidades de Investigación: Desarrollar rúbricas de revisión específicas por área para hacer explícitos los estándares implícitos de la comunidad, reduciendo los fallos de calibración entre revisores inexpertos.
Sedes/Conferencias: Suplementar las puntuaciones absolutas con señales calibradas, tales como perfiles de calibración de revisores, autocalificación de autores mediante el Mecanismo Isotónico, y una norma de priorizar las revisiones escritas sobre las puntuaciones agregadas para decisiones límite.