📊 statistics

Rejoinder: The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review

Esta réplica aborda la retroalimentación sobre el Experimento de Clasificación de ICML 2023 estructurando su respuesta en torno a cuatro temas clave: enmarcar la revisión por pares como estimación estadística, mitigar problemas de equidad y estratégicos en el Mecanismo Isotónico, integrar señales complementarias como las clasificaciones de los revisores y proponer un marco centrado en el ser humano para la era de la inteligencia artificial generativa.

Autores originales: Buxin Su, Jiayao Zhang, Natalie Collina, Yuling Yan, Didong Li, Kyunghyun Cho, Jianqing Fan, Aaron Roth, Weijie Su

Publicado 2026-05-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Buxin Su, Jiayao Zhang, Natalie Collina, Yuling Yan, Didong Li, Kyunghyun Cho, Jianqing Fan, Aaron Roth, Weijie Su

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el mundo de la investigación de informática de primer nivel (específicamente la Inteligencia Artificial) como un enorme y caótico festival de música. Cada año, miles de bandas (investigadores) quieren tocar en el escenario principal (publicar sus artículos). Pero solo hay unos cientos de jueces (revisores) para escucharlos, y el festival crece tan rápido que los jueces se ahogan en las solicitudes.

Los autores de este artículo, un equipo de estadísticos y científicos de la computación, argumentan que debemos dejar de tratar este festival como un simple concurso de popularidad y empezar a tratarlo como un rompecabezas estadístico. Aquí tienes un desglose de sus ideas utilizando analogías cotidianas:

1. El Problema: Demasiadas Entradas, Pocos Jueces

El festival está explotando. En 2026, recibieron más de 26.000 canciones para juzgar. Los jueces están cansados y no pueden escuchar cada canción perfectamente. A veces un juez está teniendo un mal día, a veces simplemente no "entiende" un género específico, y a veces la música es simplemente demasiado buena o demasiado mala para que puedan juzgarla con equidad.

Los autores dicen: "No podemos simplemente dejar que la multitud decida (como contar 'me gusta' en las redes sociales) porque la multitud no es lo suficientemente experta. Necesitamos una mejor manera de averiguar qué canciones son realmente las mejores".

2. La Solución: La "Lista de Reproducción del Autor" (El Mecanismo Isotónico)

Los autores proponen un truco inteligente llamado el Mecanismo Isotónico.

La Analogía: Imagina que eres un juez en un concurso de cocina. Tienes que calificar 100 platos. Podrías ser un poco severo con la comida picante o un poco demasiado indulgente con los postres. Tus puntuaciones son "ruidosas" (un poco desordenadas).
Ahora, imagina que el chef (el autor) que preparó el plato está justo allí. Conoce su propia comida mejor que nadie. Sabe exactamente cómo sus 10 platos se comparan entre sí.

La Vieja Forma: El chef simplemente dice: "Mi plato es un 9 sobre 10". (Esto es fácil de mentir; todos quieren un 10).
La Nueva Forma: Se le pide al chef que clasifique sus propios 10 platos del mejor al peor. "El plato A es mejor que el plato B, que a su vez es mejor que el plato C".

Por qué funciona: Es muy difícil mentir sobre una clasificación de tu propio trabajo sin ser descubierto. Si dices que tu "Plato C" es el mejor, pero tu "Plato A" es realmente terrible, las matemáticas pueden detectar la mentira. Al pedir a los autores que clasifiquen sus propias presentaciones, el sistema puede "limpiar" las puntuaciones desordenadas de los jueces. Es como usar el propio conocimiento del chef para corregir la mala audición del juez.

3. Abordando la Preocupación de la "Injusticia"

Algunas personas se preocuparon: "¿Qué pasa si un chef famoso con 50 platos obtiene una gran ventaja sobre un chef nuevo con solo 2 platos? El sistema de clasificación funciona mejor para la persona con más elementos que clasificar".

La Solución de los Autores: Se dieron cuenta de que si permites que una sola persona clasifique todo, es injusto. Por lo tanto, sugieren una estrategia de "agrupación".

La Analogía: En lugar de pedirle al chef famoso que clasifique los 50 platos en una fila gigante, pídele que los agrupe en pequeños "menús de degustación" (por ejemplo, "El Menú de Sopas", "El Menú de Postres"). Clasifica las sopas entre sí y los postres entre sí.
El Resultado: Esto nivela el campo de juego. Las matemáticas muestran que incluso con esta agrupación, el sistema sigue haciendo las puntuaciones mucho más precisas, pero evita que los chefs famosos dominen los resultados solo porque tienen más entradas.

4. El Problema de la "Estrategia": ¿Pueden los Chefs Engañar?

Los autores admiten que si la clasificación realmente decide quién toca en el escenario principal, los chefs podrían intentar manipular el sistema.

El Riesgo: Un chef podría clasificar un plato terrible como "excelente" solo para que sea aceptado, o clasificar su mejor plato más bajo para "guardarlo" para el próximo año.
La Realidad: Los autores dicen: "No podemos detener todo el engaño, pero podemos diseñar las reglas para hacerlo más difícil". Sugieren comenzar pequeño (usando las clasificaciones solo para señalar qué artículos necesitan una segunda mirada, en lugar de aceptarlos o rechazarlos inmediatamente) para que podamos aprender cómo se comportan las personas antes de convertirlo en un juego de alto riesgo.

5. El Futuro: Humanos + IA, No IA vs. Humanos

El artículo termina con una visión general. La Inteligencia Artificial está cambiando cómo se escribe y revisa la investigación. La IA puede escribir código, verificar matemáticas e incluso redactar revisiones.

La Postura de los Autores:

No reemplazar a los humanos. La IA es una herramienta, como una calculadora súper potente. Puede organizar los datos y encontrar patrones, pero no debería ser el juez final.
El "Humano en el Bucle": Piensa en la IA como el técnico de escenario que configura las luces y organiza los instrumentos. El juez humano es quien decide si la música es realmente buena.
¿Por qué? Porque la ciencia no se trata solo de datos; se trata de creatividad, ética y "gusto". La IA podría perder el alma sutil de un artículo o alucinar (inventar cosas). Los humanos deben mantenerse a cargo de la decisión final.

Resumen

El artículo argumenta que para arreglar el sistema abrumado de juzgar la investigación en IA, debemos tratarlo como un problema matemático. Al pedir a los autores que clasifiquen honestamente su propio trabajo, podemos "desruidar" las puntuaciones de los jueces y encontrar los mejores artículos con mayor precisión. Sin embargo, debemos tener cuidado de no permitir que el sistema sea manipulado, y debemos asegurarnos de que, aunque la IA nos ayude a organizar el caos, los humanos sigan siendo quienes sostienen el mazo.

Resumen Técnico: El Experimento de Clasificación de ICML 2023

Formulación del Problema
El artículo enmarca el proceso de revisión por pares en conferencias de Aprendizaje Automático (ML) e Inteligencia Artificial (IA) como un problema de estimación estadística. Con volúmenes de envío que crecen exponencialmente (por ejemplo, ICML 2026 recibiendo 26.600 envíos válidos) y la oferta de revisores calificados que no logra mantener el ritmo, la comunidad enfrenta un desafío en la estimación de la calidad latente ( $\theta_i$ ) de decenas de miles de envíos basándose en señales ruidosas. Las puntuaciones tradicionales de revisión (por ejemplo, escalas de 1 a 8) se consideran estimadores ruidosos de esta calidad latente, influenciados por el sesgo del revisor, la varianza y el comportamiento estratégico. Los autores argumentan que, aunque el "mercado" (por ejemplo, las estrellas de GitHub) no puede reemplazar la revisión por pares formal debido a la necesidad de filtrar de manera fiable la corrección y la novedad, el propio proceso de estimación debe mejorarse para manejar la escala y la velocidad de la investigación moderna en IA.

Metodología: El Mecanismo Isotónico
La contribución central es la aplicación del Mecanismo Isotónico, un método desarrollado para elicitar información privada veraz de los autores con el fin de reducir el ruido en las puntuaciones de revisión.

Concepto: El mecanismo trata a los autores como partes interesadas estratégicas que poseen conocimiento privado sobre la calidad relativa de sus propios envíos. Al pedir a los autores que clasifiquen sus propios envíos, el sistema puede aprovechar esta información comparativa interna.
Estructura de Incentivos: El mecanismo está diseñado de tal manera que, bajo restricciones específicas, los autores tienen incentivos para informar sus clasificaciones verdaderas. Esto desplaza el enfoque de monitorear únicamente a los revisores a incorporar señales provenientes de los autores.
Integración: Las puntuaciones calibradas derivadas de estas clasificaciones se utilizan para ajustar las puntuaciones de revisión crudas. En el experimento de ICML 2023, estas puntuaciones ajustadas se utilizaron principalmente para dirigir la atención de los Presidentes de Área (AC) en lugar de tomar decisiones automáticas de aceptación o rechazo, sirviendo como un despliegue de bajo riesgo para probar la eficacia.
Extensiones: El artículo discute extensiones potenciales, incluyendo:
- Particionamiento por Temas: Para abordar preocupaciones sobre la heterogeneidad en la mejora (donde los autores prolíficos podrían beneficiarse de manera desproporcionada), los autores proponen particionar los envíos de un autor en bloques más pequeños basados en temas. Esto permite que el mecanismo se aplique de forma independiente dentro de los bloques, suavizando la influencia de la longitud de la clasificación.
- Señales Complementarias: El marco está diseñado para integrarse con otras señales, como clasificaciones de revisores, comparaciones por pares, metadatos estructurados (por ejemplo, teórico vs. empírico) y auto-predicciones.

Resultados y Hallazgos Clave
Basado en el experimento de ICML 2023 y el análisis posterior:

Precisión de la Estimación: El Mecanismo Isotónico mejora significativamente la precisión de la estimación de calidad. El artículo reporta una reducción en el Error Cuadrático Medio (MSE) y el Error Absoluto Medio (MAE) en comparación con las puntuaciones de revisión crudas.
Mitigación de la Heterogeneidad: Aunque las preocupaciones iniciales sugerían que los autores con muchos envíos obtendrían beneficios de calibración desproporcionados, el análisis muestra que el efecto de promediado entre coautores diluye esta influencia. Además, la variante propuesta de "partición por temas" iguala aún más la mejora relativa entre autores con diferentes conteos de envíos. Por ejemplo, bajo la variante de partición, la pendiente de regresión del porcentaje de mejora sobre el conteo de envíos disminuye significativamente (por ejemplo, la pendiente del MSE de 1.97 a 1.24), lo que indica una distribución más equitativa de las ganancias.
Poder Predictivo: Un estudio de seguimiento (Su et al., 2025a) indica que las propias clasificaciones de los autores son predictores poderosos de futuras citas.
Comportamiento Estratégico: El artículo reconoce que en un despliegue de alto riesgo (donde las puntuaciones influyen directamente en la aceptación), podría surgir un comportamiento estratégico (por ejemplo, clasificar artículos para maximizar los conteos de aceptación en lugar de la verdad). Sin embargo, los autores argumentan que son necesarios despliegues de bajo riesgo, aleatorizados o escalonados para estudiar y mitigar estos comportamientos antes de la implementación a gran escala.

Significado y Afirmaciones
El artículo se posiciona no como una solución final a la revisión por pares, sino como un paso hacia una reforma centrada en el ser humano del sistema de publicación científica en la era de la IA.

Perspectiva Estadística: Afirma que ver la revisión por pares como un problema de estimación permite a los estadísticos contribuir rigurosamente al campo a través del diseño de mecanismos y la reducción de ruido.
Humano en el Bucle: Los autores enfatizan que el Mecanismo Isotónico no reemplaza el juicio humano ni a los revisores. En su lugar, integra una señal humana adicional (clasificaciones de autores) con las puntuaciones de revisión existentes para mejorar la fiabilidad del proceso de estimación.
Contexto de IA: El artículo argumenta que, a medida que las herramientas de IA asisten cada vez más en la escritura y la revisión, las señales tradicionales de calidad (por ejemplo, el lenguaje pulido) podrían volverse menos fiables. En este contexto, elicitar conocimiento humano contextual a través de mecanismos alineados con incentivos se vuelve más valioso.
Agenda Futura: Los autores solicitan una agenda de investigación más amplia que involucre el diseño de mecanismos que tengan en cuenta estructuras de incentivos complejas, la integración de señales diversas (clasificaciones de revisores y autores) y el desarrollo de sistemas de publicación híbridos que equilibren la diseminación rápida con la auditoría posterior a la publicación. Destacan que la intersección del diseño de mecanismos y el modelado estadístico representa una frontera rica para la comunidad estadística.

El artículo concluye señalando que, aunque el experimento de ICML 2023 fue una prueba voluntaria de bajo riesgo, un experimento aleatorizado con resultados consecuentes está en marcha en ICML 2026 para validar aún más estos hallazgos.