Position: Want Better ML Reviews? Stop Asking Nicely and Start Incentivizing with a Credit System

En el vasto y rápidamente expandiéndose mundo del aprendizaje automático, un campo dedicado a enseñar a las computadoras a aprender de los datos, ha surgido un cuello de botella crítico, no en la tecnología misma, sino en el proceso humano utilizado para validarla. Antes de que un nuevo descubrimiento pueda ser compartido con el mundo, debe pasar por la revisión por pares, un sistema donde los expertos leen y evalúan el trabajo de sus colegas para decidir si es digno de publicación. Durante décadas, este proceso ha dependido de un simple contrato social: si quieres que tu trabajo sea publicado, debes aceptar revisar el trabajo de otros. Sin embargo, a medida que el número de artículos de investigación ha explotado hasta alcanzar decenas de miles para una sola reunión importante, este acuerdo cortés ha comenzado a deshilacharse. El enorme volumen de envíos ha abrumado a los expertos disponibles, lo que ha llevado a evaluaciones apresuradas, estándares inconsistentes y un creciente sentimiento de frustración entre los científicos que sienten que el sistema ya no funciona como se pretendía. La pregunta central que enfrenta la comunidad ya no es solo cómo gestionar la carga de trabajo, sino cómo crear un sistema que realmente fomente una retroalimentación de alta calidad y reflexiva, en lugar de simplemente marcar una casilla.

Un reciente artículo de posición de Shaochen (Henry) Zhong, de la Universidad de Rice, argumenta que el enfoque actual de pedir a los investigadores que sean más cuidadosos o que sigan mejores directrices es insuficiente. El autor sugiere que la comunidad de aprendizaje automático ha llegado a un punto en el que las peticiones amables y las directrices optimistas están fallando en resolver la crisis del volumen de envíos y la calidad de la revisión. En su lugar, el artículo propone un cambio radical hacia un sistema que trate la revisión como una forma de moneda. La idea central es reemplazar el actual "sistema de honor" con una economía de crédito tangible, donde los investigadores ganen puntos por sus contribuciones al proceso de revisión y puedan gastar esos puntos para obtener privilegios específicos. Este enfoque se aleja de depender de la buena voluntad y se dirige hacia una estructura donde el buen comportamiento es recompensado y el mal comportamiento conlleva un costo mensurable.

El artículo identifica dos motores principales de la disfunción actual. Primero, el número de artículos enviados a las conferencias principales ha crecido tanto que es físicamente imposible que los expertos disponibles dediquen a cada uno la atención que merece. Con algunas conferencias recibiendo más de veinte mil envíos, el sistema se ve obligado a tomar decisiones rápidas y a menudo arbitrarias para mantener el proceso en marcha. Segundo, existe una falta de consecuencias para el mal comportamiento. Un revisor puede enviar una crítica despectiva, de bajo esfuerzo o incluso absurda sin temor a represalias, mientras que un revisor que se esfuerza más para proporcionar una retroalimentación detallada y constructiva no recibe ningún reconocimiento tangible. El autor señala que, si bien algunas conferencias han intentado limitar los envíos limitando el número de artículos que un autor puede enviar, estas medidas suelen fallar porque no abordan la causa raíz: la falta de una consecuencia negativa por enviar trabajos no preparados o la falta de una recompensa por realizar el arduo trabajo de revisar bien.

Para abordar estos problemas, el autor propone un sistema llamado "Puntos de OpenReview". En este modelo, los investigadores ganarían puntos realizando tareas específicas, como escribir una revisión estándar, ayudar con una revisión de emergencia o ser reconocidos como un revisor excepcional. Estos puntos funcionarían entonces como una moneda flexible que podría gastarse en diferentes conferencias importantes. Por ejemplo, un investigador podría gastar puntos para solicitar una exención de un deber de revisión, para pedir que un experto adicional intervenga en un artículo controversial, o incluso para canjear una cuota de inscripción gratuita para una conferencia. El sistema está diseñado para ser granular y ejecutable, permitiendo a los organizadores recompensar el buen comportamiento y penalizar el mal comportamiento de maneras más matizadas que el enfoque actual de "todo o nada".

El artículo argumenta explícitamente en contra de varias soluciones existentes que la comunidad ha intentado. Sugiere que simplemente pedir a los revisores que sean más amables o minuciosos es ineficaz porque depende de una motivación que el sistema actual no respalda. También critica la idea de establecer límites estrictos y rígidos al número de artículos que un autor puede enviar, señalando que tales reglas a menudo llevan a que los equipos simplemente eliminen nombres de los artículos para ajustarse al límite, en lugar de reducir realmente el número de envíos. Además, el autor advisa que las penalizaciones severas, como rechazar un artículo porque un revisor fue de bajo esfuerzo, son instrumentos demasiado toscos para manejar la amplia gama de comportamientos de revisión deficientes. En su lugar, el sistema de crédito propuesto ofrece un punto medio donde las penalizaciones pueden ser proporcionales, como deducir puntos por una revisión de baja calidad, lo que sirve como un disuasivo sin destruir la carrera de un investigador.

Un componente clave de la propuesta es la idea de "salvaguardas procesales granulares". El autor describe cuatro mecanismos específicos para evitar que el sistema sea abusado. Primero, el sistema restringiría ciertas acciones a roles específicos, asegurando que solo los autores principales de un artículo puedan gastar puntos para solicitar ayuda adicional, evitando que la carga se traslade a miembros del equipo con menos responsabilidad. Segundo, habría límites superiores sobre la frecuencia con la que se pueden realizar ciertas acciones, evitando que alguien pueda "farmear" puntos mediante el envío de un gran número de revisiones de bajo esfuerzo. Tercero, el sistema utilizaría precios dinámicos, lo que significa que cuanto más use un investigador un privilegio particular, más costará en puntos, asegurando que los recursos escasos se reserven para las necesidades más críticas. Finalmente, el sistema dependería de la votación de pares para juzgar la calidad de las revisiones, permitiendo que la comunidad identifique y penalice colectivamente a los malos actores mientras recompensa a quienes proporcionan una retroalimentación excepcional.

El autor reconoce que este sistema no está exento de desafíos y posibles desventajas. Existe la preocupación de que un sistema de crédito pueda favorecer a los investigadores que ya tienen más tiempo y recursos, permitiéndoles "comprar" su salida de las responsabilidades. Sin embargo, el artículo argumenta que, debido a que los puntos se ganan a través del trabajo y no se compran con dinero, el sistema recompensa el esfuerzo en lugar de la riqueza. También existe el riesgo de que el sistema pueda ser manipulado o que los puntos pierdan valor con el tiempo, de manera similar a la inflación en una economía real. Para contrarrestar esto, el autor sugiere que los puntos deberían expirar después de un período determinado y que el sistema debería implementarse gradualmente, comenzando con beneficios existentes como la inscripción gratuita a conferencias antes de introducir características más complejas.

El artículo concluye enfatizando que el objetivo no es crear un sistema perfecto, sino hacer que el actual sea más sostenible y responsable. El autor sugiere que las primeras conferencias en adoptar este sistema deberían comenzar poco a poco, utilizando recompensas existentes para tantear el terreno antes de expandir el alcance. Al rastrear métricas clave y compartir datos entre las diferentes conferencias, la comunidad puede aprender qué funciona y qué no, construyendo eventualmente un marco compartido que beneficie a todos. La visión final es un proceso de revisión por pares donde el buen comportamiento sea reconocido y recompensado, donde los investigadores tengan un interés en la calidad del sistema, y donde la frustración de la era actual sea reemplazada por un intercambio de ideas más funcional y justo. Esta propuesta representa un cambio de confiar en la esperanza de que los investigadores harán lo correcto a crear una estructura donde hacer lo correcto sea la opción más lógica y beneficiosa.