Position: Want Better ML Reviews? Stop Asking Nicely and Start Incentivizing with a Credit System

Dans le monde vaste et en pleine expansion de l'apprentissage automatique, un domaine dédié à l'enseignement aux ordinateurs comment apprendre à partir de données, un goulot d'étranglement critique est apparu, non pas dans la technologie elle-même, mais dans le processus humain utilisé pour la valider. Avant qu'une nouvelle découverte ne puisse être partagée avec le monde, elle doit passer par l'examen par les pairs, un système où des experts lisent et évaluent le travail de leurs collègues pour décider s'il mérite d'être publié. Pendant des décennies, ce processus s'est appuyé sur un simple contrat social : si vous voulez que votre travail soit publié, vous devez accepter d'évaluer le travail des autres. Cependant, alors que le nombre de articles de recherche a explosé pour atteindre des dizaines de milliers pour une seule grande réunion, cet accord poli a commencé à s'effriter. Le volume considérable de soumissions a submergé les experts disponibles, menant à des évaluations précipitées, des normes incohérentes et un sentiment croissant de frustration chez les scientifiques qui sentent que le système ne fonctionne plus comme prévu. La question fondamentale à laquelle la communauté est confrontée n'est plus seulement de savoir comment gérer la charge de travail, mais comment créer un système qui encourage réellement un retour d'information de haute qualité et réfléchi plutôt que de simplement cocher une case.

Un récent article de position de Shaochen (Henry) Zhong de l'Université Rice soutient que l'approche actuelle consistant à demander aux chercheurs d'être plus prudents ou de suivre de meilleures directives est insuffisante. L'auteur suggère que la communauté de l'apprentissage automatique a atteint un point où les demandes polies et les directives optimistes ne parviennent pas à résoudre la crise du volume de soumissions et de la qualité des examens. Au lieu de cela, l'article propose un changement radical vers un système qui traite l'examen comme une forme de monnaie. L'idée centrale est de remplacer l'actuel « système d'honneur » par une économie de crédit tangible, où les chercheurs gagnent des points pour leurs contributions au processus d'examen et peuvent dépenser ces points pour obtenir des privilèges spécifiques. Cette approche s'éloigne de la dépendance à la bonne volonté pour se diriger vers une structure où les bons comportements sont récompensés et où les mauvais comportements entraînent un coût mesurable.

L'article identifie deux principaux moteurs de la dysfonction actuelle. Premièrement, le nombre de papiers soumis aux grandes conférences a tellement augmenté qu'il est physiquement impossible pour les experts disponibles de consacrer à chacun l'attention qu'il mérite. Avec certaines conférences recevant plus de vingt mille soumissions, le système est contraint de prendre des décisions rapides, souvent arbitraires, pour faire avancer le processus. Deuxièmement, il y a un manque de conséquences pour les mauvais comportements. Un examinateur peut soumettre une critique méprisante, de faible effort ou même insensée sans crainte de répercussions, tandis qu'un examinateur qui fait un effort supplémentaire pour fournir un retour détaillé et constructif ne reçoit aucune reconnaissance tangible. L'auteur note que bien que certaines conférences aient essayé de limiter les soumissions en plafonnant le nombre de papiers qu'un auteur peut soumettre, ces mesures échouent souvent car elles ne traitent pas la cause profonde : l'absence de contrepartie pour la soumission de travaux non prêts ou l'absence de récompense pour le travail difficile de l'examen de qualité.

Pour remédier à ces problèmes, l'auteur propose un système appelé « OpenReview Points ». Dans ce modèle, les chercheurs gagneraient des points en effectuant des tâches spécifiques, telles que la rédaction d'un examen standard, l'aide à un examen d'urgence ou le fait d'être reconnu comme un examinateur exceptionnel. Ces points fonctionneraient ensuite comme une monnaie flexible qui pourrait être dépensée à travers différentes grandes conférences. Par exemple, un chercheur pourrait dépenser des points pour demander une exemption de devoir d'examen, pour demander qu'un expert supplémentaire se prononce sur un papier controversé, ou même pour obtenir l'inscription gratuite à une conférence. Le système est conçu pour être granulaire et exécutoire, permettant aux organisateurs de récompenser les bons comportements et de pénaliser les mauvais comportements de manière plus nuancée que l'approche actuelle du « tout ou rien ».

L'article argumente explicitement contre plusieurs solutions existantes que la communauté a essayées. Il suggère que demander simplement aux examinateurs d'être plus aimables ou plus approfondis est inefficace car cela repose sur une motivation que le système actuel ne soutient pas. Il critique également l'idée de limites strictes et rigides sur le nombre de papiers qu'un auteur peut soumettre, notant que de telles règles conduisent souvent les équipes à simplement retirer les noms des papiers pour respecter le plafond, plutôt qu'à réellement réduire le nombre de soumissions. De plus, l'auteur met en garde contre les sanctions sévères, telles que le rejet d'un papier parce qu'un examinateur a été peu impliqué, car elles sont des instruments trop grossiers pour gérer la large gamme de comportements de mauvaise qualité d'examen. Au lieu de cela, le système de crédit proposé offre un juste milieu où les pénalités peuvent être proportionnelles, comme la déduction de points pour un examen de faible qualité, ce qui sert de moyen de dissuasion sans détruire la carrière d'un chercheur.

Une composante clé de la proposition est l'idée de « garanties procédurales fines ». L'auteur expose quatre mécanismes spécifiques pour empêcher le système d'être abusé. Premièrement, le système restreindrait certaines actions à des rôles spécifiques, garantissant que seuls les auteurs principaux d'un papier puissent dépenser des points pour demander de l'aide supplémentaire, empêchant ainsi de transférer la charge sur des membres d'équipe moins responsables. Deuxièmement, il y aurait des limites supérieures sur la fréquence à laquelle certaines actions peuvent être entreprises, empêissant quiconque de « cultiver » des points en soumettant un grand nombre d'examens de faible effort. Troisièmement, le système utiliserait une tarification dynamique, ce qui signifie que plus un chercheur utilise un privilège particulier, plus celui-ci coûte en points, garantissant que les ressources rares soient réservées aux besoins les plus critiques. Enfin, le système s'appuierait sur le vote par les pairs pour juger la qualité des examens, permettant à la communauté d'identifier et de pénaliser collectivement les mauvais acteurs tout en récompensant ceux qui fournissent un feedback exceptionnel.

L'auteur reconnaît que ce système n'est pas exempt de défis et de potentiels inconvénients. Il existe une crainte qu'un système de crédit puisse favoriser les chercheurs qui disposent déjà de plus de temps et de ressources, leur permettant d'« acheter » leur sortie de leurs responsabilités. Cependant, l'article soutient que puisque les points sont gagnés par le travail plutôt qu'achetés avec de l'argent, le système récompense l'effort plutôt que la richesse. Il existe également le risque que le système puisse être manipulé ou que les points perdent de leur valeur au fil du temps, de la même manière que l'inflation dans une véritable économie. Pour contrer cela, l'auteur suggère que les points devraient expirer après une certaine période et que le système devrait être déployé progressivement, en commençant par des avantages existants comme l'inscription gratuite aux conférences avant d'introduire des fonctionnalités plus complexes.

L'article conclut en soulignant que l'objectif n'est pas de créer un système parfait, mais de rendre le système actuel plus durable et responsable. L'auteur suggère que les premières conférences à adopter ce système devraient commencer modestement, en utilisant des récompenses existantes pour tester le terrain avant d'élargir la portée. En suivant des indicateurs clés et en partageant des données entre les différentes conférences, la communauté peut apprendre ce qui fonctionne et ce qui ne fonctionne pas, construisant finalement un cadre partagé qui profite à tous. La vision ultime est un processus d'examen par les pairs où le bon comportement est reconnu et récompensé, où les chercheurs ont un intérêt dans la qualité du système, et où la frustration de l'ère actuelle est remplacée par un échange d'idées plus fonctionnel et équitable. Cette proposition représente un passage de la confiance dans l'espoir que les chercheurs feront ce qu'il faut à la création d'une structure où faire ce qu'il faut est le choix le plus logique et le plus bénéfique.