An Investigation of the NeurIPS and ICML 2025 Position Tracks
Cet article audite les « Position Tracks » de NeurIPS et ICML 2025 pour soutenir que, bien que le bassin de soumissions actuel soit dominé par des critiques réformistes, les conférences devraient explicitement solliciter des travaux de définition d'orientation qui fournissent de nouveaux artefacts et programmes expérimentaux pour déplacer l'agenda du domaine.
Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de la recherche en intelligence artificielle, les conférences agissent comme les grands gardiens du progrès. Lorsque les scientifiques veulent partager une nouvelle idée, ils la soumettent à ces rassemblements, où un panel de pairs décide si le travail est assez bon pour être publié et discuté. Parmi les plus prestigieux de ces rassemblements figurent NeurIPS et ICML, qui donnent le ton de ce que l'ensemble du domaine considère comme important. Au sein de ces conférences massives, il existe une section spéciale appelée le « Position Paper Track » (piste des articles de position). Contrairement aux articles de recherche standards qui présentent de nouvelles données ou un outil achevé, les articles de position sont censés être visionnaires. Ils sont destinés à plaider pour une nouvelle direction, à défier la communauté de penser différemment, ou à proposer une nouvelle façon de résoudre les problèmes. L'objectif n'est pas seulement de corriger une petite erreur dans une méthode existante, mais de changer l'agenda entier du domaine, un peu comme un capitaine dirigeant un navire vers un nouvel horizon plutôt que de simplement polir le pont.
Cependant, une enquête récente sur les soumissions de 2025 pour ces pistes suggère que la boussole pourrait pointer dans une direction plus étroite qu'initialement prévu. Les chercheurs Fan Yang, Wenkai Li et Jun Liu ont décidé d'auditer le vivier de documents publiquement disponibles de ces deux conférences majeures pour voir quels types d'arguments étaient réellement avancés. Ils ont examiné 191 articles qui ont été évalués et ont trouvé un schéma frappant : la grande majorité ne traçait pas de nouveaux caps. Au lieu de cela, ils se concentraient sur la réparation de ce qui existait déjà. Environ trois quarts des articles étaient des « critiques réformistes », ce qui signifie qu'ils soutenaient que les benchmarks, les méthodes d'évaluation ou les jeux de données actuels étaient défaillants et nécessitaient un ajustement. Bien que ces critiques soient souvent rigoureuses et précieuses, elles représentaient un type de travail différent de la vision audacieuse et programmatique que la piste était censée accueillir. Les auteurs ont constaté que les articles proposant des directions entièrement nouvelles étaient rares, et que les articles qui en proposaient ne recevaient pas nécessairement de scores plus élevés de la part des évaluateurs.
Les chercheurs ont comparé ce paysage actuel avec une « classe de référence » d'articles célèbres de la dernière décennie qui ont réussi à déplacer le focus du domaine, tels que le travail ayant introduit l'architecture Transformer ou l'article ayant défini concrètement les problèmes de sécurité de l'IA. Ces points de bascule historiques partageaient un trait commun : ils ne se contentaient pas de dire ce qui n'allait pas ; ils donnaient à la communauté quelque chose de nouveau sur quoi construire. Ils fournissaient un nouveau protocole de mesure, une implémentation simplifiée, une fiche de données (dataset card), ou une expérience falsifiable que d'autres pouvaient immédiatement utiliser pour tester la nouvelle idée. En revanche, le vivier de 2025 évalués était dominé par des articles qui critiquaient les outils existants sans offrir de nouveau cadre opérationnel pour les remplacer. L'étude suggère que le processus d'examen des conférences est devenu par inadvertance un filtre qui favorise les corrections incrémentales sûres au détriment des propositions visionnaires et risquées. Ce n'est pas parce que les évaluateurs rejettent les idées ambitieuses d'emblée, mais parce que le système récompense le travail facile à vérifier à court terme, laissant le travail plus difficile et plus spéculatif consistant à définir l'avenir largement inexploré.
Pour comprendre pourquoi ce déséquilibre existe, les auteurs ont proposé plusieurs raisons ancrées dans la manière dont les êtres humains et les institutions fonctionnent. Premièrement, il est plus facile de prouver qu'une méthode actuelle est défectueuse que de prouver qu'une nouvelle direction non tentée est la bonne. Une critique d'un benchmark existant peut être testée avec une expérience simple, tandis qu'une proposition pour une nouvelle voie de recherche nécessite un acte de foi plus difficile à défendre dans une évaluation écrite. Deuxièmement, la culture de l'apprentissage automatique récompense fortement les chiffres empiriques et les tests rigoureux, ce qui favorise naturellement les articles capables de produire des données immédiates plutôt que ceux qui offrent une nouvelle perspective. Troisièmement, les incitations de carrière jouent un rôle ; un jeune chercheur peut sentir que proposer une nouvelle direction radicale est trop risqué pour ses perspectives d'emploi, alors que critiquer une pratique existante est une contribution sûre et citable. La combinaison de ces pressions crée une boucle de rétroaction où le vivier visible d'articles enseigne aux futurs auteurs que les « articles de position » sont simplement des critiques du statu quo, plutôt que des plans pour le futur.
Les auteurs ne soutiennent pas que les critiques réformistes sont mauvaises ou qu'elles devraient être supprimées. En fait, ils reconnaissent que ces articles sont souvent de haute qualité et nécessaires. Le problème est une question d'équilibre. Si un lieu créé pour fixer l'agenda est dominé par des articles qui ne font qu'ajuster l'agenda actuel, le domaine peut perdre sa capacité à pivoter vers de véritables frontières nouvelles. L'étude conclut que la solution ne nécessite pas une refonte complète du processus d'examen, mais plutôt quelques incitations ciblées. Les auteurs suggèrent que les organisateurs de conférences pourraient explicitement demander aux auteurs d'indiquer si leur article est une critique du présent ou une proposition pour le futur. Ils recommandent également d'exiger une phrase expliquant comment une nouvelle idée pourrait être infirmée, forçant ainsi les auteurs à rendre leurs affirmations plus concrètes. Enfin, ils proposent que les organisateurs sollicitent activement des articles qui associent une nouvelle perspective à un artefact tangible, tel qu'un nouveau jeu de données ou un programme expérimental simple, afin de rendre la vision opérationnelle. En apportant ces petits changements, la communauté peut s'assurer que la piste des articles de position remplit sa promesse originelle : non pas seulement réparer ce qui est cassé, mais nous montrer où aller ensuite.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.