An Investigation of the NeurIPS and ICML 2025 Position Tracks
本論文は、NeurIPSおよびICML 2025のPosition Trackを監査し、現在の投稿プールが改革的な批判に支配されている一方で、これらの会場は、分野のアジェンダを転換させるための新たなアーティファクトや実験プログラムを提供する、方向性を提示する研究を明示的に勧誘すべきであることを論じるものである。
原論文は CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) のもとパブリックドメインに提供されています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
人工知能研究の世界において、カンファレンスは進歩の偉大なる門番として機能している。科学者が新しいアイデアを共有したいとき、彼らはこれらの集まりに論文を投稿し、そこで査読者によるピアレビューを経て、その研究が発表し議論するに値するものであるかどうかが決定される。これらの集まりの中でも、NeurIPSやICMLは最も権威のあるものの一つであり、分野全体が何を重要と見なすべきかのトーンを設定している。これら大規模なカンファレンスの内部には、「ポジション・ペーパー・トラック（Position Paper Track）」と呼ばれる特別なセクションがある。新しいデータや完成したツールを提示する標準的な研究論文とは異なり、ポジション・ペーパーは「ビジョナリー（先見的）」であることを目的としている。それらは、新しい方向性を主張したり、コミュニティに異なる考え方を促したり、あるいは問題解決のための新鮮な手法を提案したりすることを意図している。その目標は、単に既存の手法の小さな誤りを修正することではなく、まるでデッキを磨き上げるのではなく、船長が船を新しい地平へと導くように、分野全体の議題（アジェンダ）を転換させることにある。
しかし、これら両トラックへの2025年度の投稿に関する最近の調査は、コンパスが意図されたよりも狭い方向を向いている可能性を示唆している。研究者のFan Yang、Wenkai Li、Jun Liuは、これら二つの主要なカンファレンスから公開されている論文のプールを監査し、実際にどのような議論が行われているのかを調査することに決めた。彼らは査読済みの191報の論文を分析し、驚くべきパターンを見出した。大多数の論文は、新しい航路を設定するものではなかったのだ。むしろ、それらは既存のものを修正することに焦点を当てていた。約4分の3の論文は「改革主義的な批判（reformist critiques）」であり、現在のベンチマーク、評価方法、またはデータセットに欠陥があり、調整が必要であると主張するものだった。これらの批判はしばしば厳格で価値のあるものであったが、それらはこのトラックがホストすべき、議題を設定するような大胆なビジョンとは異なる種類の仕事であった。著者らは、全く新しい方向性を提案する論文は稀であり、それらを提案した論文であっても、必ずしも査読者から高いスコアを得ているわけではないことを発見した。
研究者たちは、現在の状況を、Transformerアーキテクチャを導入した研究や、AIにおける具体的な安全性問題を定義した論文など、分野の焦点を成功裏に移し替えた過去10年間の有名な論文という「リファレンス・クラス」と比較した。これらの歴史的な転換点には共通の特徴があった。それらは単に何が間違っているかを論じるだけでなく、コミュニティがその上に構築できる「何か新しいもの」を提供していたのである。彼らは、新しい測定プロトコル、トイ・インプリメンテーション（簡便な実装）、データセットカード、あるいは他者が新しいアイデアをテストするために即座に使用できる反証可能な実験を提供した。対照的に、2025年の査読済み論文のプールは、既存のツールを批判するだけで、それを置き換えるための新しい運用フレームワークを提示しない論文によって支配されていた。この研究は、カンファレンスの査読プロセスが、意図せずして、リスクの高いビジョナリーな提案よりも、安全で漸進的な修正を好むフィルターになってしまっていることを示唆している。これは、査読者が野心的なアイデアを即座に却下しているからではなく、システムが短期的には検証しやすい仕事を評価しており、未来を定義するというより困難で投機的な仕事を、ほとんど未開拓のままにしているためである。
なぜこのような不均衡が存在するのかを理解するために、著者らは人間や組織の仕組みに根ざしたいくつかの理由を提示した。第一に、新しい、未試みの方向性が正しいことを証明することよりも、現在の手法が壊れていることを証明する方が容易である。既存のベンチマークに対する批判は単純な実験でテストできるが、新しい研究経路の提案には、書面による査読で防御するのがより困難な「信念の跳躍」が必要となる。第二に、機械学習の文化は経験的な数値と厳格なテストを強く推奨しており、それが自然と、新しい視点を提供する論文よりも、即座にデータを生み出せる論文を支持することにつながっている。第三に、キャリアのインセンティブも役割を果たしている。若手研究者は、急進的な新しい方向性を提案することは自身の職の展望にとってリスクが高すぎると感じる一方で、既存の慣行を批判することは安全で引用されやすい貢献であると感じる可能性がある。これらのプレッシャーの組み合わせが、フィードバックループを生み出し、「ポジション・ペーパー」とは現状への批判に過ぎず、未来への設計図ではないということを、将来の著者たちに教えてしまうのである。
著者らは、改革主義的な批判が悪であるとか、それらを取り除くべきだと主張しているのではない。実際、彼らはこれらの論文がしばしば高品質であり、必要不可欠なものであることも認めている。問題はバランスの問題である。もし、議題を設定するために作られた場が、現在の議題を調整することのみを行う論文によって支配されてしまうならば、分野は真に新しいフロンティアへと舵を切る能力を失ってしまうかもしれない。研究は、解決策には査読プロセス全体の刷新は必要ではなく、いくつかの的を絞った「ナッジ（後押し）」が必要であると結論づけている。著者らは、カンファレンスの主催者が、自身の論文が「現状への批判」なのか「未来への提案」なのかを明示的に求めるべきだと提案している。また、新しいアイデアがいかにして間違いであることを証明できるかを説明する一文を要求することで、著者に自らの主張をより具体的にさせることも推奨している。最後に、ビジョンを運用可能なものにするために、新しい視点を、新しいデータセットや簡便な実験プログラムのような具体的な成果物とセットにして提出する論文を、主催者が積極的に募るべきであると提案している。これらの小さな変更を行うことで、コミュニティはポジション・ペーパー・トラックが本来の約束を果たせるようにできる。すなわち、単に壊れているものを直すだけでなく、次にどこへ向かうべきかを示すことである。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。