Position: Academic Conferences are Potentially Facing Denominator Gaming Caused by Fully Automated Scientific Agents

以下は、論文「学術会議は完全自動化された科学エージェントによって引き起こされる分母操作に潜在的に直面している」について、平易な言葉と比喩を用いて説明したものです。

大きなアイデア：システムを「操作」する新たな手法

25% の作品しか受け付けないという厳格なルールを毎年一貫して守り、画廊の名声を維持している、権威ある美術館を想像してください。

この論文の著者たちは、新たな種類の「ハッカー」が出現していると警告しています。彼らは入選するために傑作を描こうとするのではなく、AI ロボットを使って数千枚のひどく醜い絵画を描き、それらを一度にすべて提出するのです。

彼らの目的は、その醜い絵画が入選することではありません。彼らの狙いは、画廊を圧倒的な量で埋め尽くすことで、画廊が「25% の受入率」というルールを維持するために、やむを得ずより多くの絵画を受け入れざるを得なくさせることです。「分母（提出総数）」をゴミで満たすことで、彼らの本当の高品質な絵画が入選しやすくなってしまうのです。

この論文はこの現象を**「エージェントによる分母操作（Agentic Denominator Gaming）」**と呼んでいます。

---

仕組み：「大砲の弾」戦略

この論文は、そのメカニズムを以下の 3 つの簡単なステップに分解しています。

1. 安定したルール：NeurIPS や ICML などのトップ AI 学会は、提出数が急増しても、受入率を一定（通常 20〜30% 程度）に保つという伝統を持っています。
2. AI による洪水：悪意ある actors は、AI エージェント（ロボット）を用いて、表紙は本物の研究のように見えますが中身はナンセンスな論文を数千本作成・提出します。これらは作成コストがほぼゼロです。
3. 数学的なトリック：
   • 学会が 100 件の論文を受け取り、25 件を採用すれば、受入率は 25% です。
   • ハッカーが 300 件の偽の論文を追加すると、総数は 400 件になります。
   • 25% の受入率を維持するためには、学会は 25 件ではなく100 件の論文を採用しなければなりません。
   • 300 件の偽の論文はゴミなので却下されますが、学会はそれでも余分な枠を埋めるために、さらに 75 件もの本物の論文を見つけなければなりません。
   • 結果：以前は「却下の境界線」にいた実在の科学者たちが、彼らの研究が向上したからではなく、システムがノイズで洪水状態になったために、採用されてしまうのです。

なぜこれが危険なのか（「三つの災害」）

この論文は、これが単なる技術的な不具合ではなく、学術界を以下の 3 つの側面で崩壊させるシステム的な危機であると主張しています。

1. 「無償労働」の罠（経済的非対称性）

• 攻撃者のコスト：数セント。安価な AI ツールを使って数千件の論文を生成します。
• コミュニティのコスト：失われた時間による数百万ドルの損失。実在の科学者はボランティアで論文をレビューしています。100 件の本物の論文を見つけるために 1,000 件の偽の論文を読まされれば、彼らは燃え尽きてしまいます。
  • 比喩：それは、トロールがプールにバケツ一杯の泥を注ぐようなものです。トロールは泥に 1 ドルしかかけません。一方、ライフガード（レビュアー）はプールを掃除するために何時間も費やさなければならず、さもなければプールは使用不能になります。

2. 「燃え尽き」の危機
レビュアーはすでに疲弊しています。もし彼らが AI によって生成されたゴミの山を篩い分けさせられれば、辞めてしまうでしょう。

• 比喩：救急室にいる医師を想像してください。もし誰かが毎時間 1,000 人の偽の患者を待合室に放り込み始めたら、医師は本当の病人を治療できません。医師は最終的に倒れてしまうか、辞めてしまい、システム全体が機能しなくなります。

3. 「エージェント工場」の台頭
すでに「ペーパーミル（偽の研究を販売する企業）」は存在します。この脅威は、それを「エージェント工場」へと進化させます。

• 人間が偽の論文を書くのではなく、ロボットが工業規模でそれを行います。
• 比喩：それは、一日に一枚の偽札を作る小規模な偽造犯と、一時間に百万枚の偽札を印刷する工場の違いです。科学の質は低下し、私たちが読むものをもはや信頼できなくなります。

なぜ「偽の論文の検出」では解決しないのか

この論文は、単に「AI 検出器」を作れば解決すると考えることはできないと主張しています。

• 猫とネズミのゲーム：検出器を作れば作るほど、AI ロボットはそれを欺く方法を学習します。それは、あなたが解こうとするたびに形を変える鍵のようなものです。
• 誤った告発：現在の検出器は性能が低く、実在の人間の著者を AI と誤って断定することがよくあります。もし学会が欠陥のある検出器に基づいて論文を禁止すれば、素晴らしい人間の科学者を却下してしまうことになり、不公平かつ有害です。

提案される解決策（技術だけでなく、ルールそのものを変える）

技術的な解決策（検出器など）は信頼できないため、著者たちはゲームのルールそのものを変えることを提案しています。

1. 手数料の徴収：提出時に著者に少額の手数料を課す。これにより「洪水」が止まります。なぜなら、数千件の偽の論文を生成するにはコストが高くなりすぎるからです。（ただし、この論文はこれが貧しい研究者を傷つける可能性にも言及しています）。
2. 「安定した受入率」ルールの廃止：これが最も重要です。学会は「常に 25% を採用する」といった固定された受入率を約束するのをやめるべきです。代わりに、「提出数に関わらず、正確に 500 件の論文を採用する」と宣言すべきです。
   • なぜこれが機能するか：採用される論文の数が固定されていれば、システムに偽の論文を洪水のように流しても意味がありません。偽の論文は却下されるだけで、本物の論文の受入確率は変わりません。
3. 評判システム：信頼できる研究者（または信頼できる人々から推薦された者）にのみ論文提出を許可する。これにより、システムを洪水状態にするために匿名のボットが数千の偽アカウントを作成するのを防ぎます。

結論

この論文は警告です。現在のルール（安定した受入率）を維持し、AI が論文を書く能力を向上させたままにすれば、悪意ある actors は一度も「良い」論文を投稿しようとしなくても、システムを破壊できるというのです。彼らが必要とするのは、数学を変えるのに十分なだけの「悪い」ノイズを作ることだけです。

学術の誠実さを守るためには、より良いソフトウェアで悪いボットを捕まえることではなく、インセンティブとルールそのものを変える必要があります。