Policies Permitting LLM Use for Polishing Peer Reviews Are Currently Not Enforceable
査読論文の「推敲」目的の LLM 利用を認める方針が現状では執行不可能であることを示し、既存の AI 検出器は人間と AI の協働による査読文を誤って AI 生成と判定する可能性が高く、その結果として学術不祥の誤告発や AI 利用実態の過大評価を招くリスクがあると結論付けています。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
この論文は、「AI に頼って論文のレビュー（査読）を『綺麗に整える』こと」を許可している学会や雑誌のルールが、実は守りようがないという衝撃的な事実を突き止めた研究です。
まるで「料理の味付けだけならOK、でも具材は自分で作ってね」というルールを、味見する人が見分けることができない、という状況に似ています。
以下に、この研究の核心をわかりやすく解説します。
🍳 料理の味付けと具材の物語
想像してください。ある高級レストラン（学会）で、シェフ（研究者）が新しい料理（論文）を提出します。それを評価する「味見係（査読者）」がいます。
最近、味見係は「AI という助手」を使うことが増えました。
- NG な使い方： 具材（アイデアや結論）を全部 AI に作らせて、味見係は名前だけ書く。
- OK な使い方： 味見係が自分で具材（意見）を考え、AI には「文法を直して、文章を滑らかにする（味付け）」ことだけをお願いする。
多くの学会は**「具材は自分で作って、味付けだけ AI に頼っていいよ」**というルール（Polishing-only policy）を決めました。「でも、AI が具材まで作っちゃったらバレるよね？」と、AI 検知ツール（味見の機械）が導入されました。
しかし、この研究が突きつけたのは、その「味見の機械」が壊れているという事実です。
🔍 何が起きたのか？（実験の結果）
研究者たちは、5 万枚以上の「レビュー」をシミュレーションして、最新の AI 検知ツール（Pangram や GPTZero など）にテストさせました。
- 「完全 AI 製」は見抜ける：
具材も味付けも全部 AI が作ったレビューは、機械が「AI 製！」と見抜くことができました。 - 「人間が考え、AI が味付け」は見抜けない：
ここが問題です。人間が考えた意見に、AI で文章を綺麗にしたレビュー（ルール違反ではないもの）を機械にかけると、「これは AI が全部作ったに違いない！」と誤って判断されてしまうことが多発しました。
「味付けだけ直した料理」を、「全部 AI が作った料理」と間違えて「不正」として叱ってしまうのです。
📉 なぜこれが問題なのか？
この「誤検知（False Positive）」は、単なるミスではありません。
- 冤罪のリスク： 仮に 100 人のレビューのうち 3% が誤って「AI 不正」と判断されたら、3 人の真面目な研究者が「不正行為をした」という汚名を着せられ、キャリアを失う可能性があります。
- ルールが守れない： 「味付けだけ OK」というルールを、機械を使って厳格に守ろうとしても、機械が「味付けだけ」のものを「全部 AI 製」と勘違いしてしまうため、現実的にそのルールを執行（Enforce）することは不可能です。
🕵️♂️ 追加のヒントでもダメだった？
「じゃあ、元の論文（レシピ）も一緒に見せれば、AI かどうか分かるんじゃないか？」と考えました。
- レシピとの照合： 「このレビューは、元のレシピ（論文）を AI が読んだ後に書かれたものっぽいな」というヒントを使っても、精度は上がりましたが、依然として「味付けだけ」のものを「全部 AI 製」と間違える問題は解決しませんでした。
- 学習させてもダメ： 過去のレビューで AI を教えたとしても、新しい AI モデルが出るとまた見分けがつかなくなりました。
🌪️ 現在の混乱：「21% が AI 製」という噂について
最近、ある AI 検知会社が「ICLR 2026 という会議のレビューの 21% は AI が全部書いたものだ！」と発表し、大きな話題になりました。
しかし、この研究によると、その数字は過大評価されている可能性が高いです。
機械は「人間が考え、AI で綺麗にしたレビュー」まで含めて「全部 AI 製」とカウントしてしまっているからです。つまり、「21% が全部 AI 製」ではなく、「21% の中に、AI の手助けを受けたものが混ざっている（でも全部 AI 製ではない）」というのが実情かもしれません。
💡 私たちへの教訓
- ルールは守れない： 今の技術では、「AI に味付けだけさせていい」というルールを、機械を使って厳密に守ることはできません。
- AI の使い方に注意： 研究者自身が AI に「綺麗にして」と頼む際、もし「元の論文も読ませて」や「長さを増やして」と頼んでしまうと、AI が勝手に新しい意見（具材）を追加してしまい、結果として「全部 AI 製」と見なされるリスクが高まります。
- 検知ツールを盲信しない： 機械が「AI 製だ」と言っても、それが 100% 正しいとは限りません。特に「人間が考えて AI で整えたもの」は、機械には人間と AI の区別がつかない「グレーゾーン」なのです。
🏁 まとめ
この論文は、**「AI 検知ツールは、今のところ『AI に手伝ってもらったレビュー』と『AI が全部書いたレビュー』を区別する能力が不足している」**と警告しています。
「味付けだけ OK」というルールは、現在の技術では「味見係が味付けと具材の区別がつかない」状態なので、実質的に守ることができないのです。学会や雑誌は、この技術的な限界を認め、新しい対応策を考える必要があるかもしれません。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。