Expectations and Practices around AI Disclosure in CS Research
本論文は、現在のAI開示ポリシーとコンピュータサイエンス分野の研究者の期待との間の乖離を調査し、研究者が研究設計のような関与度の低いタスクにおけるAI利用の開示を優先している一方で、実際の開示慣行では執筆支援のような重要性の低い利用が過剰に報告されていることを明らかにしており、これらの期待にポリシーをより適合させるための提言を行っている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代のコンピュータサイエンスの研究室において、新しい種類の助手たちが静かに住み着いている。これらは生成人工知能ツールであり、かつては機械には不可能と思われていた流暢さで、文章を書き、コードのデバッグを行い、アイデアを整理することができるソフトウェアである。研究者たちは、アイデアの最初の閃きから原稿の最終的な仕上げに至るまで、作業を加速させるためにこれらのツールに頼り始めている。しかし、この便利さは、科学界の中に静かながらも緊急な議論を巻き起こしている。機械が論文の執筆を助けた場合、誰がその功績を得るのか、そしてその助けのうち、どの程度を読者に明示すべきなのか、という問題である。問題の核心は信頼にある。科学は、提示された成果物が人間の思考と努力の産物であるという理解に基づいている。もしツールが重労働を担ってしまうと、読者が「何が人間によって行われ、何が機械によって行われたのか」を正確に把握していない限り、発見の誠実さが損なわれる可能性がある。その結果、多くのトップクラスのコンピュータサイエンスの会議では、著者にこれらのツールの使用を開示することを求める声明を含めるよう義務付け始めており、この規則は、急速な技術変化の時代において透明性を維持することを目的としている。
インド科学研究所（ベンガルール）の研究チームは、これらの新しい規則が実際に意図した通りに機能しているかどうかを調査することに着手した。彼らは、会議の主催者が作成したポリシーが、研究者が実際に必要だと考えていることと一致しているのか、そして著者が論文に書いている声明がそれらの期待を反映しているのかを知りたかった。これを行うために、彼らはまず規則そのものを調査した。彼らは65の主要なコンピュータサイエンスの会議と、その分野における4つの最大の専門学会のガイドラインを精査した。その結果、現在ほとんどの会場で開示を求めるポリシーが存在しているものの、規則はしばしば曖昧であることが判明した。それらは著者に正直であることを求めているが、どのタスクに言及が必要なのか、あるいはどのような詳細を含めるべきなのかを具体的には指定していないことが多い。それはまるで、教師が生徒に対して、異なる課題に対して「注意深く」扱うとはどういうことかを説明せずに、「宿題に注意しなさい」と言っているようなものである。
空白を埋めるために、研究者たちは109人のコンピュータサイエンティストに対し、研究プロセスにおけるどの部分でAIツールの使用を認めることが真に重要かをという単純な質問を投げかけた。彼らは研究者に、新しいアイデアの生成や実験のデザインから、コードの記述や文法の推敲に至るまで、21の一般的なタスクのリストを提示した。また、それぞれのタスクにおいて人間の制御がどの程度関与しているかも考慮するよう求めた。結果は示唆に富むものであった。研究者たちは、AIが研究のデザイン、データの分析、あるいは新しい仮説の定式化といった「重い知的作業」に使用された場合には、開示が最も重要であるという点でコミュニティが概ね一致していることを発見した。これらの領域では、人間の貢献が機械によって覆い隠されてしまう危険性が最も高い。逆に、単に誤字脱字を修正したり、文章を言い換えたり、参考文献の形式を整えたりするためにAIを使用することは、開示の重要性ははるかに低いと見なされていることが分かった。興味深いことに、人間の制御の度合いは極めて重要であった。研究者がAIツールを使用しながらも、すべての出力を検証し最終決定を下すという密接な監視を行っていた場合、開示の必要性は低く感じられた。しかし、AIがほとんど監督なしで動作することを許容していた場合、透明性への要求は急激に高まった。
チームは次に、現実の世界で実際に何が起きているのかに目を向けた。彼らは、2つの主要な会議であるEMNLPとICLRに提出された約1万4千件の開示声明を収集し、分析した。彼らは、これらの現実世界の声明を、先ほど調査で得た期待値と比較した。人々が望んでいることと、実際に得られているものとの間のギャップは驚くべきものであった。研究者は、最も重要な開示は責任の所在と具体的なタスクの内容に関わるものであると発見したが、レビューした論文の大部分はこの情報を含んでいなかった。代わりに、最も一般的だった開示は、コミュニティが最も重要ではないと判断したタスク、すなわちテキストの編集やコードの修正に関するものであった。多くの場合、著者はAIを「推敲」のために使用したと認める短く一般的な文章を書いているだけで、それが中核となる科学的プロセスにどのように関わったかについての言及を省略していた。
おそらく最も懸念すべき発見は、全く無関係な論文の中に、同一のコピー＆ペーストされた声明が存在していたことである。ある特定の段落（標準的なAIの使用法を列挙し、責任を放棄する内容のもの）が、単一の会議への95件の異なる投稿において、全く同じ形で現れた。これは、多くの著者にとって、開示が真のワークフローの記録ではなく、単なる「チェックボックスを埋める作業」になっていることを示唆していた。研究者たちは、一部の声明は包括的であるものの、それらが無関係な著作物の中で繰り返されていることは、ルールに従っているように見せかけるだけの「儀礼的な遵守（performative compliance）」、つまり、ルールの精神に関与することなく文字通りに従っているだけの状態であることを指摘した。また、多くの読者がその詳細を知りたいと表明しているにもかかわらず、著者がどの特定のAIモデルを使用したかについては、ほとんど言及されていないことも研究によって明らかになった。
これらの知見に基づき、研究者たちはポリシーの書き方における転換を提案している。彼らは、広範で画一的なルールから、研究タスクを「開示の必要性」によって分類するシステムへと移行することを提案している。彼らは、実験のデザインのようなハイステークス（高リスク・高重要度）なタスクは開示必須としてマークし、参考文献のフォーマットのようなローステークス（低リスク・低重要度）なタスクは任意とする明確なリストを会議が作成することを推奨している。著者がこれらを活用しやすくするために、彼らは著者が記入できるシンプルなテンプレートも設計した。このテンプレートは、AIがどのタスクをどのように助けたのか、どの程度の人間による監督が行われたのかを列挙し、最終的な成果物に対して著者が全責任を負うことを明示的に述べるよう促すものである。目標は、役立つツールの使用を罰することではなく、人間である研究者と機械との関係を、明確で、誠実で、信頼できるものにすることである。ルールを科学コミュニティの実際の期待に適合させることで、これらの新しいツールが研究プロセスにもたらす純粋な恩恵を阻害することなく、透明性を維持できることが期待されている。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。