AI Policy, Disclosure, and Human in the Loop: How Are Contribution Guidelines Adapting to GenAI?
1,000件のGitHubリポジトリを対象としたこの実証研究は、現在、大多数のオープンソースプロジェクトがAIによる支援を伴う貢献を許可している一方で、その多くは、AIの使用開示と開発プロセスにおける人間の監視の維持に関する厳格な要件を課していることを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ソフトウェア開発の世界を、何百万もの人々が「オープンソース」という名の巨大で共有された超高層ビルを絶えず建設、修理、拡張し続けている、活気に満ちた巨大な都市だと想像してみてください。長年、この都市はシンプルなルールに基づいて運営されてきました。それは、「もし新しい部屋を追加したり、壊れた窓を直したりしたいなら、自分自身でその作業を行わなければならない」というルールです。そして、都市のボランティア検査官（「メンテナー」と呼ばれます）が、あなたの設計図が安全であることを確認します。しかし最近、新しい種類の建設チームが到着しました。それが「生成AI」です。これらは、数秒で設計図全体をドラフトできる、超高速で魔法のようなロボットだと考えてください。これは夢のような話に聞こえますが、ある種の交通渋滞を引き起こしています。ロボットがあまりにも速いため、毎日何千もの新しい設計図が都市に押し寄せ、人間の検査官を圧倒しているのです。ロボットが作成した計画の中には素晴らしいものもありますが、中には「AIスロップ（AIのゴミ）」と呼ばれるものもあります。見た目は一見それらしく見えますが、実際にそれを使って建設しようとすると崩れてしまう、乱雑で低品質なドラフトのことです。この都市にとっての大きな問いは、もはや「建設できるか？」ではなく、「建設現場を乗っ取られることなく、どのようにロボットに手伝ってもらうか？」なのです。
本論文は、まさにこの問いを掘り下げ、GitHubにおける最も人気のある1,000のソフトウェア・プロジェクトの「ルールブック（貢献ガイドライン）」を調査することで、この問題に取り組んでいます。研究者たちは、これらのプロジェクトがロボット労働力に対してどのように適応しているのかを知りたいと考えました。その結果、ほとんどのプロジェクトはロボットを禁止しているのではなく、代わりに「ヒューマン・イン・ザ・ループ（人間が介在する仕組み）」を構築しようとしていることが分かりました。ロボットがコンクリートを混ぜたりレンガを積んだりすることはできますが、人間の現場監督がすぐそばに立ち、コテを持ち、すべての工程を理解し、その作業が建物の一部となる前に承認を行う、という建設現場を想像してみてください。この研究は、AIについて言及している118の特定のルールブックを分析し、明確なパターンを発見しました。78%のプロジェクトは「はい、AIを使用しても構いません」と述べていますが、彼らは例外なく2つのことを要求しています。第一に、「私はこれにロボットを使用しました」と手を挙げて言うこと（開示）。第二に、あなた、つまり人間が、ロボットが構築したものの中身を実際に理解していることを証明すること（ヒューマン・イン・ザ・ループ）です。
研究者によると、51%のプロジェクトが、食品パッケージの安全性ラベルのように、AIを使用した際に開示することを明示的に要求しています。彼らは検査官に対し、「注意してください、この部分はAIによってドラフトされました。ですから、ダブルチェックをお願いします」と伝えたいのです。また、27%はAIを許可していますが、それを明確に歓迎しているわけではありません。そして、より小さなグループ（22%）は、「ロボット禁止です。私たちは100%人間が作ったコードを求めています」と述べています。しかし、最も衝撃的な発見は、74%のプロジェクトが「人間がループの中にいること（ヒューマン・イン・ザ・ループ）」を主張していることです。これは、たとえロボットがコードを書いたとしても、人間がそれを読み、理解し、その全責任を負わなければならないことを意味します。論文は、この人間の監視がなければ、都市は「AIスロップ」――人々の時間を浪費させる低品質なコード――に溢れるリスクがあると指摘しています。
興味深いことに、本論文は、多くのプロジェクトがこれらのルールを持っている一方で、その指示が時として曖昧であることを指摘しています。一部のルールブックは「AIが『かなりの量』の作業を行った場合は開示してください」と述べていますが、「かなりの量」が正確に何を意味するかを定義していない場合があります。それはまるで、先生が「電卓を使ったかどうか教えてください」と言いながら、それが数学の問題を1問解いたときのことなのか、テスト全体のことなのかを言っていないようなものです。著者らは、混乱を避けるためにプロジェクトはより精密である必要があると示唆しています。また、一部のプロジェクトは、低品質なAIの提出物を自動的にクローズすることで阻止しようとしていますが、これが、たまたまAIツールを使用している実在の人間の貢献者を、意図せず不快にさせてしまう可能性があるとも警告しています。最終的に、論文は、オープンソースの未来は人間かロボットかの選択にあるのではなく、人間がしっかりと運転席に座り続け、ロボットを車を運転させる存在としてではなく、強力な道具として使いこなせるようにすることにあると結論付けています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。