Detecting AI Coding Agents in Open Source: A Validated Multi-Method Census of 180 Million Repositories
本論文は、1億8,000万のリポジトリを対象とした検証済みのマルチメソッドによるセンサスを提示しており、単一のシグナルによる検出手法はAIコーディングエージェントの普及率を著しく過小評価し、活動の最大97%を見逃していること、そして異なる検出チャネルはエージェントや作業の種類において互いに重複しない独自の集団を捉えていることを明らかにしており、オープンソースのサプライチェーンへの影響を正確に測定するためには包括的なアプローチが必要であることを示している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
オープンソースソフトウェアの世界を、1億8,000万以上の建物（リポジトリ）がひしめき合う、巨大で活気ある都市だと想像してみてください。長い間、私たちは誰がこれらの構造物を築いているのかを理解していると思ってきました。それは主に、人間の設計士たちであると。しかし最近、新しい種類の「目に見えない建設作業員」が到着しました。それがAIコーディングエージェントです。
問題は、これらのAI作業員は変装の達人であることです。明るい制服を着ているものもいれば、設計図に署名を残すものもいれば、人間の作業員と全く見分けがつかないほど静かに働くものもいます。
この論文は、これら目に見えない作業員を数えようとした、大規模でハイテクな「国勢調査」のようなものです。研究者たちは、もし一つの特定の兆候（例えば制服）だけを探そうとすれば、ほとんどの作業員を見逃してしまうことに気づきました。彼らが発見したことを、分かりやすく説明します。
1. 「一つの信号」という罠
森の中の鳥を数えようとしている場面を想像してください。
- 方法A： 赤い帽子をかぶっている鳥だけを数える。
- 方法B： 特定の歌を歌う鳥だけを数える。
- 方法C： 特定の種類の羽を落としている鳥だけを数える。
もし方法Aだけで行えば、鳥は10羽しかいないと考えるかもしれません。しかし、これら3つの方法を組み合わせれば、実際には300羽いることが分かるかもしれません。
論文の知見： 研究者たちは、AIを特定するために一つの方法（特定のボットアカウント名を探すなど）だけに頼ると、活動の97%を見逃してしまうことを発見しました。例えば、「Claude Code」という人気のAIツールについて、公式のボットアカウントのみを探した場合、28,000件のコミットしか見つかりませんでした。しかし、そのツールが残すあらゆる形跡（コード内のメッセージや設定ファイルなど）を調べたところ、850,000件が見つかりました。これは30倍もの差です。
2. 4種類の「変装」
研究者たちは、これらのエージェントを捕まえるための「指名手配ポスター」として、4つのカテゴリーを作成しました。
- タイプA：制服を着たボット。 これらは簡単に見つけられます。特定のロボット用メールアドレス（例：
bot@anthropic.com）でログインします。これは、明るいオレンジ色のベストを着た建設作業員のようなものです。 - タイプB：署名。 これらのエージェントはロボットアカウントを使用しませんが、メッセージの中に「Generated by Replit」といったメモを残します。これは、人間の作業員が特別なスタンプを使って、設計図に名前を記しているようなものです。
- タイプC：隠れた接尾辞。 これらはAIツールを使っている人間で、名前の後に
John (aider)のような小さなタグを付けます。これは、人間の作業員が「AIアシスタント」と書かれた小さなピンを付けているようなものです。 - タイプD：静かな幽霊。 これらが最も巧妙です。彼らはコードのメッセージや作成者名を一切変更しません。プロジェクトフォルダ内に「セットアップファイル」（例：
.cursorrulesファイル）を残すだけです。これは、レンガには一切触れず、道具箱だけを残していく幽霊のようなものです。このグループは非常に巨大です。 例えば、GitHub Copilotは主にこの形で発見されます。セットアップファイルの中には至る所に存在していますが、実際のコード履歴の中ではほとんど目に見えません。
3. 二つの異なる都市（「チャネルの断絶」）
研究者たちは、自分たちの「コミット・シティ（コード変更を見る）」と、別の研究による「プルリクエスト・シティ（プロジェクトの提案を見る）」を比較しました。
彼らは、これら二つの都市の住民が、互いにほとんど入れ替わっていないことを発見しました！
- Codex（AIエージェント）は「プルリクエスト・シティ」の王であり、数千の提案を作成しますが、「コミット・シティ」では幽霊のような存在です。
- Claude Codeは「コミット・シティ」の王であり、数千の直接的な変更を行いますが、「プルリクエスト・シティ」にはほとんど姿を現しません。
教訓： もし一つのタイプの都市だけを見ていれば、AIが実際に何をしているのかについて、完全に間違ったイメージを持つことになります。あるグループは新機能の構築をしているように見え、もう一方は壊れたパイプの修理をしているように見えます。論文は、AIがどのようにデプロイされているか（ボットとしてか、直接的なツールとしてか）によって、ツールそのものではなく、どのような種類の仕事をしているのかの見え方が変わるのだと結論付けています。
4. 彼らはいつ到着したのか？
この国勢調査は、2024年後半から2026年初頭までのデータを調査しました。
- 「AIと共に生まれた」グループ： 一部のプロジェクトは、最初からこれらのAIエージェントと共に構築されています。これらは、基礎の部分からロボットアームを使って建てられた家のようです。
- 「レガシー」グループ： 何十年も前から存在する多くの確立されたプロジェクトが、構築から数年後に突然これらのエージェントを使い始めました。これは、古い家族の家が、突然スマートホームへとリフォームされるようなものです。
5. 彼らは良い仕事をしているのか？
研究者たちは、AIがミスを犯していないかを確認しました。
- バグ修正： AIエージェントは、主にバグの修正やメンテナンスに使用されているようです（コミット・チャネルにおいて）。新しい機能の構築にはあまり使われていません。
- 品質： 興味深いことに、これらのエージェントによって書かれたコードは、いくつかのケースにおいて人間が書いたコードよりもリバート（取り消し）される可能性が低いことが分かりました。これは、コードが安定していることを示唆しています。しかし、変更を行う場合、その変更は人間が行うものよりも大きくなる傾向がありました。
結論
私たちは、AIがソフトウェア構築をどの程度助けているかを知るために、単に「ボットアカウント」を探すだけでは不十分です。AIの労働力は多様で、目に見えず、多くの異なる「制服」を使用しています。もし目立つものだけを探しているなら、私たちは行われている膨大な仕事に対して盲目なのです。ソフトウェア・サプライチェーンを真に理解するためには、制服、署名、名前のタグ、そして道具箱のすべてを見る必要があります。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。