On the Use of Agentic Coding: An Empirical Study of Pull Requests on GitHub
Claude Codeエージェントによって生成された157のオープンソースプロジェクトにわたる567件のGitHubプルリクエストに関するこの実証研究は、エージェントが支援した貢献の83.8%が（多くの場合修正なしで）承認されている一方で、バグ修正、ドキュメント作成、およびプロジェクト標準への準拠のために、依然として頻繁に人間の監視を必要としていることを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ソフトウェア開発を、何千ものチームがデジタルな超高層ビル（オープンソース・プロジェクト）を建設している、巨大で賑やかな建設現場として想像してみてください。長年、作業員（開発者）たちは、自ら設計図を引き、レンガを積み、重労働を担ってきました。
最近、この現場に「エージェンティック・コーディング（Agentic Coding）」と呼ばれる、新しいタイプの超知能ロボット助手（具体的には Claude Code というツール）がやってきました。このロボットは、単に質問に答えるだけの電卓とは異なります。レンチを掴み、設計図を確認し、漏れているパイプを修理し、新しい取扱説明書を書き、さらには作業の承認を得るための書類作成まで、自分自身でこなすことができます。
この論文は、これらのロボットが現実世界で実際にどれほどうまく仕事をこなしているかを示す「成績表」です。研究者たちは、このロボットが作業を行った567件の建設プロジェクト（プルリクエスト）を調査し、それらを人間が行ったプロジェクトと比較した上で、4つの大きな問いを投げかけました。
以下に、その結果を簡単な比喩を用いて解説します。
1. ロボットはどのような種類の仕事をするのか？ (RQ1)
判明したこと： 人間もロボットも、壊れたものを直したり（バグ修正）、新しい部屋を作ったり（機能追加）します。しかし、ロボットにはリフォームと掃除における特別な才能があります。
- 比喩： 人間の作業員に「家を直して」と頼まれた場合、彼らは屋根を直したり、新しいガレージを建てたりするかもしれません。しかし、ロボットに「家を直して」と頼むと、ロボットは家具の配置換え（リファクタリング）や、キャビネットへのラベル貼り（ドキュメンテーション）、セキュリティカメラの増設（テスト）を行うことを好みます。
- 結果： ロボットは、人間が退屈だと感じるような、定型的でルールに基づいた片付け作業において驚くほど優秀です。また、ロボットは自分が何をしたかを正確に説明するために、非常に長く詳細な「作業指示書」（PRの説明文）を書く傾向があります。
2. 上司（メンテナー）はロボットの仕事を承認するか？ (RQ2)
判明したこと： はい、ほとんどの場合はそうです！しかし、人間の仕事が承認される頻度には完全には及びません。
- 統計： ロボットの仕事の約**84%が承認され、マージされます。比較として、人間の仕事は約91%**が承認されます。
- なぜ拒否されるのか？ ロボットが「質の悪い壁」を築いたからではありません。通常、仕事が拒否される理由は以下の通りです：
- タイミング： 他のチームメンバーが、すでに別の方法で問題を解決していた。
- サイズ： ロボットが一度に家全体を直そうとしたため、設計図がレビューするにはあまりにも巨大になりすぎた。
- 陳腐化： ロボットが作業している間に、プロジェクトの方向性が変わってしまった。
- 教訓： ロボットは概して信頼できますが、チームが「今まさに」何を求めているかという、大きな文脈（ビッグピクチャー）を見落とすことがあります。
3. ロボットは仕事を完了させるために助けを必要とするか？ (RQ3)
判明したこと： 意外なことに、ロボットも人間も、仕事を完璧にする前には同程度の「仕上げ（ポリッシング）」を必要とします。
- 比喩： あなたがカスタムケーキを注文したと想像してください。時には、パン屋（ロボット）が最初から100%完璧に仕上げることもあります。時には90%程度で、仕上げのクリームの調整が必要なこともあります。
- 統計： ロボットが作ったケーキのうち、そのままの状態で完璧なものは約**55%**です。これは人間のパン屋（58.5%）とほぼ同じです。
- 労力： もしケーキに微調整が必要になった場合、ロボットのケーキを修正するために必要な労力は、統計的に人間のケーキを修正する場合と同じです。ロボットは、より多くの修正を要するようなミスを犯しているわけではなく、単に異なる種類の小さなミスをしているだけなのです。
4. 人間は具体的に何を修正しているのか？ (RQ4)
判明したこと： 人間が介入してロボットの仕事を修正する場合、その内容は主に安全チェック、指示、およびスタイルに関するものです。
- バグ修正 (48%)： ロボットは時として楽観的になりすぎることがあります。ドアが壊れないことを前提としてしまい、バックアッププラン（予備の計画）を構築しません。人間はそのバックアッププランを追加する必要があります。
- ドキュメンテーション (29%)： ロボットは素晴らしい新しい部屋を作るかもしれませんが、家の地図を更新し忘れることがあります。人間は「README」（取扱説明書）を更新しなければなりません。
- リファクタリング (27%)： ロボットは機能する壁を作るかもしれませんが、それが変な場所にあり、家全体の移動を難しくしてしまうことがあります。人間は、家のスタイルに合わせて壁を動かす必要があります。
- スタイル (23%)： ロボットは、間違った色のペンキを使ったり、間違ったフォントを使ったりすることがあります。人間はそれを建物全体のスタイルに合わせなければなりません。
総括
エージェンティック・コーディングを、非常に有能で、速くて、意欲的な**見習い（アプレンティス）**と考えてください。
- 長所： 退屈な片付けやテストなどの重労働において、膨大な量の作業をこなすことができます。そして、すぐに使えるレベルの成果物を生み出します。
- 短所： プロジェクトの「雰囲気（バイブス）」を見落としたり、指示が長すぎたり短すぎたりすることがあり、時には人間による監督（ダブルチェック）を必要とします。
結論： ロボットは、まだ人間の現場監督に取って代わる存在ではありません。むしろ、人間が設計図をレビューし、最終決定を下して、すべてが安全でスタイリッシュであり、プロジェクトに完璧に適合していることを確認するための、強力な「下働き」ツールです。この論文は、ロボットは優れた出発点ではあるものの、「良い下書き」を「完成された傑作」へと昇華させるためには、人間の監視が依然として不可欠であることを示唆しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。