Do These Violent Delights Have Violent Ends? Measuring the Post-Merge Fate of Agentic Code
182のリポジトリを対象としたこの縦断的研究は、エージェントによるコードへの貢献は人間によるコードと同等のマージ率を達成する一方で、その後に著しく高い修正メンテナンス負担を負わせ、特にレビュー率の低いプロジェクトにおいてより多くのセキュリティ脆弱性を導入することを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
想像してみてください。あなたは、コードの巨大で広大な都市を築くために、超高速で疲れを知らないロボット助手の一団を雇ったばかりです。これらのロボットは、最新の「エージェンティック（自律型）」AIによって動いており、瞬きする間にソフトウェアの街区全体を作り上げることができます。テックジャイアントたちは、ロボットが都市のコードの30%から75%を書き上げていると言い、歓喜しています。指標は素晴らしく見えます。ロボットはプルリクエスト（建設許可）を、人間では数え切れないほどの速さで量産しており、そのほとんどが承認され、都市計画にマージされています。
しかし、ここにひねりがあります。許可証に署名され、建物が正式に都市の一部となった後、一体何が起きるのでしょうか？
これこそが、この研究が調査した内容です。研究者たちは、ロボットが作ったコードの「量」を数える代わりに、182の現実世界のプロジェクトにわたって、1年間にわたり（2025年5月から2026年5月まで）コードを追跡しました。彼らは、まるで容疑者を追う探偵のように、一行一行のコードを追跡し、次のような問いを投げかけました。この行は生き残るのか、それとも取り壊されて再構築されるのか？壊れたとき、誰がそれを直すのか？そして、このコードは危険な罠を隠し持っていないか？
大きな驚き：重要なのは「どれだけ作るか」ではなく、「どれだけ悪いか」である
ロボットが作ったコードが、即座に崩壊するような完全な災難であると予想するかもしれません。あるいは、完璧であると思うかもしれません。真実は、もう少し微妙なものです。
この論文によれば、全体として、ロボットが書いたコードが「取り壊される（終了する）」割合は、人間が書いたコードと有意な差はありませんでした。 コードがどれくらいの期間存続するかという生の数字だけを見れば、ロボットと人間は互角に見えます。
しかし、そのコードがなぜ変更されるのかという点に目を向けると、景色は劇的に変わります。
- 「バグ修正」の磁石： ロボットのコードは修正を惹きつける磁石です。研究によると、エージェンティックなコードは、人間によるコードよりも46%多く修正メンテナンス（故障の修理）を受けています。
- 「バグ修正」の詳細： 具体的には、ロボットのコードは45%多くバグ修正を必要としています。人間のコードも多くのバグ修正を必要としますが、ロボットはより多くのバグを導入しているようです。
- 「罠」の要因： ロボットのコードは、セキュリティ上の弱点や危険な依存関係をもたらす可能性も高いです。研究では、SemgrepやOSV-Scannerといったツールを使用してこれを測定しました。ロボットのコードは、人間によるコードの1.14倍の割合でセキュリティ上の問題を引き起こし、深刻度の高い（非常に重大な）問題については1.51倍の割合で引き起こしていました。
このように考えてみてください。ロボットは壁を作るのは得意ですが、火災報知器の設置を忘れたり、燃えやすい塗料を使ったりすることがよくあります。建物は立ち上がりますが、後々、より多くの防火検査と修理が必要になるのです。
「レビューなし」の危険地帯
最も重要な発見の一つは、コードがどのように承認されるかについてです。研究者たちは、人間によるレビューが行われる前にプロジェクトがコードをマージする場合に何が起きるかを調査しました。
彼らは直接的な関連性を見出しました。プロジェクトがレビューなしでマージするコードが増えるほど、メンテナンスの負担は重くなります。
- 具体的には、プロジェクトの「レビューなし率」が10パーセントポイント上昇するごとに、エージェンティックなコードへのメンテナンス負担は約6%増加します。
これは、ロボットが単にミスをしているだけでなく、人間によるレビューがあれば防げたはずのミスを犯していることを示唆しています。レビューをスキップするということは、ロボットを野放しにするということであり、そのミスを修正するための代償は、後で必ず請求されることになります。
「ベロシティの非対称性」問題
論文は、私たちが「生成とレビューの非対称性（generation-review asymmetry）」と呼ぶ危険な不均衡を生み出したと主張しています。
- 生成（記述）： ロボットは、人間の疲労に縛られることなく、無限に速くコードを書くことができます。
- レビュー（検証）： チェックを行うのは依然として人間です。彼らは疲れ、忙しくなり、読むスピードには限界があります。
この研究は、単に「より速くレビューする」ことや「レビューを自動化する」ことで解決しようとするのは正解ではないと示唆しています。もし、人間がチェックできる速さよりも速くロボットがコードを書かせれば、最終的に膨大な隠れた欠陥のバックログが積み上がることになります。論文は、レビュープロセスを薄めるのではなく、ツール自体を修正して、最初から安全でメンテナンス可能なコードを生成できるようにすべきだと主張しています。
この論文が否定していること
この研究が「見つけなかった」ことも知っておくことが重要です。
- ロボットのコードがあらゆる面で普遍的に「劣っている」とは判明しませんでした。（生存率、つまりコードが変更されるまでの期間は、人間によるコードと統計的に同等です。違いは変更の「種類」にあります。つまり、機能追加ではなく、バグ修正が多いということです。）
- 問題が「ランダム」であるとも判明しませんでした。メンテナンスの負担は単なる運が悪かったわけではなく、レビューなしでマージされるコードの量など、特定のプロジェクト特性に関連しています。
- ロボットが「邪悪」であったり「役に立たない」ことを証明したわけでもありません。研究は単に、現在のロボットが、人間の後処理を必要とするバグやセキュリティホールをより多く導入していることを測定したに過ぎません。
結論
結論として、ロボットはコードを「作る」ことには長けていますが、現状ではコードとして「留まる（存続する）」ことに関しては信頼性に欠けています。これらのツールの「成功」は、どれだけのコードを生成したか、あるいはどれだけのプルリクエストがマージされたかで測るべきではありません。真のテストはこうです。マージされた後、そのコードは安全で安定した状態を維持できているか？
論文は、エージェントへの依存が高まるにつれ、生成のスピードを称賛するのをやめ、片付けのコストを心配し始める必要があると示唆しています。ロボットは速いですが、もし彼らがバグやセキュリティホールの跡を残していくのであれば、それを片付けなければならない人間は残業を強いられることになるでしょう。目標は、初日に見た目が素晴らしい都市を築くことではなく、一年後に絶え間ない緊急修理を必要としない都市を築くことであるべきです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。