Are Coding Agents Generating Over-Mocked Tests? An Empirical Study
120万件以上のコミットを対象としたこの実証研究は、コーディングエージェントが非エージェントよりもテストを生成する可能性が著しく高く、特にテストを過剰にモック化（over-mock）する傾向があることを明らかにしており、これはテストの保守性と有効性に関する懸念を提起すると同時に、より優れたエージェント設定ガイダンスの必要性を浮き彫りにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、家を建てるのを手伝うために、超高速で超スマートなロボット助手（「コーディング・エージェント」と呼ばれます）を雇ったと想像してください。これらのロボットは単にレンガを積むだけではありません。彼らは指示書を書いたり、配管をチェックしたり、さらには安全検査報告書（ソフトウェアでは「テスト」と呼ばれます）を作成することもできます。
この論文は、これらのロボットたちが実際にどのように仕事をこなしているのかを確かめるために、2,168もの異なるデジタル上の家の建設現場を調査した探偵のレポートのようなものです。具体的には、研究者たちは次のような疑問を抱きました：これらのロボットは、「偽物」の安全チェックを書きすぎていないだろうか？
以下に、その調査結果を簡単な比喩を用いて解説します。
1. 「過保護すぎる」ロボット
ソフトウェアテストにおいて、「モック（mock）」とは映画における**身代わりの俳優（ダミー俳優）**のようなものです。例えば、登場人物が銀行のマネージャーと話すシーンを撮影しているとき、本物の銀行マネージャーを用意できない場合、スーツを着て用意されたセリフを言うだけの友人を代わりに使うことがあります。これが「モック」です。これを使うと、撮影はより簡単かつ迅速になりますが、本物の銀行マネージャーが本当にそのように振る舞うかどうかまでは証明できません。
研究によると、ロボット助手たちはこうしたダミー俳優を使うことに執着していることがわかりました。
- 統計: 人間の開発者がテストを書くとき、ダミー俳優を使う割合は約**26%です。一方、ロボットがテストを書くときは、ダミー俳優を36%**の割合で使用しています。
- 比喩: これは、ロボットたちが現実の世界（実際のデータベースや実際のインターネット接続）をあまりに恐れており、本物の人間を使う代わりに、段ボールで作った切り抜きを使って劇全体をリハーサルすることを好んでいるようなものです。彼らは人間よりも頻繁にこれを行っています。
2. ロボットは安全チェックを書くのが大好き
研究者たちは、ロボットがそもそもどれくらいの頻度で安全検査報告書（テスト）を実際に書いているのかも調査しました。
- 統計: ロボットが行った作業の約**23%が、テストの作成または変更に関わるものでした。人間がこれを行う割合は約13%**でした。
- 比喩: ロボットは単にレンガを積んでいるだけではありません。彼らは積極的にルールブックを書き上げているのです。実際、新しい建設現場（2025年に作成されたリポジトリ）では、ロボットがすべての安全チェックの**17%**を執筆しており、この数字は急速に増加しています。
3. 万能すぎるツール
論文では、ロボットがどのような種類の「ダミー俳優」を使用しているのかについても調査しました。さまざまな種類の「テスト・ダブル（テスト用の身代わりオブジェクト）」が存在します。ただそこに座っているだけのもの（ダミー）、本物のように振る舞うもの（スタブ）、そして何が起きているかを監視するもの（スパイ）などがあります。
- 調査結果: 人間は多様なツールを使用します。ある時は「スパイ」を使い、またある時は「フェイク」を使います。
- ロボットの癖: ロボットたちは、その多様性において怠慢です。彼らは「モック」というツールを**95%**の確率で使用しています。
- 比喩: 工具箱を想像してみてください。人間はハンマー、ドライバー、レンチ、ノコギリを持っています。しかしロボットは、巨大なハンマーを一つ持ってきて、ドライバーが必要な場面ですら、あらゆるものに対してそのハンマーを使おうとするのです。彼らは一つの特定の種類の身代わりオブジェクトにほぼ全面的に依存しています。
4. 「あまりに偽物すぎる」ことの危険性
なぜこれが重要なのでしょうか？論文は、ダミー俳優を使いすぎると、ロボットがテストを素早く書くことはできるものの、そのテストの有用性が低くなる可能性があると警告しています。
- リスク: もし段ボールの切り抜きだけで家をテストしていたら、配管は完璧だと思い込んでしまうかもしれません。しかし、いざ本物の水を流したとき、段ボールは本物の金属のように反応しないため、配管が破裂してしまうかもしれません。
- 結論: ロボットが生成するテストは、作成すること自体は容易ですが、現実から隔離されすぎているため、本当の問題を見逃してしまう可能性があります。
私たちは何をすべきか？
著者たちは、これらのロボットは「偽物」の俳優を使うことに非常に熱心であるため、より良い指示を与える必要があると示唆しています。
- 解決策: 人間の弟子に「メインの水道管には偽のパイプを使わないでください」と教えるのと同じように、ロボットの指示書（設定ファイル）にも具体的なルールを書き込む必要があります。私たちはこう伝えるべきです。「可能な限り本物のオブジェクトを使用し、偽物を使うのはどうしても必要な場合に限ってください。」
要約すると: ロボットたちは懸命に働き、多くの安全テストを書いていますが、現実の「偽物」バージョンを使うことに熱心になりすぎており、それが安全チェックの信頼性を低下させる可能性があります。私たちは、彼らに現実世界のシナリオをもっと混ぜ合わせるように教える必要があります。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。