AI Writes Faster Than Humans Can Review: A Longitudinal Study of an Enterprise 2x Mandate

テクニカル・サマリー：AIは人間によるレビューよりも速く執筆する

問題提起
企業は、エンジニアリングの生産性を倍増させるという期待のもと、AIコーディングツールの導入を義務付けるケースが増えている。しかし、このような命令がどのように展開されるのか、何が生産性向上を駆動するメカニズムなのか、そして組織的なコストはどうなるのかに関する長期的なエビデンスは乏しい。既存のフィールド調査では、19%の減速から40%の増加まで相反する結果が報告されており、業界紙は堅牢な公開データなしに、出力が乗数的に増加すると主張していることが多い。さらに、ほとんどの調査は、ロールアウトの進化ではなく、ある時点での効果を測定しており、大きな利得が達成可能か、それらが開発者やコードベースにどのように分布しているのか、また、組織がいかにして品質やレビュー能力を損なうことなく、結果として生じるスループットを吸収できるのかといった疑問が残されている。

手法
本論文は、2025年6月に「2倍命令（2× mandate）」を文書化して実施した、中規模のAI先進的なB2Bソフトウェア企業に関する定量的な縦断的ケーススタディを提示する。この命令は、12か月以内にエンジニアあたりのマージ済みプルリクエスト（PR）数を倍増させることを目的としている。本研究は、2024年1月から2026年4月までの、802人の開発者と196,212件のPRにわたるパネルデータを利用している。

• データソース: 著者らは、商用AIツール（CursorおよびClaude Code）の内部テレメトリ、PR履歴（タイムスタンプ、サイズ、ステータスを含む）、およびHRロールデータをマイニングした。彼らは、内部の created-by-ai ラベルおよび、語彙的・行動的なシグナルを通じて、AIによって作成されたPRを特定した。
• 設計: コア分析には、**分割差の差（staggered difference-in-differences: DiD）**設計を採用している。研究では、命令の日付ではなく、各開発者の具体的なAI採用月に基づいて開発者を整列させることで、開発者内の出力の変化を分離している。このアプローチにより、命令を直接的な推進力ではなく、採用の触媒として扱い、即時的な採用効果と、時間の経過とともに蓄積される利得を分離することを可能にしている。
• 推定器: 非ランダムな採用（初期採用者がより生産的であった可能性）によるバイアスに対処するため、著者らは開発者固定効果を用い、開発者ごとに標準誤差をクラスター化し、未採用者のみと比較する複数の推定器（Callaway–Sant'AnnaおよびBorusyak imputation）を用いて結果を検証している。
• 分解: 本研究では、生産性の向上を、即時的な「採用ジャンプ（adoption jump）」と「累積使用（cumulative use）」効果（用量反応関係）の2つのチャネルに分解し、カレンダーのトレンドとモデル生成のリリース（Sonnet 4.5, Opus 4.5, Opus 4.6）を制御している。

主な結果

1. 生産性の向上: 1人あたりのPRスループットは、2026年4月時点で、命令前のベースラインと比較して2.09倍増加した。しかし、この集計された利得は、ほぼ完全に開発者内の改善によって駆動されている。

   • 採用 vs 蓄積: この利得は、瞬間的なブーストではない。分解によれば、初期の採用ジャンプも有意であるが、利得の大部分は累積的な使用からもたらされる。開発者の出力は、AIツールの累積使用量が増えるにつれて増加し、9ヶ月間のツール使用後には1.46倍から1.72倍（モデルの厳密さに依存）の利得に達する。
   • 異質性: 利得は、シニアリティレベル（ICからプリンシパルまで）を超えて広く共有されているが、新しいリポジトリ（2022年以降）に集中しており、レガシーコードにおいては無視できる程度である。利得は特定のモデル世代によって分離できず、組織の使用率のランプアップはモデルのリリースと重なっているため、モデルの能力向上と蓄積されたユーザー体験を分離することは不可能である。
   • マネジメントへの影響: 比例的な利得はマネジメント層で最も高く（+86%）、これはAIがマネージャーがハンズオンのコーディングに再関与するための障壁を下げていることを示唆している。

2. レビュープロセスの再構築: コード生産の急増は、レビューシステムを圧迫した。

   • 負荷のシフト: レビュアー1人あたりの負荷はおよそ倍増した。これを吸収するため、組織は自動レビューへと大きくシフトした。人間によるレビューを受けたPRの割合は89%から68%に減少した一方、自動レビューのカバー率は約19%から約84%へと上昇し、人間によるレビューを追い抜いた。
   • 人間のレビュー品質: 実質的な人間によるレビュー（コメント）は減少し、一方で「サイレント」な承認が増加した。残された人間によるレビュー活動は希薄になり、深い関与よりも承認に重点が置かれるようになった。
   • レイテンシ: AIが作成したPRは、人間が作成したPRと比較して、最初の人間によるレビューからマージまでのサイクルタイムが約20%長くなった。ただし、マージ率やリバート率は同程度であった。このレイテンシは、人間によるレビュー能力が作成速度に追いつかず、レビュー待ち行列に蓄積が生じたことによるボトルネックに起因している。

3. 品質のプロキシ: マージ率は横ばいで、リバート率はわずかに低下した。しかし、著者らは、マージ率やリバート率は、技術的負債、保守性、または認知的な負債を捉えることができない、粗い短期間のプロキシであると警告している。

意義と主張
本論文は、AIコーディングツールの報告された最大級のフィールド利得（「2倍」の目標に接近）を提供していると主張しているが、そのメカニズムと持続可能性に関して重要な注釈を付けている。

• ツールの導入ではなく、プロセスの再設計: 本研究は、エンタープライズAIの導入はプロセス再設計の問題であると結論づけている。生産性の向上は、命令によってスイッチが切り替わるものではなく、スキルと使用強度の漸進的な蓄積である。命令は採用の触媒として機能したが、リターンは蓄積された使用による「用量反応」によって駆動されている。
• ボトルネックの移動: ロールアウトの主な結果は、より速い出荷ではなく、分業の根本的な変化であった。組織は、レビューを自動化にオフロードすることで増加したボリュームを吸収し、実質的にボトルネックをコード生成からコードレビューへと移動させた。
• 文脈的妥当性: 著者らは、これらの知見を「ベストケースに近いシナリオ」（若く、寛容で、AI志向の、予算制限のない企業）として位置づけている。これらの結果を、典型的な業界平均や、即時的で無料の利得として解釈すべきではないと明示している。
• 限界: 本研究は、ロールアウトがランダム化されていなかったことを認めており、正確な因果的大きさは、点識別されるものではなく、範囲として限定される。 「累積使用」効果は、高生産性の開発者がAIをより多く使用することを選択した結果である可能性があり、AIのみが生産性の向上を引き起こしたわけではないという関連性を反映している可能性がある。さらに、本研究はマージ時点までのスループットを測定しており、ダウンストリームのコスト（技術的負債、メンテナンス）は測定されていない。

要約すると、本論文は、好条件の下ではスループットのほぼ倍増が可能であるが、それにはスキルの蓄積のための長い期間が必要であり、結果として、自動化が人間によるレビューを置き換えるという構造的な変化をもたらし、標準的なスループット指標では捉えられない新たなリスク（コード品質や認知的負債に関するリスク）を生む可能性があると論じている。