Predicting Acceptance and Review Effort in Human and Agent Pull Requests
本論文は、提出時の特徴量のみを用いた機械学習モデルが、人間およびエージェントによるプルリクエストの採択を正確に予測できる一方で、レビューの労力を予測することには苦慮することを示しており、それゆえ、これらのモデルの最善の用途は自動的な意思決定者としてではなく、トリアージのための助言ツールであると示唆している。
原論文は CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) のもとパブリックドメインに提供されています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
活気あるソフトウェア・ワークショップを想像してみてください。そこでは、コードの変更は出荷を待つパッケージのようなものです。かつては、人間の作業員だけがこれらのパッケージを送っていました。しかし今では、AIロボットという新しいクルーが加わり、人間と一緒に自分たちのコード・パッケージを届けています。マネージャー（「メンテナー」と呼ばれます）たちは、突然、膨大な量のパッケージをチェックしなければならなくなり、目の前の課題に圧倒されています。彼らはすぐに次の2つのことを知る必要があります。どのパッケージが承認され、出荷されるのか？ そして、どのパッケージが膨大で、疲れ果てるような検査を必要とするのか？
この論文は、パッケージが到着した瞬間に、箱を開けたり、それについて話し合ったりする前に入手できる「外側の手がかり」だけを使って、この謎を解こうとする探偵のようなものです。
大発見： 「パッケージのラベル」には多くのことが書かれている
研究者たちは、パッケージのラベルとその中身の箱を見るだけで、そのパッケージが受理されるかどうかをかなり正確に推測できることを発見しました。彼らは、以下のような要素を観察するスマートなコンピュータ・システムを構築しました。
- ラベルの記述（説明文）の長さ。
- 箱の中に入っているファイルの数。
- パッケージが送られた時刻。
- そのパッケージが送られてきたワークショップ（送り元）の評判。
このシステムをテストしたところ、コンピュータは「承認された」パッケージを見つけ出すのが非常に上手くなりました。実際、最も優れたモデル（Random Forestと呼ばれる手法を使用）は、どのパッケージが受理されるかを正しく識別する精度で 0.958 / 1.0 というスコアを叩き出しました。これは、住所をちらりと見るだけで、探偵が100件中96件の事件を解決するようなものです！
しかし、注意点があります。 論文では、このシステムは魔法の「イエス／ノー」ボタンではないと明示的に警告しています。コンピュータは「承認されそう」なものと「却下されそう」なものを仕分けることには長けていますが、自分自身で最終決定を下すほど完璧ではありません。研究者たちは、これを「これを見てください！」とマネージャーに伝えるための「役立つアシスタント」として使うべきだと提案しており、人間が一度も目を通すことなく「出荷せよ！」と命じる自動化ロボットとして使うことには否定的です。
より難しい謎： どれほどの労力がかかるのか？
2つ目の問いはより難解でした。「このレビューにはどれほどの労力が必要か？」という点です。研究者たちは、パッケージがどれくらいの「チャット（議論）」を引き起こすか（コメント数）、そして出荷されるまでにキューの中でどれくらいの時間待機することになるか（待ち時間）の2点を予測しようと試みました。
ここでの結果は、ずっと控えめなものでした。コンピュータは、コメントの量については平均して約 1.00 コメント の誤差範囲で推測できましたが、なぜ一部のパッケージがより多くのコメントを集めるのかという理由のうち、わずか 20% しか説明できませんでした。待ち時間の予測はさらに困難で、コンピュータの予測は平均で 24.00 時間 外れており、変動のわずか 12% しか説明できませんでした。
なぜこれほど難しかったのでしょうか？ 論文は、待ち時間はパッケージそのものだけで決まるわけではないからだと示唆しています。それはまるでバスを待つのと同じです。たとえチケットが完璧であっても、バスの運転手が休憩中だったり、交通渋滞が発生していたり、あるいはバスが満車であったりすれば、長く待たされる可能性があります。同様に、コード・パッケージが長く待たされるのは、レビュアーが多忙であったり、自動テストツールが遅かったり、あるいはチームのワークフロー自体が停滞していたりするためかもしれません。論文は、パッケージのラベルを見るだけでは、こうした「交通渋滞」を予測することはできないと主張しています。
人間 vs ロボット： 彼らは異なるルールに従っているのか？
チームはまた、AIロボットのパッケージは人間のものよりも予測が難しいのかどうかについても疑問を持ちました。その結果、AIのパッケージは非常に整った規則的なパターンに従っているため、実は分類が少し「簡単」であることが分かりました。人間のパッケージは、より乱雑で多様でした。
興味深いことに、AIのパッケージは、人間よりも少し多くの「チャット（コメント）」を集める傾向があり、出荷までにかかる時間も少し長い傾向がありました。論文は、人間側のマネージャーが、ロボットの仕事に隠れた罠がないかを確認するために、細心の注意を払ってダブルチェックを行っているからではないかと示唆しています。しかし、この厳格な精査にもかかわらず、コンピュータは人間と同様に、ロボットの成果についても予測を行うことができました。
この論文が「ノー」と言っていること
この研究が「行わなかったこと」を知っておくことも重要です。研究者たちは、パッケージを開けた「後」に現れる情報を使用することを明示的に排除しました。彼らは、人々が書いたコメントや、自動テストの結果、あるいは最終的なマージ（統合）の決定については一切見ていません。もしそれらの情報を使っていたとしたら、それは雨が降った「後」に地面を見て天気を予測しようとするようなものです。この研究の目的は、雨が降り始める「前」に、結果を推測できるかどうかを見ることでした。
また、コンピュータが人間のレビュアーに取って代わるという考えも、彼らは否定しています。結果が示す通り、コンピュータは優れた「トリアージ（優先順位付け）」ツール（交通整理の警官のようなもの）にはなりますが、レビューに時間がかかる複雑な社会的・ワークフロー的な理由を完全に説明することはできません。
まとめ
要約すると、この論文は、マネージャーが業務の優先順位を決めるためのスマートなシステムを構築できることを示唆しています。もしパッケージのラベルが明確で、サイズが適切で、信頼できるソースから送られてきたものであれば、システムは「これは安全そうなので、まずこれをチェックしましょう」と言うことができます。しかし、レビューにどれくらいの時間がかかるか、あるいはどれくらいの議論が行われるかを予測することとなると、システムは壁に突き当たります。論文の結論は、これらのツールは人間の判断を置き換えるものではなく、あくまで強力な「サイドキック（相棒）」として活用されるべきであるということです。将来、レビュアーが現在何で忙しいか、あるいはコードが実際にどのように機能しているかといった、より多くの手がかりを加えることで、この技術はより進化する可能性がありますが、現時点では「箱の外側」の手がかりは、物語の一部しか語っていないのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。