LLM-Assisted Empirical Software Engineering: Systematic Literature Review and Research Agenda
本システマティック文献レビューは、2020 年から 2025 年にかけて行われた 50 件の研究を分析し、実証的ソフトウェア工学における大規模言語モデルの応用に関する現状を概観するとともに、自動化中心のデータ処理タスクにおけるその主要な活用を強調しつつ、人間中心の統合、透明性、再現性における重要なギャップを特定し、将来の研究課題を指し示すものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
**経験的ソフトウェア工学（ESE）**という分野を、巨大で高リスクの探偵事務所だと想像してください。これらの探偵（研究者）は、ソフトウェアがどのように構築され、なぜ破綻し、開発者がどのように働いているかという謎を解くことに時間を費やしています。これらの事件を解決するために、彼らは数百万行のコード、数千件のバグレポート、そして開発者との無数のインタビューといった、山のような証拠を精査しなければなりません。
長年、これらの探偵は手作業、あるいは非常に特化した単一目的のツールを用いてこの作業を行ってきました。しかし、証拠の山は人間の手だけでは処理しきれないほど大きくなりつつあります。そこで登場するのが**大規模言語モデル（LLM）**です。これらは、超知的で疲れ知らずのロボットインターンと考えることができます。彼らは驚くべき速度でテキストを読み、要約し、分類することができます。
本論文はシステマティック・レビューであり、これは探偵事務所においてこれらのロボットインターンが現在どのように利用されているかについての「成績表」のようなものです。著者らは 50 の最近の研究を調査し、インターンが実際に何を行っているか、その成果がいかに良いか、そして作業の過程を証明するために探偵たちが十分なメモを残しているかどうかを確認しました。
以下に、彼らの発見を簡単な比喩を用いて整理します。
1. ロボットインターンは実際に何をしているのか？（タスク）
論文によると、インターンは主に分類と評価に用いられており、最初から謎を解くために使われているわけではありません。
- 「仕分け人」の役割: 最も一般的な仕事は、膨大な論文やコードの山を「関連あり/関連なし」や「バグ/機能」などの箱に仕分けることです。
- 「採点人」の役割: 何かに対してスコアやラベルを与えるよう求められることが多いです（例：「このコードレビューは役立ったか？はい/いいえ」）。
- 「フィルター」の役割: 彼らは篩（ふるい）のように機能し、重要な情報だけを通過させ、ノイズをブロックします。
比喩: 本を色やサイズで整理するのは得意だが、新しい物語を書いたり複雑な謎を解いたりするようにはまだ求められていない、素晴らしい司書だと想像してください。インターンは退屈で反復的な書類整理の仕事には優れていますが、まだ「主任探偵」にはなれていません。
2. プロセスのどの部分で働いているのか？（フェーズ）
研究ライフサイクルには、計画、証拠収集、証拠分析、報告書作成という異なる段階があります。
- 絶好のスポット: インターンは中間段階（収集と分析）で頻繁に用いられています。ここが「データ処理」が行われる場所です。
- ギャップ: 彼らは研究の計画（最も初め）や最終報告書の作成（最も最後）ではほとんど使われていません。
- 比喩: 食器洗いと洗濯物をたたむためにロボットを雇うが、食事の調理やテーブルセッティングは自分で行わなければならないようなものです。ロボットは面倒で反復的な片付けを処理しますが、創造的な部分や最終的な仕上げは人間が行います。
3. 人間とどのように協力しているのか？（統合）
著者らは、この関係は主に自動化であり、協働ではないと発見しました。
- 自動化（「自分でやる」モード）: ほとんどの場合、人間がロボットに命令を与えると、ロボットは振り返ることなくタスク全体を単独で実行します。人間は結果を受け取るだけです。
- 意思決定支援（「コンサルタント」モード）: これは稀です。これはロボットが「オプション A が最善だと考えますが、他に 3 つの可能性とその理由もあります。最終的な選択はあなたに任せます」と言うような状態です。
- 比喩: 現在、ロボットはセルフチェックアウト機のようです。商品を置いてスキャンさせれば、あなたは立ち去ることができます。あなたが購入する前に「これは気に入りましたか？」と尋ねながら一緒に歩き、商品を提案するパーソナルショッパーのようなものではありません。
4. 良い点と悪い点は何か？（利点対限界）
良い点（利点）:
- 速度: ロボットは驚くほど速いです。数年分のデータを数分で処理できます。
- 規模: 人間が読むのに数年かかるような膨大な証拠の山を処理できます。
- 一貫性: 疲れたり退屈したりしないため、すべての項目に同じルールを適用します。
悪い点（限界）:
- 幻覚: 時折、ロボットは事実を捏造します。完全に誤った事実を自信を持って述べるかもしれません。
- 感度: ロボットは質問のされ方に非常に敏感です。指示の言葉を一つ変えるだけで、答えが完全に変わってしまう可能性があります。
- 不整合: 同じ質問を二度しても、二つの異なる答えが返ってくるかもしれません。
- 比喩: ロボットは、非常に速く、非常に自信満々だが、時折推測する学生のようです。一時間で図書館全体を読み通すことができますが、注意を払わなければ、存在しない本を捏造してしまうかもしれません。
5. 十分なメモを残しているか？（再現性）
これは論文の主要な発見です。ほとんどの探偵は、インターンをどのように使用したかをメモしていません。
- 研究を繰り返す（再現性）ためには、どのロボットを使用したか、そのロボットのバージョンは何か、そして正確にどのような指示（プロンプト）を与えたかを正確に知る必要があります。
- 論文によると、多くの研究はこれをメモすることを忘れています。彼らは「AI を使用した」と言うだけで、どの AI を使用したか、どのように質問したかについては述べていません。
- 比喩: 料理人が「この料理を美味しくするために特別なスパイスを使いました」とレシピを公開するが、どのスパイスを、どのくらい、いつ加えたかは言わないと想像してください。その料理を再現することはできません。論文は、ソフトウェア工学コミュニティが現在、これらの AI ツールの使用法という「レシピ」を共有する能力が低いと述べています。
全体像としての結論
論文は、ソフトウェア研究における AI の利用は急速に成長しているが、現在は非常に狭い範囲に留まっていると結論付けています。
- 私たちは AI を「重労働」（仕分け、フィルタリング、採点）のために使用しています。
- 私たちはまだ、人間が考え、計画し、複雑な意思決定を行うのを支援するために AI を使用していません。
- 私たちはその使用方法をメモすることに十分に注意を払っていません。そのため、結果を信頼したり、実験を再現したりすることが困難になっています。
最終的な教訓: ロボットインターンは重労働には役立ちますが、人間の探偵たちは彼らを単なる道具としてではなく、パートナーとして扱い始める必要があります。また、他の人々が彼らの仕事から学べるように、彼らがどのように使用しているかを正確にメモし始める必要があります。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。