Behaviour Driven Development Scenario Generation with Large Language Models

本論文は、GPT-4、Claude 3、Gemini の 3 つの大規模言語モデルを用いた BDD シナリオ自動生成を評価し、Claude 3 が人間や LLM による評価で最高品質を示すこと、生成の成否は入力要件の詳しさに依存し、モデルごとに最適なプロンプト手法や温度パラメータ（0）が異なることを明らかにしました。

要約

🍳 料理のレシピと AI 料理人

想像してください。あなたがレストランのオーナーで、新しいメニュー（ソフトウェア機能）を作ろうとしています。
しかし、料理人（開発者）に「美味しい料理を作って」と言っても、彼らが何をどう作ればいいか分からないと、失敗したり、味がバラバラになったりします。

ここで登場するのが**「BDD（行動駆動開発）」という考え方です。
これは、「料理のレシピ（テスト手順）」を、誰にでも分かる言葉で事前に作っておく**方法です。

• Given（もし〜なら）：材料が揃っている状態
• When（〜したら）：調理を行う
• Then（〜になる）：完成した料理の状態

でも、この「レシピ」を人間が一つ一つ手書きで作るのは、とても時間がかかり、疲れる作業です。そこで、**「AI 料理人（LLM）」**にレシピを書いてもらおうという研究がこれです。

🧪 実験：3 人の AI 料理人を比べる

研究チームは、3 人の有名な AI 料理人（GPT-4、Claude 3、Gemini）を呼び出し、500 種類の「料理の注文（ユーザーストーリー）」を与えて、レシピ（テスト手順）を書いてもらいました。

そして、そのレシピがどれだけ素晴らしいか、4 つの視点で評価しました。

1. 文字の似ている度（辞書的なチェック）
2. 意味の似ている度（文脈のチェック）
3. 別の AI による評価（AI 同士の審査）
4. 人間の専門家による評価（実際のシェフが味見）

🏆 驚きの結果：「一番上手い」は誰？

ここが面白い部分です。AI の評価基準によって、勝者が変わりました。

• 文字や意味の「似ている度」だけ見ると：
  GPT-4が一位でした。辞書的なチェックでは、GPT-4 が最も完璧なレシピを書いていました。
• でも、人間と「別の AI」が味見すると：
  Claude 3が一位になりました！
  人間は「GPT-4 のレシピは文字は綺麗だけど、ちょっと味気ない」と感じ、**Claude 3 のレシピの方が、実際に使えて美味しい（実用的で高品質）**だと評価しました。

💡 教訓：
「辞書的に正しい」ことと「実際に役に立つ」ことは、必ずしも同じではありません。AI を使うときは、人間が最終的に「味見（評価）」をするのが重要だと分かりました。

🎯 3 つの重要な発見

この研究から、AI にレシピを書かせる際に役立つ 3 つの「魔法の呪文（ヒント）」が見つかりました。

1. 「注文の伝え方」で結果が変わる（プロンプトの工夫）

AI によって、一番良い注文の伝え方が違うことが分かりました。

• GPT-4：「何もヒントを与えず、任せる（ゼロショット）」のが一番得意。
• Claude 3：「考え方のステップを一緒に教えて（思考の連鎖）」ると、より良いレシピが出る。
• Gemini：「過去の成功例（Few-shot）」を見せると、一番上手に真似できる。

🍳 例え：

• GPT-4 は「天才的な料理人」なので、指示を簡潔にすれば完璧に作れる。
• Claude 3 は「慎重な料理人」なので、手順を一つずつ確認させてあげると安心する。
• Gemini は「真面目な見習い」なので、先輩の作ったレシピを見せるとよく覚える。

2. 「注文内容の質」が全てを決める

AI にレシピを書かせる際、どんな情報を与えるかが最重要でした。

• ◎ 最高級：「注文（ユーザーストーリー）」＋「詳細な材料リスト（要件説明）」の両方を与える。
• ◎ 次点：「詳細な材料リスト」だけを与える。（これだけでも十分美味しい！）
• ✖ 最悪：「注文」だけ与える。（「美味しいパスタを作って」だけだと、AI は何をどう作ればいいか分からず、ボロボロのレシピになります）

💡 教訓：
AI に任せるなら、**「どんな材料が必要か、具体的に詳しく書くこと」**が成功の秘訣です。漠然とした指示では、AI も困ってしまいます。

3. 「運試し」は不要、冷静さが勝利

AI には「温度（Temperature）」という設定があり、これを高くすると「運試し（ランダムな発想）」をします。
しかし、この研究では**「温度を 0（完全に冷静・確定的）」**に設定したときが、最も高品質なレシピが作れました。
「ひらめき」よりも「正確な手順」が求められるテスト作成では、AI は冷静であるべきなのです。

🚀 この研究がもたらす未来

この研究は、ソフトウェア開発の現場に大きな変化をもたらします。

• 時間の節約： 人間が何時間もかけてレシピを書く代わりに、AI が数秒で下書きを作ってくれる。
• ミスの減少： 人間が見落としがちな「特殊なケース（例：雨の日の注文）」まで、AI がカバーしてくれる。
• 誰でもできる： 熟練の料理人（ベテラン開発者）がいなくても、AI がサポートすれば、新人でも高品質なテストが作れる。

まとめ

この論文は、**「AI にテスト手順を作らせるのは可能だが、そのためには『正しい注文の伝え方』と『詳細な情報』が必要」**と教えてくれました。

GPT-4、Claude 3、Gemini という 3 人の AI 料理人は、それぞれ得意分野が違います。私たち人間は、彼らの特性を理解し、適切な指示を出して、**「AI が下書きを作り、人間が味見をして完成させる」**という新しいチームワークを築くべきなのです。

これからのソフトウェア開発は、人間と AI が手を取り合って、より安全で美味しい（高品質な）サービスを提供する時代が来るでしょう。

技術概要

論文要約：大規模言語モデルを用いた行動駆動開発（BDD）シナリオ生成の評価

この論文は、大規模言語モデル（LLM）を用いて行動駆動開発（BDD）のシナリオを自動生成する手法の有効性を評価した研究です。著者らは、GPT-4、Claude 3、Gemini の 3 つの主要な LLM を比較検討し、生成されたシナリオの品質を多角的に評価しました。以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 研究の背景と課題

ソフトウェア開発の複雑化とアジャイル開発の普及に伴い、手動によるテストシナリオ作成はボトルネックとなっています。BDD（行動駆動開発）は、ビジネス要件と技術実装のギャップを埋める有効な手法ですが、以下の課題に直面しています。

• 時間とコスト: 包括的な BDD シナリオの手動作成には多大な時間と専門知識が必要です。
• 品質のばらつき: 作成者の経験によりシナリオの品質やカバレッジに差が生じ、エッジケースの欠落が起きやすいです。
• 既存研究の限界: 従来、GPT-3.5 や GPT-4 による構文正しいシナリオ生成は示されていますが、複数の品質次元（構文、意味、人間による評価など）にわたる体系的な評価や、異なる LLM の比較、プロンプト技術の影響に関する研究は不足していました。

2. 研究方法論

本研究は、以下の 4 つの研究質問（RQ）に答えることを目的として設計されました。

データセットの構築（主要貢献 1）

既存の BDD シナリオの公開データセットが存在しないため、著者らはオーストラリアのソフトウェア企業（IntelligenceBank）の 4 つの製品から、500 のユーザーストーリー、要件記述、および対応する BDD シナリオを含む独自のデータセットを構築しました。これらは Jira と Confluence から抽出され、メタデータやノイズを除去してキュレーションされました。

評価対象モデルと手法

• 対象 LLM: GPT-4 (gpt-4o), Claude 3 (claude-3-opus), Gemini (gemini-1.5-flash)。
• プロンプト技術: ゼロショット、フューショット、チェーン・オブ・ thought (CoT) の 3 種を適用。
• 入力変数: 「ユーザーストーリー＋要件記述」、「要件記述のみ」、「ユーザーストーリーのみ」の 3 種類。
• パラメータ設定: 温度（temperature）と top_p の組み合わせを調整。

評価指標

生成されたシナリオは以下の 4 つの次元で評価されました。

1. テキスト類似性: BLEU, METEOR, ROUGE-L。
2. 意味類似性: BERTScore, SBCS, SBED, USECS。
3. LLM ベースの評価: DeepSeek, GPT-4, Claude を評価者として用い、5 段階評価。
4. 人間による評価: 6 名のシニア QA 専門家による評価（200 サンプルを抽出）。

3. 主要な結果と知見

RQ1: LLM の BDD シナリオ生成の有効性

• テキスト/意味類似性: GPT-4 が最も高いスコアを記録しました。
• 人間評価・LLM 評価: Claude 3 が人間評価者および LLM 評価者（特に DeepSeek）から最も高い品質評価を得ました。
• 評価指標の相関: テキスト類似性や意味類似性の指標は人間評価との相関が弱かったのに対し、**DeepSeek を用いた LLM ベースの評価は人間評価と強い正の相関（Spearman の順位相関係数 0.53〜0.72）**を示しました。これは、大規模な評価において DeepSeek が人間の代わりとして有効であることを示唆しています。

RQ2: プロンプト技術の影響

モデルによって最適なプロンプト戦略が異なります。

• GPT-4: ゼロショット（例なし）が最も高品質でした。
• Claude 3: **チェーン・オブ・思考（CoT）**がわずかに優れていましたが、どの手法でも安定した性能を示しました。
• Gemini: フューショット（例示あり）が最も効果的でした。

RQ3: 入力情報の種類の影響

入力情報の質が生成品質を決定づけます。

• ユーザーストーリー＋要件記述: 最も高品質な結果。
• 要件記述のみ: ユーザーストーリーと組み合わせた場合とほぼ同等の高品質な結果（性能低下はわずか）。
• ユーザーストーリーのみ: 品質が著しく低下しました。ユーザーストーリーだけでは技術的な詳細や受入基準が不足しており、包括的な BDD シナリオの生成には不十分であることが判明しました。

RQ4: モデル設定（パラメータ）の影響

• 最適設定: 全てのモデルにおいて、temperature=0（決定論的出力）かつ top_p=1.0（全確率分布の考慮）が最も高品質なシナリオを生成しました。
• 知見: BDD シナリオ生成のような構造化されたタスクでは、ランダム性（創造性）よりも一貫性と正確性が重要であることが示されました。

4. 主要な貢献

1. 初の公開データセット: 実世界のエンタープライズ製品から収集した 500 のユーザーストーリーと対応する BDD シナリオを含むデータセットを構築し、公開しました。
2. 包括的な評価研究: 複数の LLM、プロンプト技術、入力変数、モデルパラメータを網羅的に評価した初の研究です。
3. 実用的なガイドライン:
   • 要件記述の充実が生成品質に不可欠であること。
   • モデルごとに最適なプロンプト戦略が存在すること。
   • DeepSeek などの LLM を評価者として活用することで、人間評価に代わる効率的な品質評価が可能であること。
4. オープンソース: データセットとソースコードを公開し、再現性と将来の研究を支援しています。

5. 意義と示唆

本研究は、LLM を BDD 自動化に実用的に導入するための道筋を示しました。

• 開発効率の向上: 人間がシナリオをゼロから作成する時間を大幅に短縮し、テストカバレッジを向上させる可能性があります。
• プロセス変革: 従来のアジャイルにおける「短いユーザーストーリー＋会話」から、LLM 生成を前提とした「詳細な要件記述」へのドキュメント作成プロセスの転換が必要であることが示唆されました。
• ハイブリッドワークフロー: LLM が初期草案を作成し、人間がレビュー・修正するハイブリッドなワークフローが、品質と効率のバランスにおいて最も現実的であると考えられます。
• 評価手法の進化: 従来の自動評価指標（BLEU 等）よりも、LLM ベースの評価（特に DeepSeek）が人間に近い判断を下せるため、大規模なテスト生成における品質保証の新たな標準となり得ます。

結論として、LLM は BDD シナリオ生成において有望なツールですが、その効果を最大化するには、高品質な入力（詳細な要件記述）、モデル固有のプロンプト戦略、および適切なパラメータ設定（temperature=0）の組み合わせが不可欠です。