💻 computer science

BT-APE: A Computationally Light Backtracking Approach to Automatic Prompt Engineering for Requirements Classification

本論文は、要件分類において最先端の手法に匹敵する精度を達成しつつ、トークン消費量と実行時間を大幅に削減する、自動プロンプトエンジニアリングのための計算効率の高いバックトラッキングベースのフレームワークであるBT-APEを提案する。

原著者： Mohammad Amin Zadenoori, Waad Alhoshan, Jacek Dąbrowski, Liping Zhao, Alessio Ferrari

公開日 2026-07-02

📖 1 分で読めます☕ さくっと読める

原著者： Mohammad Amin Zadenoori, Waad Alhoshan, Jacek Dąbrowski, Liping Zhao, Alessio Ferrari

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に賢いが少し頑固なロボットに、混ざり合った手紙を分類する方法を教えようとしていると想像してください。いくつかの手紙は「システムが何をすべきか（機能的）」について、いくつかは「それをいかに上手く行うか（品質）」について、そしていくつかは「安全性をどう保つか（セキュリティ）」について書かれています。

かつて、人間はロボットに指示（プロンプト）を書く際、「試行錯誤」をしていました。彼らは「これは手紙です、それが何であるか教えてください」と言い、もしロボットが間違えたら、人間は文章を少し微調整して、もう一度試していました。これは遅く、一貫性がなく、人間の直感に大きく依存していました。

この論文は、BT-APE（Backtracking Automatic Prompt Engineering：バックトラッキング自動プロンプトエンジニアリング）と呼ばれる、ロボットを教えるためのより軽量な新しい方法を紹介しています。その仕組みを、簡単な比喩を使って説明します。

1. 問題点：「当て推量と確認」の罠

完璧なケーキのレシピを見つけようとしている場面を想像してください。ただ一つ焼いてみて、味を見て砂糖を増やすのではなく、あなたは「ロボットのパン屋」を持っています。

古い方法: あなたはレシピを書き、ロボットが焼き、あなたが味を見て、手動でレシピを書き直します。あなたは、レシピが長すぎたり、分かりにくくなったりする書き方に陥ってしまうことがあり、なぜ失敗したのかさえ分からないこともあります。
問題: ソフトウェア要件（この物語における「手紙」）の世界では、人間は何年も前からこのような手動の書き直しを行ってきました。それは、当たり外れが激しいものでした。

2. 解決策：BT-APE（「賢いハイカー」）

著者たちは、ロボットが自分自身の指示を書くのを助けるシステムを作り出しました。しかし、ただ目的もなく彷徨うのではなく、BT-APEは最高のパフォーマンスという「最高峰」を探している賢いハイカーのように振る舞います。

ハイカーの戦略は以下の通りです：

地図（プロンプト）: ハイカーは基本的な地図（単純な指示）からスタートします。
コンパス（フィードバック）: ハイカーは、その地図を少数のテスト用の手紙に試します。もしロボットが間違えた場合、ハイカーは「どの」手紙が間違っていたのかを正確に記録します。
「バランスの取れた」視点: 決定的なのは、ハイカーは単に間違いだけを見るのではないという点です。彼らはバランスの取れたバッチ、つまり、ロボットが正解した手紙、間違えた手紙、そして各カテゴリーからの手紙を一つずつ見ています。これにより、ロボットは失敗だけでなく、全体像を把握できるのです。
「バックトラッキング（引き返し）」のトリック: これがこの論文の秘訣です。ハイカが丘を登っている最中に、行き止まりの道に足を取られて滑り落ち続けている場面を想像してください。
- 従来の方法では、運が良くなることを期待してそのまま進み続けるか、すぐに諦めてしまいます。
- BT-APEはこう言います。「よし、この道を3回試したが、改善されなかった。一度、最後に到達した良い地点まで**バックトラック（引き返し）**して、そこから別の方向を試そう」。
- これにより、システムが無駄なアイデアに時間を費やすことを防ぎます。

3. レース：BT-APE 対重量級チャンピオン

研究者たちは、この「賢いハイカー（BT-APE）」を、他の2つの競合相手と比較しました。

手動の書き手: 人間が指示を書く方法（Zero-shot, Few-shot, Chain-of-Thought）。
重量級チャンピオン（PE2）: 非常に強力ですが、非常に「重い」別の自動システム。これは、次のステップを決めるために、これまで試してきた「あらゆる指示」が入った巨大なバックパックを背負っています。

結果:

正確性: 「賢いハイカー（BT-APE）」と「重量級チャンピオン（PE2）」は、全く同じ頂点に到達しました。どちらも手紙を分類することにおいて同等の能力を持っていました。両者とも、手動の書き手を圧倒しました。
重さの違い: ここに大きな勝利があります。重量級チャンピオンは巨大なバックパックを背負っており、多くのエネルギーと時間を消費していました。一方、「賢いハイカー（BT-APE）」は、とても軽量なパックを背負っていました。
- BT-APEは、同じ結果を得るために、**72%少ない「言葉（トークン）」**しか使いませんでした。
- 作業を66%速く完了しました。
- なぜこれが重要なのか: これほど軽量であるため、クラウドの巨大で高価なスーパーコンピューターを必要とせず、ノートパソコンや小さなサーバーのような、ローカルの小さなコンピュータ上で実行できるからです。これは、データをクラウドに送ることができず、プライバシーを保持する必要がある企業にとって非常に重要です。

4. 何が良い指示を作るのか？

研究者たちは、ロボットが作成した「レシピ」を分析し、何がそれを機能させたのかを調べました。彼らは、優れた指示は長くて派手なものではないことを発見しました。優れた指示は以下の通りでした。

短く、力強い: 軍の命令のように。
行動指向: 動詞（例：「特定せよ」「確認せよ」「分類せよ」）に満ちている。
明確: 思考を整理するために、コロン（:）やダッシュ（—）などの句読点を使用している。
シンプル: 複雑で混乱を招くような文章構造を避けている。

5. 専門家が必要か？

チームは、2つの開始地点をテストしました。

エキスパート・スタート: カテゴリーの非常に詳細で教科書的な完璧な定義を最初から与える。
ビギナー・スタート: 非常に単純で曖昧な定義を与える（例：「機能的とは、システムがすることである」）。

驚きの結果: それはそれほど重要ではありませんでした。たとえ「ビギナー」の曖昧な定義から始めたとしても、ロボットの反復プロセス（ハイカーが登り、引き返すプロセス）が賢かったため、自力で完璧な定義を見つけ出すことができました。最終的な結果は、エキスパートの定義から始めた場合とほぼ同じでした。

まとめ

この論文は、AIから素晴らしい結果を得るために、プロンプト作成の魔法使いになる必要も、巨大で高価なコンピュータを使う必要もないことを示しています。軽量なバックトラッキング手法を使用することで、最も高度な方法と同等の精度で、かつ、ごくわずかなコストと時間で、AIにソフトウェア要件を自動的に教えることができます。それは、燃料を大量に消費する重いトラックを、目的地に同じように到達できる機敏な電動スクーターに交換するようなものです。

技術要約：要件分類のためのBT-APE

問題提起

大規模言語モデル（LLM）は、タスク固有のトレーニングを必要とせずに自然言語の指示に従う能力があるため、要件分類などの要件工学（RE）タスクへの適用が進んでいます。しかし、これらのモデルの性能は、モデルを導くためのプロンプトの品質に大きく依存します。RE領域において、プロンプト設計は依然として試行錯誤と実務家の直感に頼る、手動かつアドホックなプロセスにとどまっています。このような体系的な最適化の欠如は、一貫性のない不十分な結果を招き、再現性を制限します。また、一般的な自然言語処理（NLP）には自動プロンプトエンジニアリング（APE）の手法が存在しますが、ドメイン固有のREタスクへの適用可能性や、古典的なプロンプティング戦略と比較した有効性は未探索のままです。さらに、既存のAPE手法は高い計算コストを伴うことが多く、データの機密保持のために小規模なサーバーへのローカル展開が求められる、リソース制約のあるRE環境には適していません。

手法：BT-APE

著者らは、プロンプト設計を最適化問題として捉えた、計算負荷の低いフレームワークであるBT-APE（Backtracking APE：バックトラッキングAPE）を提案しています。この手法は、LLMによって生成された候補、バックトラッキング探索戦略、および動的な例の選択を用いて、プロンプトを反復的に洗練させます。

コア・ワークフロー

プロセスは、3つの排他的なプールに分割されたデータセットを用いて3つのフェーズに分かれています：サンプリング用の例のプール（ $D_{pool}$ ）、検証セット（ $D_{val}$ ）、および保持されたテストセット（ $D_{test}$ ）。

初期化： 初期プロンプトを検証セットでスコアリングし、ベースラインを確立します。
反復的洗練：
- 候補生成： 現在のプロンプトとバランスの取れた動的な例のバッチに基づき、LLMが新しい候補プロンプトを提案します。このバッチは、正しく分類された正例、正しく分類された負例、誤分類された正例、および誤分類された負例を $D_{pool}$ からそれぞれ1つずつ含むように、毎イテレーションごとに更新されます。
- 評価： 確率的な変動を軽減するため、**3回の実行による多数決（3-run majority voting）**を用いて、 $D_{val}$ 上で候補をスコアリングします。
- 限定付きバックトラッキング： 単一の失敗に対して即座に差し戻す手法とは異なり、BT-APEは評価されたすべての候補をランク付けされたリストとして保持します。設定可能な忍耐閾値（ $X=3$ ）の連続する非改善イテレーションに達するまで、軌道に沿って継続します。その後、履歴内の次点のプロンプトへとバックトラッキングを行い、生産性のない領域で停滞することを防ぎます。
- 保持された評価： 探索中に発見された最良のプロンプトを、最終的なバイアスのない性能指標を提供するために、保持されたテストセット（ $D_{test}$ ）で一度だけ評価します。
保持された評価： 探索中に見つかった最良のプロンプトは、最終的なバイアスのない性能指標を提供するために、保持されたテストセット（ $D_{test}$ ）で正確に一度だけ評価されます。

主要な設計上の相違点

BT-APEは、最先端のAPEベースラインであるPE2と明確に対比されています。両者はともに単一の軌跡を持つ履歴認識型の手法ですが、BT-APEは計算フットプリントを削減するために以下の3つの点で異なります。

限定されたコンテキスト： PE2は上位 $n$ 個のプロンプトの全履歴に基づいて提案を構成するため、入力コンテキストが線形に増大します。対してBT-APEは、現在のプロンプトとコンパクトでバランスの取れたバッチのみに基づいて構成されるため、コンテキストサイズが限定されます。
バランスの取れた例の選択： BT-APEは厳格な4つの組（成功/失敗 $\times$ クラス）の選択を強制しますが、PE2は制約のないエラーバッチを使用します。
明示的な忍耐： BT-APEはバックトラッキングのために固定された忍耐閾値を使用しますが、PE2は非改善に対してより即座に反応します。

実験設計

本研究では、以下の対象についてBT-APEを評価しています：

データセット： 3つのベンチマークREデータセット：PROMISE (NFR)、PROMISE-Refined、およびSecReq。
モデル： 7〜8Bパラメータ範囲の5つの指示チューニング済みLLM（Qwen2, Falcon3, Granite-3.2, Ministral, LLaMA-3）。
ベースライン： 4つの古典的なプロンプティング戦略（Zero-shot, Few-shot, Chain-of-Thought, CoT+Few-shot）およびAPEベースラインであるPE2。
初期化のバリアント： 2つの初期化戦略をテストしました：BT-APE-Uninformed（単純で直感的な定義）およびBT-APE-Informed（RE文献から精査された定義）。

主要な結果

古典的ベースラインとの性能比較

BT-APEは、ほぼすべてのデータセットおよびモデルの組み合わせにおいて、4つの古典的なプロンプティング戦略を大幅に上回りました。

統計的有意性： 古典的ベースラインに対する加重F1値（$wF1 $）の平均改善幅は+0.049から+0.143であり、大きな効果サイズ（$ r \ge 0.50$）と統計的有意性（Holm-Bonferroni補正後 $p < 0.05$ ）を示しました。
一貫性： BT-APEは、15のモデル-データセット構成のうち11において、最良の古典的ベースラインと同等またはそれを上回る性能を発揮しました。

PE2（APEベースライン）との性能比較

精度： BT-APEは、PE2と統計的に区別できない性能を達成しました（平均差 $\Delta = +0.01$ 、効果サイズは無視できる程度）。両手法は同様の性能上限に収束します。
効率性： 同等の精度でありながら、BT-APEは大幅に効率的です。PE2と比較して、累積入力トークン数を約72%削減し、実行時間を66%短縮しました。これにより、BT-APEは、リソース制約のある環境やエアギャップ環境のサーバーでの展開に適しています。

プロンプトの特徴分析（RQ3）

高性能なプロンプトに関連する特定の特性を明らかにするため、線形混合効果モデルによる分析を行いました。

正の相関： 高い動詞数（行動指向の言語）および高い句読点マーカー数（構造的な明快さ）が、良好な性能と関連しています。
負の相関： 長い文/単語数、高い語彙多様性、および高い構文複雑性は、低い性能と相関しています。
意味的ドリフト： 大きな意味的変化（意味的ドリフト）を伴うイテレーションは性能向上に関連しており、表面的な言い換えよりも実質的な改訂がより効果的であることを示唆しています。

初期化の影響（RQ4）

Informed vs. Uninformed： ドメインに基づいたクラス定義（BT-APE-Informed）を提供しても、最小限の未学習定義（BT-APE-Uninformed）と比較して、最終的な性能に統計的に有意な改善は見られませんでした。
堅牢性： 反復的な最適化プロセスは十分に堅牢であり、より弱い初期プロンプトを補完し、初期化戦略に関わらず同等の最終性能へと収束しました。

意義と貢献

本論文は、主に3つの貢献を主張しています。

軽量なAPEフレームワーク： BT-APEは、既存のAPE手法に代わる計算効率の高い選択肢を提供し、大幅に削減されたリソース・フットプリントで最先端の精度を達成します。これにより、ローカルでのプライベートな展開が必要とされるRE環境における自動プロンプトエンジニアリングの適用が可能になります。
体系的な実証的評価： 本研究は、複数のデータセットとLLMにわたって、APEを古典的なプロンプティングと比較した最初の体系的な評価を提供します。これは、APEが大きな効果サイズを伴ってREタスクに堅牢に転移することを証明しています。
プロンプト進化への洞察： 本研究は、効果的なプロンプトの特定の構造的および意味的特性（簡潔、行動指向、構造的に明快）を特定し、最適化プロセスを成功させるためにドメインに基づいた初期化が厳密には必要ではないことを示しています。

著者らは、BT-APEを、高度な自動プロンプト最適化と、現実世界のRE環境におけるリソース制約との間の溝を埋める実用的なソリューションとして位置付けています。彼らは、導入とさらなる研究を促進するために、インタラクティブなツールと再現パッケージを公開しています。