技術要約：TVR – 検索拡張生成（RAG）を用いたトレーサビリティの検証とリカバリ

1. 問題定義

自動車ソフトウェア開発において、ステークホルダー要件（高レベルのニーズ）とシステム要件（詳細な仕様）の間の正確なトレーサビリティを維持することは、一貫性、正確性、および規制遵守（ASPICE、ISO 26262など）を確保するために極めて重要です。しかし、手動によるトレーサビリティプロセスはエラーが発生しやすく、以下のような問題を引き起こします：

• 変更の不適切な伝播： ステークホルダー要件の更新がシステム要件に反映されないことがあり、古い、あるいは無効なリンクが作成される原因となります。
• 人間によるマッピングミス： 手動検証の労働集約的な性質により、誤ったマッピングやリンクの欠落が生じます。
• 言語的および構造的なバリエーション： 要件は、多様な用語、抽象度、テンプレート（例：「通信途絶（Lost Communication）」対「不適切なデータ（Implausible Data）」などの診断トラブルコード（DTC））を用いて表現されます。従来の類似性ベースのアプローチ（TF-IDF、SentenceBERTなど）や標準的な大規模言語モデル（LLM）のプロンプティング（Zero-Shot、Chain-of-Thought）は、これら異種混合のバリエーションを一般化することに苦戦し、メッセージやシグナルの定義における微妙な意味の違いを区別できないことがよくあります。

対処すべき具体的な課題は、既存のトレーサビリティリンクの検証（Validation）、および、システム要件が複数のステークホルダー要件をカバーする場合がある中で、テキストの類似性だけでは検証が不十分な、DTCステークホルダー要件とシステム要件間の欠落したリンクの**リカバリ（Recovery）**です。

2. メソドロジー：TVRアプローチ

著者らは、インコンテキスト学習（In-Context Learning）によって強化された検索拡張生成（RAG）を活用するフレームワークであるTVR（Traceability Validation and Recovery）を提案しています。外部ドメイン知識を補完するために外部文書を検索する従来のRAGシステムとは異なり、TVRは、推論の例として機能させるために、ラベル付け済みの過去の要件ペアを検索します。

コアコンポーネント

1. リトリーバー（Retriever）：

   • 入力： テストペア $\langle \text{stakeReq}, \text{sysReq} \rangle$。
   • メカニズム： 連結された要件ペアの埋め込み（Embedding）をAmazon Titanモデルを使用して生成します（業界パートナーの制約により選択）。
   • 選択： トレーニングデータベース（$D_{train}$）から、最も類似した有効な（正の）例を$k$個、および最も類似した無効な（負の）例を$k$個取得します。
   • 類似性： FAISSライブラリを介して、コサイン類似性（$k=3$で最適化）を使用します。

2. ジェネレーター（Generator）：

   • モデル： 主にClaude 3.5 Sonnetを用いて評価されていますが、13種類のLLMがテストされました。
   • プロンプティング戦略： ジェネレーターは以下の内容を含むプロンプトを受け取ります：
     • 指示： システム要件がステークホルダー要件内の特定のメッセージまたはシグナルをカバーしているかどうかを検証するという、特定のタスク（一般的なトレーサビリティから、特定のシグナル・カバレッジへの範囲の絞り込み）。
     • コンテキスト： 推論を導くための、$k \times 2$個の取得された例（有効および無効な例）。
     • 入力： 評価対象となるテストペア。
     • 出力インジケーター： バイナリの「Yes」または「No」の応答。
   • 目的： LLMは、外部知識の検索に頼るのではなく、トレーサビリティの正当性の決定パターンを学習するための「デモンストレーション」として、取得された例を使用します。

3. トレーサビリティ・リカバリ（前処理）：
   網羅的な直積探索を行うことなく欠落したリンクをリカバリするために、TVRは3段階のフィルタリング戦略を採用しています：

   • バリエーション・マッチング： DTCタイプに基づいて要件をペアリングします（例：「Lost Communication」は「Lost Communication」にのみリンクされます）。
   • 条件マッチング： 条件タイプ（Mature vs. Demature）に基づいて要件をペアリングします。
   • メッセージ重複マッチング： 少なくとも1つの共通のメッセージまたはシグナル・トークンを共有しないペアをフィルタリングします。
     これらでフィルタリングされた候補に対し、TVRを用いて欠落している有効なリンクを特定します。

3. 主な貢献

• TVRフレームワーク： 外部知識の検索ではなく、インコンテキストの例を利用して、自動車システムにおけるトレーサビリティリンクの検証およびリカバリのために特別に設計された、新しいRAGベースのアプローチ。
• バリエーションへの堅牢性： 代表的な例を活用することで、LLMのセマンティックな理解を強化し、未知の要件バリエーション（異なるテンプレートや用語）を処理できる能力を実証しました。
• 包括的な評価： 13種類のLLM（Claude、Llama、Mistral、Titanファミリーを含む）と4つのプロンプティング戦略（Zero-Shot、CoT、Few-Shot、Self-Consistency）を用いて、最先端のベースライン（LiSSA、TF-IDF、SentenceBERT）と比較しながら厳格な評価を実施しました。
• 産業界での検証： 自動車パートナーから提供された、2,132組のDTC要件ペアからなる実際の産業用データセットを用いて評価を行い、システムエンジニアによる構造化されたアノテーションを通じてグラウンドトゥルース（正解）を確立しました。

4. 実験結果

研究は、1,320のステークホルダー要件と48のシステム要件（2,132のリンク）からなるデータセットに対して行われました。

• トレーサビリティ検証：

  • 精度（Accuracy）： TVR（RAGを用いたClaude 3.5 Sonnetを使用）は、**98.87%**の精度を達成しました。
  • マクロF1値（Macro-F1）： **96.72%**を達成し、最良のベースライン（LiSSA-CoTの52.89%、SentenceBERTの57.82%）を大幅に上回りました。
  • 比較： 同一モデルを用いたZero-Shotプロンプティングによる精度は79.55%にとどまり、RAG/インコンテキスト・アプローチの必要性を浮き彫りにしました。
  • 堅牢性： 未知の要件バリエーション（4つのバリエーションカテゴリにわたるクロスバリデーション）でテストした際、TVRは**97.13%の精度と90.86%**のマクロF1値を維持しました。

• トレーサビリティ・リカバリ：

  • 3段階の前処理によって候補プールを約3万件から1,919ペアに削減した後、TVRは502個の潜在的な欠落リンクを特定しました。
  • 正確性： 人間による検証の結果、リカバリされたリンクの**85.50%**が正しいことが確認されました。

• エラー分析：

  • エラーは主に、LLMがターゲットとなる入力メッセージではなくトリガー条件に焦点を当てた場合、または特定のシグナルを超えたコンポーネント（検証ルールなど）を考慮した場合に発生しました。
  • TVRと検索ベースのベースライン（SentenceBERT）は、直交するエラーパターンを示しており、ハイブリッドなアプローチの可能性を示唆しています。

5. 意義と主張

本論文は、TVRが、トレーサビリティの維持が不可欠でありながら手動での維持が困難な産業環境において、実用的で高精度なソリューションを提供すると主張しています。

• 効率性： トレーサビリティ検証に必要な手動作業を大幅に削減し、業界パートナーから報告されている時間およびコストの制約に対処します。
• 信頼性： 高い精度（98.87%）と未知のバリエーションに対する堅牢性は、複雑で進化し続ける自動車システムへの導入に適しています。
• 解釈性： 本フレームワークは説明可能性をサポートしています。設定に応じて、LLMはステップ・バイ・ステップの推論（例：特定のメッセージを特定し、その存在をシステム要件内でチェックする）を提供でき、エンジニアによる自動決定の検証を支援します。
• 限界と今後の課題： 著者らは、このアプローチが検索データベースの品質に依存していること、およびモデルが「メッセージのみ」に集中することに失敗した場合に偽陽性が起こり得ることを認めています。今後の課題として、検索ベースの類似性とLLMの推論のハイブリッド化や、トリガー条件を除外するための前処理の精緻化などが挙げられています。

著者らは、TVRは現在自動車のDTC要件に特化しているものの、その根底にある「検証のための検索拡張インコンテキスト学習」という原理は、高レベルから低レベルの要件トレーサビリティを必要とする他のドメインにも適応可能であると結論付けています。