LLMs-Powered Real-Time Fault Injection: An Approach Toward Intelligent Fault Test Cases Generation

1. 背景と課題 (Problem)

自動車ソフトウェアシステム（ASS）の複雑化に伴い、ISO 26262 規格に基づく安全性評価が不可欠となっています。従来の故障注入（Fault Injection: FI）テストは、システムの安全性メカニズムを検証する重要な手法ですが、以下の重大な課題を抱えています。

• 手作業の依存: 故障の種類、場所、注入タイミングといった属性を、専門家の知識に基づいて手動で特定・定義する必要があります。
• コストと効率: システムが複雑になるほど、代表的な故障テストケース（TC）の作成は時間、労力、コストの面で非効率になります。
• カバレッジの限界: 手動またはランダムな注入では、網羅的なカバレッジが得られず、重要なエッジケースを見逃すリスクがあります。

これらの課題を解決し、機能安全要件（FSRs）からリアルタイムテスト用の現実的な故障テストケースを体系的に生成する手法が求められていました。

2. 提案手法 (Methodology)

本研究では、大規模言語モデル（LLM）を活用した、リアルタイム故障注入を支援する新しいフレームワークを提案しています。このアプローチは、ハードウェアインザループ（HIL）シミュレーション環境と連携して動作します。

主要なプロセスフロー

1. FSR の入力と分類:
   • 自然言語で記述された機能安全要件（FSR）を LLM に入力します。
   • LLM は事前のデータ前処理なしで FSR を解析し、センサー関連とアクチュエータ関連に分類します。これにより、対象コンポーネントに特化した故障生成が可能になります。
2. 故障テストケースの生成:
   • 分類された FSR と、サポート対象のセンサー/アクチュエータのリストに基づき、LLM が故障注入パラメータを生成します。
   • 出力形式は JSON オブジェクトで、故障注入先（1 または 2 つのコンポーネント）と、故障タイプ（ゲイン、オフセット、スタックアット、遅延、ノイズなど）を指定します。
   • ISO 26262 に準拠し、単一故障だけでなく、同時故障（Concurrent Faults）のシナリオも生成可能です。
3. リアルタイム実行と分析:
   • 生成された故障パラメータは、HIL シミュレータ上の故障注入フレームワーク（RTICANMM 経由）に送信されます。
   • 高忠実度の自動車システムモデル（エンジンおよび車両ダイナミクス）に対して、リアルタイムで故障が注入されます。
   • 正常動作（Golden Run）との比較を通じて、システムの挙動や安全メカニズムの有効性を評価します。

使用モデル

• 比較対象として、GPT-4o, GPT-4o-mini, LLaMA-3-70b, Phi-4-14b, Qwen2.5-7b などの各種 LLM を評価しました。
• 再学習（Fine-tuning）ではなく、Few-shot Prompting（数ショットプロンプティング）を用いることで、動的な環境変化への適応性と計算コストの低さを両立させています。

3. 主要な貢献 (Key Contributions)

1. FSR からの自動テストケース生成: LLM を用いて、機能安全要件からリアルタイム FI テスト用の代表的な故障テストケースを自動生成する新規アプローチの提案。
2. 分類タスクの導入: FSR をセンサー/アクチュエータ関連に分類するタスクを実装し、生成精度の向上と不確実性の低減を実現。
3. HIL 環境での実証: 高忠実度の自動車システムモデルを用いた HIL シミュレーション上で、生成されたテストケースをリアルタイムに実行し、その有効性を実証。
4. 同時故障のサポート: ISO 26262 の制約（最大 2 つの同時故障）を満たす、単一および同時故障の両方を網羅的に生成する能力の提示。
5. モデル性能の包括的評価: 異なるパラメータ数を持つ商用・オープンソースモデルの性能比較と、データサイズやプロンプト構成が生成精度に与える影響の分析。

4. 実験結果 (Results)

複数の LLM を用いた実験において、以下の結果が得られました。

• FSR 分類性能:
  • GPT-4oが最高性能を示し、F1 スコア 88.0% を達成しました。
  • オープンソースモデルでは Qwen2.5-7b (85.7%) や Phi-4-14b (83.2%) が良好な結果を示しました。
• 故障テストケース生成性能:
  • GPT-4oが最も優れており、F1 スコア 97.5% を記録しました。
  • オープンソースモデルの Phi-4-14b も F1 スコア 96.6% と高い精度を達成し、ローカル環境での展開に適した有力な代替案であることが示されました。
  • 一部のモデル（例：Phi-4-14b）は、コンテキストウィンドウを超えた大量の例を提示するとフォーマットエラーを起こすことが判明しましたが、適切なプロンプト設計で安定した性能を発揮しました。
• リアルタイム実行結果:
  • 生成された故障（例：スロットルとブレーキの同時故障、センサーの遅延故障）を HIL 環境に注入した結果、システムが安全状態から異常状態へ遷移する様子が観測されました。
  • 特定の時間区間ではシステムが故障を緩和して安定動作を維持しましたが、他の区間ではエンジン回転数や車速、温度などの異常が発生し、FSR 違反が確認されました。これにより、提案手法がシステムの脆弱性を特定する有効な手段であることが実証されました。

5. 意義と将来展望 (Significance & Future Work)

• 意義:
  • 従来の手動プロセスに代わり、コスト削減、時間短縮、テストカバレッジの向上を実現します。
  • 複雑な安全クリティカルな自動車システムにおいて、LLM を活用したインテリジェントなテスト設計が可能であることを実証しました。
  • 商用モデルだけでなく、高性能なオープンソースモデル（Phi-4 など）も実用可能であることを示し、データ主権やコスト制約のある環境での導入を可能にします。
• 将来展望:
  • 通信レベルの故障や ECU レベルの故障など、より広範な故障モードへの対応。
  • LLM による予測結果の根拠（Rationale）の提供を通じた、意思決定支援機能の強化。
  • Few-shot プロンプティングの汎用性を活かし、他の要件タイプへの拡張。

この研究は、自動車ソフトウェア開発における安全性評価プロセスを革新し、LLM を実時間検証システムに統合する新たな道筋を示す重要な成果です。