💻 コンピュータサイエンス

Automated Test Case Generation for Airborne Software Using a VAE–Transformer Model

本論文は、構造化されたイベント・フィールド行列表現と状態セマンティック・ベクトルを組み合わせたVAE–Transformerベースのフレームワークを提案しており、これにより、従来の方式と比較して、安全性に敏感な航空機用ソフトウェアのファジングにおけるカバレッジと効率を大幅に向上させ、多様で高品質なテストケースを生成する。

原著者： Wenguang Xie, Xiaoxue Zeng, Jie Bai, Kenian Wang, Kun Yang

公開日 2026-10-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Wenguang Xie, Xiaoxue Zeng, Jie Bai, Kenian Wang, Kun Yang

原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

現代の航空機は、飛行制御からミッションプランニングに至るまで、あらゆる事象を管理するためにソフトウェアに依存しています。このコードはセーフティクリティカル（安全性が極めて重要）であり、単一のエラーが壊滅的な結果をもたらす可能性があります。そのため、エンジニアはプログラムがあらゆる可能な条件下で正しく動作することを保証するために、厳格にテストしなければなりません。このテストにおける大きな課題は、ソフトウェアが複雑で変化する状態の中で動作することです。例えば、飛行モードを変更するコマンドは、航空機が特定の武装状態にあり、かつバッテリー残量が十分である場合にのみ有効であるといった具合です。従来のテスト手法は、入力データを単純なランダムの変化のストリームとして扱うため、ここで苦戦することがよくあります。これらのランダムな変化が構造化されたデータに適用されると、フォーマットのルールを破ったり、システムの現在の状態を無視したりすることが頻繁に起こり、その結果、バグが隠れている可能性のある深く隠れたパスに到達する前に、テストが失敗してしまいます。

西北工業大学と中国民用航空大学の研究者たちは、この問題を解決するための新しいアプローチを開発しました。彼らは、航空用ソフトウェアに特化した高品質なテストケースを生成するために人工知能を使用するシステムを構築しました。データを盲目的に変異させるのではなく、彼らの手法は、まず入力の構造と航空機のシステムの現在の状態を理解します。そして、2種類の異なる機械学習モデルを連携させて使い、構造的に有効であり、かつ文脈的に適切な新しいテストシナリオを作成します。研究者たちはこのシステムを、実際の飛行制御システムの6つの異なるモジュールでテストしました。その結果、彼らの手法は、標準的なテストツールよりも多くの隠れた実行パスを発見し、より多くのコードをカバーした一方で、より少ないコンピュータ資源でそれを実現できることが分かりました。

この新手法の核心は、データの表現方法にあります。航空用ソフトウェアの入力は、単なる数字のランダムな文字列ではありません。それらは特定のブロックに整理されています。例えば、各行がシーケンス内のステップを表し、各列がコマンド、モード設定、またはセンサーの読み取り値といった特定の情報を表すグリッドのような形式です。研究者たちは、テストデータをこのグリッド形式に整理しました。また、システムが武装しているか、どのモードにあるか、あるいはアクティブな故障があるかといった、航空機の運用状態の要約を抽出し、これをコンパクトな情報のベクトルへと変換しました。このベクトルは、生成プロセスにおけるルールや制約のセットとして機能し、作成される新しいテストケースがシステムの現在の状態を遵守することを保証します。

新しいテストケースを生成するために、システムは2部構成のアーキテクチャを採用しています。第一の部分は、多様性の生成器として機能する変分オートエンコーダー（VAE）です。これは、既に見ているデータから成功したテストケースの潜在的なパターンを学習します。単に古い例をコピーするのではなく、新しいバリエーションをサンプリングできる連続的な可能性の空間を作り出します。決定的なのは、これが運用状態ベクトルを一定に保ったまま行うという点です。つまり、「武装状態かつクルーズモード」といった特定の状態条件の下で、テストケースの多くの異なる構造的バリエーションを作成できるのです。これにより、システムは、ソフトウェアが要求する状態ルールを誤って壊すことなく、多くの異なるパスを探索することができます。

第二の部分は、シーケンスの異なる部分間の関係を理解することに長けたニューラルネットワークの一種である、トランスフォーマー・モデルです。これは、イベントのグリッド全体を同時に俯瞰します。システムは、シーケンスの最初の方に送られたコマンドが、シーケンスの最後の方に設定されたステータスフラグと互換性を持つ必要があることを理解します。システムは、第一の部分からの状態制約と第二の部分からの多様なバリエーションを融合させるための特殊なゲーティング・メカニズムを使用します。これにより、最終的な出力が、すべてのフィールドが他のフィールドや全体のステートに対して意味を成す、完全で一貫したテストケースであることを保証します。モデルは、データを1バイトずつ推測するのではなく、テストケース全体を並列に生成するため、データの構造的な整合性が維持されます。

研究者たちは、広く使用されているオープンソースのオートパイロットであるPX4飛行制御システムのコマンダー・モジュールを用いて、彼らの手法を評価しました。彼らは、ランダムな変異に依存する標準的なカバレッジ誘導型ファザーや、データの生成によく使われる別のAIモデルである生成的敵対ネットワーク（GAN）と比較しました。結果として、彼らのVAE-Transformer手法は、他を常に上回りました。コマンダー・モジュールにおいて、標準的なファザーと比較して、エッジカバレッジを約4.9パーセントポイント、ラインカバレッジを5.1パーセントポイント、ブランチカバレッジを4.6パーセントポイント向上させました。さらに重要なことに、彼らはソフトウェアを実行する回数で測定される計算量（コンピューターのリソース）を約9.6パーセント少なく抑えながら、これらより高いレベルのカバレッジに到達しました。

この優位性は単一のモジュールに限定されたものではありませんでした。チームは、ミッション管理、ヘルスモニタリング、安全回復システムを含む6つの異なる制御ロジック・モジュールに対してシステムをテストしました。これら6つのターゲットすべてにおいて、新しい手法は比較対象の手法よりも有意に多くのユニークな実行パスを発見し、より多くのコード行をカバーしました。例えば、ミッションマネージャー・モジュールでは、次に優れた手法よりも77個多くのユニークなパスを発見しました。また、システムは新しいパスを発見する能力において、時間の経過とともに一貫して高いパフォーマンスを示しましたが、他の手法は新しいコードの発見が止まってしまうプラトー（停滞期）に達することがよくありました。研究者たちは、この手法が、入力の妥当性がタイミング、値、およびシステム状態の精密な組み合わせに依存するという、飛行制御ソフトウェアの特徴である複雑な状態依存性をナビゲートする上で特に効果的であったと指摘しています。

この研究には、どの部分のシステムが最も重要かを判断するための実験も含まれていました。変分オートエンコーダーまたはトランスフォーマーのいずれかのコンポーネントを取り除くと、パフォーマンスが低下したため、両方のパーツが最良の結果を得るために必要であることが示されました。同様に、適応型ゲーティング・メカニズムを情報のより単純な結合方法に置き換えると、新しいパスを見つける効率が低下しました。これは、モデルが状態制約とランダムな多様性のバランスをどのように取るかという特定の仕組みが、成功の鍵であることを示唆しています。研究者たちは、彼らのアプローチが、高信頼性ソフトウェアのテストを自動化するための実現可能な方法を提供し、テストの徹底度と実施の効率性の両方を向上させると結論付けました。

有望な結果ではあるものの、著者らは、彼らの手法が固定長かつ明確なフィールド境界を持つ入力用に設計されており、これは多くの飛行制御システムでは一般的であるが、すべてではないことを認めています。彼らは、将来の研究において、可変長のプロトコルや、より複雑な相互作用の制約に対処する必要があると示唆しています。それにもかかわらず、この研究は、システムの状態理解と高度な生成モデルを組み合わせることで、従来のランダムな手法よりもはるかに効果的に隠れた欠陥を発見するテストケースを作成できることを実証しています。このアプローチは、現代の航空機を飛行させているソフトウェアの安全性と信頼性を確保するための、新しいツールを提供しています。

技術要約：VAE–Transformerモデルを用いた航空機用ソフトウェアの自動テストケース生成

問題提起

航空機用ソフトウェアは、厳格な入力フォーマット、複雑な動作状態、および深い状態依存の実行パスを特徴とする、安全性に極めて敏感な（safety-critical）ソフトウェアである。従来のカバレッジ誘導型ファジング（例：AFL、AFL++）は、ランダムなバイトレベルの変異に依存してこれらのパスを探索する。しかし、航空機用ソフトウェアにとって、このようなランダムな変異は構造化された入力フォーマット（フィールドの境界やイベントの順序を破壊する）を損なうことが多く、また複雑な状態制約を満たすことも困難である。その結果、変異された入力の多くがパース時や状態検証時に拒否され、深い実行パスに到達するための高品質なテストケースを生成することが困難になっている。深層学習はテキストプロトコルやファイルフォーマットのファジングには適用されてきたが、固定長で明示的に構造化され、かつ強力に状態依存的なバイナリ入力を特徴とする航空機用ステートマシンのために、構造的妥当性と状態セマンティクスを共に保持できる生成モデルに関する体系的な調査は不足している。

手法

本論文は、構造的妥当性と状態セマンティクスの制約を統合するように設計された、自動テストケース生成のためのVAE–Transformerフレームワークを提案する。このフレームワークは、主に4つの段階で動作する。

1. 構造化入力の表現と状態セマンティクスの抽出

イベント–フィールド行列（Event–Field Matrix）: 固定長のバイナリ入力を、 $m \times n$ のイベント–フィールド行列へと再構成する。ここで、行はイベントステップを表し、列はフィールド次元（例：ティック、コマンド、モード、フラグ）を表す。これにより、局所的なフィールドのセマンティクスとグローバルなイベントの順序が保持される。
状態セマンティクス条件ベクトル ( $c$ ): ターゲットプログラム上で過去のシードを実行することにより、実行時の状態サマリー（システムモード、アーム状態、フェイルセーフレベル、および拒絶統計を含む）を抽出する。これらは、 $s$ 次元のベクトル ( $c$ ) に正規化され、動作状態のコンテキストを明示的にエンコードする。

2. セマンティクス抽出に基づくVAE潜在モデリング

**条件付き変分オートエンコーダ（Conditional VAE）**を用いて、特定の状態制約下における高価値なテストケースの潜在分布を学習する。

条件付け（Conditioning）: 動作状態ベクトル $c$ が条件付け入力として機能する。
潜在空間（Latent Space）: エンコーダは、 $c$ を潜在変数 $z$ の確率分布へとマッピングする。
再パラメータ化（Reparameterization）: 再パラメータ化トリック（ $z = \mu + \sigma \odot \varepsilon$ ）を用いて潜在変数 $z$ をサンプリングする。これにより、離散的なランダムビット反転に頼るのではなく、連続的な潜在空間における確率的な摂動を導入することで、同一の状態条件下で多様な候補を生成することが可能になる。
関心の分離（Separation of Concerns）: この設計は、状態セマンティクスの制約（ $c$ によって提供される）と、サンプルの多様性の源泉（ $z$ によって提供される）を明示的に分離している。

3. イベント認識型ゲート付きTransformer生成

Transformerエンコーダが実際のテストケースの構造を生成し、**イベント認識型ゲート付き融合メカニメント（event-aware gated fusion mechanism）**を利用して、制約と多様性のバランスをとる。

ゲート付き融合（Gated Fusion）: 条件付け表現（ $H_c$ ）と潜在表現（ $H_z$ ）を共通の隠れ空間へと投影する。適応的なゲーティングメカニズムが各イベント位置において重みを計算し、これらの表現を融合させる： $H_{fuse} = G \odot H_c + (1 - G) \odot H_z$ 。これにより、モデルは状態制約と確率的変動を動的に調整することができる。
双方向モデリング（Bidirectional Modeling）ity: Transformerエンコーダはマルチヘッド自己注意（multi-head self-attention）を適用して、すべてのイベント間の双方向の依存関係をモデル化し、長距離の関係（例：あるフォルト注入が後のリカバリ状態にどのように影響するか）を捉える。
並列生成（Parallel Generation）: 自己回帰的なバイト単位の生成とは異なり、モデルは時間分散型全結合層を介して、正規化された $m \times n$ 行列全体を並列に出力し、構造的一貫性を確保する。

4. 評価ループ

生成されたテストケースは、後処理（逆正規化および有効なバイト範囲へのクリッピング）が行われた後、**AFL++**の初期コーパスとして使用される。このフェーズの間、生成モデルのパラメータは固定される。AFL++はカバレッジのフィードバックを提供するが、VAE–Transformerモデルを更新することはない。

主な貢献

本論文は、以下の2つの主要な貢献を特定している。

セマンティクス抽出に基づくVAE潜在モデリング: 生のバイナリ入力をイベント–フィールド行列へと再構成し、明示的な動作状態セマンティクスベクトルを抽出する。条件付きVAEは、これらの制約下での高価値な入力の潜在分布を学習し、再パラメータ化サンプリングを用いることで制御された多様性を提供する。この設計は、状態セマンティクスの制約とサンプルの多様性の源泉を分離している。
イベント認識型ゲート付きTransformer生成: イベント認識型のゲーティングメカニズムが、各イベント位置において条件付けセマンティクスベクトルと確率的潜在変数のバランスを適応的にとる。その後、Transformerエンコーダが双方向の依存関係をモデル化し、構造的に妥当な完全なテストケースを並列に生成することで、構造的妥当性と深いパス探索の両方をサポートする。

実験結果

実験は、PX4フライトコントロールシステムの代表的な制御ロジックモジュール6つ（例：commander、mission manager、health monitor）を用い、AFL++ベースライン、GANベースのアプローチ、および提案手法であるVAE–Transformerを用いて実施された。

カバレッジの向上: commander ターゲットにおいて、提案手法はAFL++ベースラインと比較して、エッジカバレッジを約4.9パーセントポイント、ラインカバレッジを約5.1パーセントポイント、ブランチカバレッジを約4.6パーセントポイント向上させた。
効率性: ターゲットカバレッジに到達するために必要な実行予算（実行回数）は、commander ターゲットにおいて約**9.6%減少した。全6つのターゲットを通じて、平均実行予算は約9.4%**減少した。
汎用性: VAE–Transformerは、エッジ、ブランチ、ラインのすべてのカバレッジにおいて、AFL++およびGANの両方を一貫して上回った。また、他の手法が停滞する中間的なカバレッジプラトー（停滞期）を克服する能力を示した。
アブレーション研究: 実験により、VAEによる分布モデリング、Transformerによるコンテキストモデリング、および適応型ゲート付き融合メカニズムの組み合わせが、最適なパフォーマンスを得るために必要であることが確認された。いずれかのコンポーネントを除去したり、より単純な融合戦略（例：加算や結合）を使用したりすると、カバレッジが低下し、実行予算が増大した。

意義と主張

本論文は、提案手法が、構造化され状態依存的な環境におけるランダムな変異の限界に対処することで、高信頼性の航空機用ソフトウェアの自動テストに対する実現可能なアプローチを提供すると主張している。状態セマンティクスを明示的にモデル化し、生成モデルを用いて有効な入力の潜在空間を探索することにより、本手法はファジングのカバレッジの広さ・深さと効率性の両方を向上させる。

著者らは、現在の研究が、明確なフィールド境界を持つ固定長の構造化入力に焦点を当てていることを注記している。可変長のプロトコル、深くネストされた入力、およびより複雑な相互作用制約への適用可能性については、さらなる調査が必要であるとしている。本手法は、既存のファジングエンジンの代替ではなく、既存のファジングワークフロー（具体的にはAFL++のシード生成器として）を強化するものとして提示されている。