MR-Adopt: メタモルフィックテストのための入力変換関数の自動導出に関する技術的サマリー

本論文「MR-Adopt: Automatic Deduction of Input Transformation Function for Metamorphic Testing」は、ASE 2024 に受理された研究であり、メタモルフィックテスト（MT）における既存のテストケースの再利用性を高めるための新しいアプローチを提案しています。以下に、問題定義、手法、主要な貢献、評価結果、および意義について詳細にまとめます。

1. 問題定義

メタモルフィックテスト（MT）は、単一の入出力の正誤判定ではなく、入力間の関係（メタモルフィック関係：MR）とそれに対応する出力間の関係を検証することで、オラクル問題（正解が不明な場合のテスト）を解決する強力な手法です。

近年の研究（Xu et al. [48]）により、開発者が記述したテストケースの多くに MR が暗黙的にエンコードされていることが明らかになりました。しかし、調査対象の 11,000 件の MR エンコードテストケース（MTC）のうち70% 以上は、ソース入力（元の入力）とフォローアップ入力（変換後の入力）をハードコードしており、明示的な「入力変換関数」が含まれていません。

このハードコーディングは以下の重大な制限をもたらします：

• 再利用性の欠如: 自動生成された新しいソース入力に対して、対応するフォローアップ入力を自動的に生成できないため、MR を拡張してテスト網羅性を高められない。
• テスト網羅性の限界: 既存のツール（EvoSuite など）は多様なソース入力を生成できますが、特定の MR 条件を満たす入力ペアを生成することはできません。

したがって、ハードコードされた入力ペアから、汎用的な入力変換関数を自動的に推論・生成し、MR を新しい入力に適用可能にする技術が求められています。

2. 提案手法：MR-Adopt

MR-Adopt は、大規模言語モデル（LLM）を活用して、ハードコードされた入力ペアから入力変換関数を自動導出する 2 フェーズのパイプラインです。

全体フロー

1. フェーズ 1: 入力ペアの準備（Input Pair Preparation）

   • 目的: 単一のハードコードされた入力ペアだけでは過学習（Overfitting）のリスクがあるため、LLM に類似の入力ペアを生成させ、入力関係の具体例を増やす。
   • プロセス:
     1. 生成: LLM に既存の MTC と対象メソッド（MUT）の文脈を与え、Chain of Thought 戦略を用いて「新しいソース入力」と「対応するフォローアップ入力」のペアを複数生成させる。
     2. 洗練（Refinement）: LLM が生成したコードには、入力生成に関係ないアサーションや誤った API 呼び出しが含まれることがあるため、データフロー分析を用いて、入力変数と依存関係にあるコードのみを抽出し、不要な部分を除去する。
     3. 検証（Validation）: 開発者が記述した出力関係のアサーション（オラクル）を用いて、生成された入力ペアが MR の条件を満たすか検証し、有効なペアのみを保持する。

2. フェーズ 2: 変換関数の生成（Transformation Generation）

   • 目的: フェーズ 1 で準備した複数の入力ペア例（Few-shot）に基づき、汎用的な入力変換関数を生成する。
   • プロセス:
     1. 生成: LLM に、ハードコードされた元のペアとフェーズ 1 で生成・検証された追加ペアを例として提示し、入力変換関数のコードを生成させる。
     2. 洗練: 同様にデータフロー分析を行い、変換ロジックに関係のないコードや依存関係の不足を修正する。
     3. 評価（Assessment）: 生成された複数の候補変換関数を、フェーズ 1 で用意した「新しいソース入力」に対して実行し、どの関数が最も多くの入力に対して正しくフォローアップ入力を生成できるか（汎用性が高いか）を評価し、最適なものを選択する。

3. 主要な貢献

1. 初の試み: テストケースにエンコードされた MR に対して、入力変換関数を自動生成するアプローチを初めて提案しました。
2. MR-Adopt の設計:
   • 過学習の回避: 単一の例だけでなく、LLM による追加入力ペアの生成（アナロジー推論）を活用し、汎用的な変換関数の生成を支援。
   • コード品質の向上: データフロー分析に基づくコード洗練と、出力関係に基づく検証・評価ステップを組み合わせ、LLM が生成する誤ったコードや無関係なコードを排除。
3. 大規模評価とデータセット: 2023 年 4 月以降に作成された 100 件の MR エンコードテストケース（MTC）を対象に評価を行い、関連データセットを公開しました。

4. 評価結果

100 件の MTC に対する実験結果は以下の通りです。

• 変換関数の生成精度:
  • MR-Adopt は 95 件の MTC に対してコンパイル可能な変換関数を生成しました。
  • そのうち、**72 件（72.00%）**で、実験で用意されたすべてのソース入力に対して汎用的に適用可能な変換関数を生成しました。
  • ベースライン（GPT-3.5 への直接プロンプト）と比較して、100% 汎用性のある変換関数の生成数は33.33% 向上しました。
• フォローアップ入力の生成能力:
  • MR-Adopt 生成の変換関数は、1,366 件のソース入力に対して**91.21%**の割合で有効なフォローアップ入力を生成しました。
  • これは、LLM をブラックボックス変換として直接使用した場合（約 43-53%）と比較して、72%〜108% 改善された結果です。
• テスト網羅性の向上:
  • 生成された変換関数を用いて MR を拡張し、新しいテストケースを構築した結果、既存の開発者記述テストケースと比較して：
    • コードカバレッジ（Line Coverage）: +10.62% 向上
    • ミューテーションスコア（Mutation Score）: +18.91% 向上
  • これは、MR-Adopt によって導出された変換関数が、テストの網羅性を実質的に向上させることを示しています。

5. 意義と結論

MR-Adopt は、開発者が記述したテストケースに埋め込まれた貴重なドメイン知識（MR）を、明示的な入力変換関数に変換することで、その再利用可能性を劇的に高めます。

• 自動化の促進: 手動で入力変換ロジックを記述する手間を省き、既存の MR を自動テスト生成ツールと連携させて利用可能にします。
• テストの質向上: 単なる入力生成だけでなく、開発者が意図した正しいオラクル（出力関係）を維持しつつ、多様な入力パターンを網羅できるため、より堅牢なテストスイート構築に寄与します。
• LLM 活用の新境地: LLM を単なるコード生成ツールとして使うだけでなく、データフロー分析や検証ステップと組み合わせることで、LLM の誤りを抑制し、実用的なソフトウェアテスト支援ツールとして機能させる手法を示しました。

本論文は、メタモルフィックテストの普及と自動化において、ハードコードされたテストケースを「動的に拡張可能なテスト資産」へと変える重要な一歩となります。