Intelligent Test Case Scheduling Using Multi-Criteria Decision Making for Human–Machine Interface Testing​

現代の産業を支える機械を製造する工場において、製品が組立ラインから出荷される前に、極めて重要な瞬間が訪れます。それが最終検査です。これは単に塗装の状態をチェックするようなカジュアルなものではなく、人間が機械と対話するためのソフトウェアが正しく機能するかどうかを確認する、厳格でリスクの高い検証作業です。ヒューマンマシンインターフェース（HMI）として知られるこれらのシステムは、毎回完璧に動作しなければなりませんが、同時に「時間」という容赦ない制約の下でテストされます。生産ラインは、あらゆる可能性のあるチェックを実行するために何時間も停止することはできませんし、テスト予算も固定されており、交渉の余地はありません。もし重大な故障が見逃されれば、その結果は深刻なものになり得ますが、一方でテストに時間がかかりすぎれば、工場は損失を被ることになります。数十年にわたり、エンジニアたちは自身の経験に頼り、直感や古いチェックリストに基づいて実行するテストのサブセットを選択することで、このジレンマを解決してきました。しかし、このアプローチは一貫性に欠けます。あるエンジニアは危険な欠陥を見つけ出せても、別のエンジニアは見逃してしまうかもしれません。また、新製品のバージョンが登場するたびにプロセスが変わってしまいます。核心となる課題は、どのテストが絶対に必要なのか、そして安全性を損なうことなくどのテストをスキップできるのかを判断することであり、主観的な推測を、信頼できるデータ駆動型の意思決定へと変えることです。

四川理工大学の研究チームは、テストのスケジューリング方法を刷新し、人間の直感から数学的なスコアリングシステムへと移行することで、この問題に取り組みました。彼らはこの手法を「時間加重ユーティリティ・スコアリングモデル（Time-Weighted Utility Scoring Model）」と呼んでいます。エンジニアにテストを実行するかスキップするかを判断させる代わりに、このシステムはライブラリ内のすべてのテストケースに対して自動的にスコアを算出します。このスコアは単純な合格・不合格ではなく、3つの特定の要素から導き出される複雑な値です。第一に、システムは「リスク」を見ます。つまり、その特定の機能が過去の履歴に基づき、どの程度失敗する可能性が高いかです。第二に、「重要性」を考慮します。その機能が機械の安全性や運用においてどれほど不可欠であるかです。第三に、「コスト」を測定します。その特定のテストを実行するために、どれだけの時間と計算資源が必要かです。これら3つの要素を組み合わせることで、モデルは「今、そのテストを実行することの全体的な価値」を表す単一の数値を生成します。

研究者らがこのモデルを産業用ヒューマンマシンインターフェース・システムに適用したところ、安全性を犠牲にすることなく、テストに要する時間を劇的に短縮できることが分かりました。実験では、全テストセットを実行するのに425.9秒かかりました。しかし、この新しいスコアリングシステムを用いて最も価値の高いテストのみを選択することで、総実行時間を174.9秒に短縮しました。これは、およそ59パーセントの削減となります。極めて重要なのは、このスピード化によってエラーを見逃すことがなかったという点です。このシステムは、フルテストスイートが検出するはずの重大な失敗の100パーセントを検出できました。これは、安全のために必須となる高優先度のテストのグループを特定し、残りの部分に対してはスマートなサンプリング手法を用いることで、最も起こりやすい失敗をプロセスの中で早期に捉えるようにしたことによって実現されました。

システムの核心は、学習し適応する能力にあります。スコアは固定されたものではなく、毎回のテストラウンドの後に更新されます。あるテストケースが過去に何度も成功している場合、そのリスクスコアは低下し、システムはそのテストを実行する確率を下げます。逆に、失敗の履歴があるテストケースはリスクスコアが上昇し、問題を確実に捉えるために優先順位が高められます。あらかじめ定義された閾値を超えるスコアを持つケースについては、システムはそれらを必須テストとして決定論的に含めますが、残りのケースはスコアに応じた確率的サンプリングによって採用されます。これにより、テスト戦略が製品と共に進化するフィードバックループが生まれます。研究者らは、5人の異なるシニアエンジニアにテストの重要性とリスクを独立して評価させることで、このアプローチの妥当性を検証しました。その結果、エンジニア個人の意見には多少の差異が見られたものの、システムの最終的な結果は異なるデータグループ間でも安定しており、一貫していることが判明しました。これは、この手法が特定の個人の判断に依存するのではなく、誰がスコアリングを行っても信頼できる結果を生み出すことを証明しています。

最も重要な発見の一つは、このシステムが単に「最も安いテスト」や「最も履歴エラーが多いテスト」を選んでいるのではないということです。システムはこれら3つの要素すべてを同時にバランスさせています。研究者が、コストのみ、あるいはリスクのみといった具合に、一度に一つの要素のみに基づいてテストを選択する実験を行ったところ、結果ははるかに劣っていました。3つの要素を統合的に考慮したシステムは、単一の要素によるアプローチよりもはるかに速く、より少ないテスト数で失敗を検出することができました。実験において、新しい手法は、1,200回の実行を含む特定の実験グループ内で失敗の検出率100パーセントに達するために、わずか約23個の特定のテストケースを実行するだけで済みましたが、他の手法では同じ信頼レベルに達するために著しく多くのテストを必要としました。この効率性により、工場は製品の安全性を確認する時間を半分以下に短縮でき、重大な欠陥に対するゼロ・トレランス基準を維持しながら、生産のためのリソースを確保することが可能になります。

本研究は、場当たり的な経験ベースの決定を、文書化されたスコアベースの手順に置き換えることは可能であるだけでなく、安全性に直結する産業用ソフトウェアにとってより優れていることを示しています。研究者たちは、テストの選択を単なる効率性の問題ではなく、品質リスクの決定として扱うことで、単位時間あたりの故障発見数を最大化しながら、クリティカルな機能の検証を保証できることを示しました。結果は複数の独立したデータグループ間で一貫しており、この手法が堅牢で再現可能であることを示唆しています。テスト選択という混沌としたプロセスを、体系的でリソースを意識した計画へと変えることで、このアプローチは工場での受入検査における新しい標準を提供し、私たちの世界を動かす機械が、貴重な時間を無駄にすることなく、安全で信頼性が高く、市場に出る準備ができていることを保証します。