原著者： Johann Maximilian Christensen, Elena Hoemann, Frank Köster, Sven Hallerbach

公開日 2026-05-07✓ Author reviewed ⓘ

📖 1 分で読めます☕ さくっと読める

原著者： Johann Maximilian Christensen, Elena Hoemann, Frank Köster, Sven Hallerbach

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

Each language version is independently generated for its own context, not a direct translation.

ロボットに飛行機の操縦を教える場面を想像してください。ロボットを安全に運用するためには、どこで、いつ飛行が許可されているかを正確に伝える必要があります。AI 安全性の分野では、この「許可された領域」を「運用設計ドメイン（ODD）」と呼びます。

従来、専門家はホワイトボードを前に座り、手書きでこの領域を描こうとしてきました。「雨の中は飛行しない」「3 万フィート以上は飛行しない」といったルールを書き記すのです。しかし、現実世界は複雑です。気象、交通、風が相互に作用する様子は、ホワイトボードに完璧に列挙することなど不可能です。その結果、ロボットが安全だと考えているのに、実際には指示されていない危険な状況に陥るという、安全性の隙間が生じることがよくあります。

本論文は、その安全性領域を描く新しい方法を提案します：データに描かせるのです。

以下に、日常的な比喩を用いて、彼らがどのように行ったかを簡潔に解説します。

1. 課題：「空白の地図」

街の地図を持っているが、通りが霧に隠れていると想像してください。街が存在することはわかっていますが、安全な道路がどこにあり、崖がどこにあるかは正確にはわかりません。

従来の方法： 専門家が経験に基づいて道路の位置を推測します。隠れた崖を見逃す可能性があります。
新しい方法： 地図の上に数千個の光るビー玉（データポイント）を落とします。ビー玉が着いた場所は安全だとわかります。着かなかった場所は、危険かもしれないと仮定します。

2. 解決策：「光る網」

著者らは、これらの散らばったデータポイントを滑らかで連続的な安全性マップに変換する手法を開発しました。これをカーネルベース表現と呼びます。

各データポイント（安全な飛行条件）を焚き火だと考えてください。

火：焚き火の真ん中は非常に暖かい（非常に安全です）。
熱：焚き火から離れるにつれて、熱は薄れていきます。突然止まるのではなく、次第に冷たくなり、ほとんど感じられなくなるまで続きます。
網： AI システムは、これらすべての焚き火の温もりを組み合わせることで、巨大で目に見えない「ヒートマップ」を作成します。
- 熱が強い場所に立っていれば、あなたは安全性領域の内側にいます。
- 焚き火の間の冷たい場所にいれば、安全性領域の外側にいます。

焚き火の周りを硬い箱で囲むよりも、この方法は中間の「グレーゾーン」を考慮しているため、優れています。

3. 過ちのための「安全網」

もし、誤って実際には危険な場所（崖の縁など）にビー玉を落としてしまったらどうでしょうか？システムは、そこに火を起こさないようにする必要があります。

著者らは以下のルールを追加しました：もし「危険な」データポイントが近くの焚き火から熱を受け取りすぎた場合、システムは自動的にその周囲の火を薄暗くし、危険な場所が再び冷たくなるまで調整します。
これにより、安全性領域が誤って既知の危険を覆うことがなくなります。

4. 認証にとっての重要性

飛行機や自動車の使用承認を得るには、規制当局がルールが確固たるものであることを知る必要があります。

決定論的： 本論文は、同じデータでこのプロセスを二度実行すれば、毎回全く同じ安全性マップが得られると主張しています。これは「ブラックボックス」な推測ではなく、数学的な計算です。
順序非依存： データを朝にコンピュータに入力しようが午後に入力しようが、あるいは異なる順序で入力しようが、結果は常に同じです。
保守的： システムが特定の場所が安全かどうか確信できない場合（そこにデータポイントがないため）、その場所を安全ではないと仮定します。これは「安全側を取る」アプローチであり、安全性が重要なシステムにとっては不可欠です。

5. 証明：「飛行シミュレーター」テスト

著者らはこの手法を二つの方法でテストしました。

数学シミュレーション： コンピュータ上に完璧な仮想的な安全性領域を作成し、散らばったデータポイントのみを使ってそれを再構築しようとしました。彼らの「光る網」手法は、元の領域を98% 以上の精度で再現しました。
実世界の航空： 実在する航空問題、すなわち衝突回避に適用しました。飛行機同士の衝突を防ぐように設計されたシステムからのデータを使用しました。この手法は、この複雑なシステムの安全な運用条件を正常にマッピングし、実在する複雑なデータであっても機能することを証明しました。

まとめ

本論文は、安全性が重要なシステムからの生データを受け取り、その周りに正確で数学的に証明された「安全性領域」を自動的に描くツール（autoSAFE と呼ばれる）を提示しています。ルールを推測するのではなく、データ自体から境界を学習することで、AI が安全であると証明された場所でのみ動作することを保証します。これにより、飛行機の操縦や自動車の運転などの AI システムの認証が格段に容易になります。

Each language version is independently generated for its own context, not a direct translation.

技術概要：データに基づく安全重要 AI システムの運用条件の定義

1. 問題定義

航空、自動車などの安全重要分野における人工知能（AI）の急速な展開は、厳格な安全性保証と認証を必要とする。AI ベースのシステムを認証するための中心的な要件は、システムが安全に機能することを意図する環境および運用条件の特定の集合である**運用設計ドメイン（ODD）**の定義である。

従来、ODD は開発ライフサイクルの初期段階でドメイン専門家によって手動で定義されてきた。しかし、複雑な実世界システムにおいては、このアプローチは以下の重大な課題に直面している：

複雑性: 気象が着陸速度にどのように影響するかといった、パラメータ間の相互関係（オントロジー）を定義することは困難であり、かつ不完全になりがちである。
静的性質: 専門家によって定義された ODD は、暗黙のパラメータ依存性を捉えたり、新しいデータに適応したりすることができない。
認証のギャップ: 現在のデータ駆動型アプローチは、形式的な認証の前提条件である、決定論的かつ順序に依存しない表現、または ODD 類似性のための形式的枠組みを欠いていることが多い。

既存の数学的表現（凸多面体など）は、非線形な ODD オントロジーをモデル化できず、一方、ニューラルネットワークベースのアプローチは順序依存性と不確実性を導入する。データから直接 ODD を導出する手法が必要とされており、それは決定論的、順序に依存しない、有界、かつ解釈可能でなければならない。

2. 手法

本論文は、収集されたデータから多次元カーネルベース表現を用いて ODD を a posteriori（事後）に定義するための**Safety-by-Design（設計段階からの安全性）**手法を提案する。中核的な手法は以下の手順を含む：

2.1 数学的定式化

著者らは、ODD を数学的構造 $O = (X, R^O, f^O, \Omega^O)$ として定式化する。ここで、 $X$ は分類体系（パラメータ空間）、 $R^O$ はオントロジー（制約）、 $f^O$ は解釈関数である。重要なのは、ODD 類似性（ $O_1 \sim O_2$ ）を意味的同等性ではなく、データ中心の同等性によって定義することである。すなわち、2 つの ODD が同じデータセット $Y$ を生成する場合、それらは類似であるとみなされる。

2.2 カーネルベースのアフィニティ表現

手動で境界を構築する代わりに、この手法はデータサンプルから直接 ODD を構築する：

アンカーポイント: 分布内（ID）サンプル（ $D_{ID}$ ）をアンカーポイント（ $A$ ）として使用する。分布外（OOD）サンプル（ $D_{OOD}$ ）は明示的に除外される。
局所アフィニティ: 各アンカーポイント $x_i$ に対して、正定値カーネル（具体的には**ラジアル基底関数（RBF）**カーネル）を用いて局所アフィニティ関数 $\alpha_i(x)$ を定義する。
大域アフィニティ: 大域的な ODD 所属性は、局所アフィニティの重ね合わせによって決定される：
$\alpha(x) = 1 - \prod_{i} (1 - \alpha_i(x))$
サンプル $x$ は、 $\alpha(x) \geq \zeta$ （ここで $\zeta$ は事前に定義された閾値）の場合に ODD に所属するとみなされる。

2.3 自動パラメータ化

プロセスを完全に自動化し、手動調整を回避するために：

対角共分散: カーネル共分散行列 $\Sigma$ は、局所的な独立性と均一なアンカーポイント分布の仮定に基づき、対角行列であると仮定される。
距離依存スケーリング: $\Sigma$ の対角成分は、最隣接点までの距離（ $d^*_i$ ）の関数として定義される：
$\sigma^{(i)}_{kk} = (\kappa - \lambda) \exp(-\eta d^*_i) + \lambda$
これにより、ハイパーパラメータの数が $N \times n^2$ から、下限 $\lambda$ を加えた 2 つ（ $\kappa, \eta$ ）に削減される。

2.4 OOD 整合性制約

安全性を確保するため、OOD サンプルが ODD の一部として分類されないように手法は強制する。OOD サンプル $x$ が閾値に違反する場合（ $\alpha(x) > \xi$ ）、アルゴリズムは反復的にその点に対して最も影響力のあるカーネルの共分散行列をスケーリングダウンする。このプロセスは順序に依存せず、有限ステップで終了することが証明されており、すべての OOD サンプルに対して $\alpha(x) \leq \xi$ となることを保証する。

3. 主要な貢献

決定論的かつ順序に依存しない枠組み: 本論文は、データによって一意に決定され、サンプルの順序に不変なカーネルベース表現を用いてデータから ODD を導出する、初の完全自動化パイプラインを提示する。
ODD 類似性の形式的定義: 意味的整合を必要とせず、データ駆動型 ODD をグランドトゥルースまたは代理指標と比較することを可能にする、データ中心の ODD 類似性の定義が導入された。
Safety-by-Design の実装: 得られた ODD 表現は有界であり、保守的（スパースな領域では真の ODD を過小評価する）かつ解釈可能であり、将来の AI 認証の主要要件を満たす。
スパースデータの処理: この手法は、スパースなデータ領域でも効果的に機能するように設計されており、開発の初期段階への適用を可能にする。
オープンソースツール（autoSAFE）: 著者らはこの枠組みを実装するツール（autoSAFE）を開発し、オープンソース化した。これは CSV、JSON/ASAM OpenLABEL などの各種データ形式と、効率的な最隣接探索をサポートする。

4. 検証と結果

この手法は、2 つの主要な実験を通じて検証された：

4.1 モンテカルロシミュレーション

設定: 線形不等式制約を持つ合成 2 次元 ODD が生成された。アンカーポイントは真の ODD からサンプリングされ、検証サンプルはより広い超長方形全体で生成された。
知見: データ駆動型 ODD は、真の基盤 ODD およびアンカーポイントの凸包と比較された。
- 精度と再現率の曲線は、データ駆動型 ODD と凸包の間に強い相関を示した（精度で $R^2 = 0.9855$ 、再現率で $R^2 = 0.9987$ ）。
- これは、真の ODD が未知の場合でも、アフィニティ閾値の調整に対して凸包が信頼できる代理指標となり得ることを示唆している。
- 結果は、10 次元までの次元および複雑な関係関数に対しても維持された。

4.2 実世界航空ユースケース（VCAS）

文脈: この手法は、次世代 ACAS X システムのコンポーネントである**垂直衝突回避システム（VCAS）**に適用された。
データ: データセットには、状態ベクトル（相対高度、垂直速度、CPA までの時間、以前の勧告）を表す 622,110 のアンカーポイントが含まれていた。
知見:
- データ駆動型 ODD は、既知のグランドトゥルース ODD および凸包と比較された。
- 決定係数が高く観測された（精度で $R^2 = 0.991$ 、再現率で $R^2 = 0.999$ ）。
- 結果は、モンテカルロシミュレーションに比べてアンカーポイントの密度が低いにもかかわらず、このカーネルベースアプローチが現実的な高次元の安全重要シナリオで良好に機能することを確認した。

5. 意義と主張

本論文は、ODD の「完全な真実」な再構築がデータのみから常に可能ではないものの、提案されたカーネルベースアプローチは認証目的において基盤となる ODD を十分に近似すると主張する。

認証への適合性: この手法は、運用境界を定義するための数学的に厳密で、決定論的かつ説明可能な基盤を提供する。これは、継続的な安全性評価と明確な運用限界を要求する規制枠組み（例：EASA）を支援する。
ランタイム監視: 硬直的な幾何学的境界とは異なり、連続的なアフィニティ関数 $\alpha(x)$ は段階的な警告領域を可能にする。システム状態がアンカーポイントから逸脱するにつれて、アフィニティスコアは滑らかに減衰し、ハードな安全境界を越える前に分布外条件の早期検出を可能にする。
保守性: このアプローチは本質的に保守的である。スパースなデータ領域では、導出された ODD は真の安全領域を過小評価し、システムが十分なトレーニングデータに支えられた領域でのみ展開されることを保証する。これはSafety-by-Designの原則と整合する。
限界: 著者らは、この手法がカーネルパラメータ（ $\kappa, \eta$ ）に依存し、対角共分散の仮定が次元間依存性を単純化していると認めている。また、生成された ODD はスパースな領域で過度に保守的となり、有効な運用条件を除外する可能性があると指摘しつつも、安全性保証のための必要なトレードオフであると論じている。

結論として、この研究は、形式的な安全性議論と互換性のあるデータ駆動型 ODD 構築への道筋を確立し、経験的データと安全重要システムにおける AI 認証の厳格な要件との間のギャップを埋めている。

Defining Operational Conditions for Safety-Critical AI-Based Systems from Data