🤖 machine learning

Zero-Label Driving Scenario Complexity Detection via Joint Embedding Predictive Architecture

本論文は、ラベルなしの走行データで学習された自己教師あり型Joint Embedding Predictive Architecture（JEPA）が、時間的な予測誤差をゼロラベルの複雑性スコアとして用いることで、複雑かつ安全上の重要性が高いシナリオを効果的に特定できることを示しており、人間によるアノテーションを一切行うことなく、異常検知において顕著な性能を達成している。

原著者： Santosh Jaiswal

公開日 2026-06-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Santosh Jaiswal

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットドライバーに、混雑した交差点や歩道から歩行者が降りてくる場面のような、トリッキーな状況への対処法を教えようとしていると想像してください。問題は、ほとんどの運転ビデオは退屈であることです。ただ真っ直ぐな道、空っぽの高速道路、そして巡航する車が映っているだけです。「エキサイティング」で「危険な」出来事は稀であり、何百万時間もの映像の奥深くに埋もれています。これらの稀なクリップを見つけるには、人間がすべてを視聴してタグ付けする必要がありますが、それは時間がかかり、コストがかかり、偏り（バイアス）が生じやすい作業です。

この論文は、シンプルな問いを投げかけます。コンピュータは、何が「難しい」かを教えられることなく、自分自身でどの運転シーンが「困難」であるかを判断できるだろうか？

著者たちによれば、答えは「イエス」です。彼らは、**予測する夢想家（predictive dreamer）**として機能するシステムを構築しました。

「夢想家」のアナロジー

AIモデルを、何千時間もの運転ビデオを視聴した学生だと考えてください。この学生は、映像を丸暗記する（空の色や道路の質感など）のではなく、動きのルールを学習します。彼らは、車や人々が互いにどのように動くのかという一般的な法則を学びます。

学生は新しいシーンを見るたびに、目を閉じ、今見たものに基づいて次に何が起こるかを予測しようとします。

もしシーンが退っておけば（例：空っぽの道を真っ直ぐ走る車）、学生の予測は完璧です。彼らは、「次に何が起こるか正確に分かっている」と言います。このとき「驚きスコア（surprise score）」は低くなります。
もしシーンが複雑であれば（例：車が急に曲がる一方で、歩行者が歩道から踏み出す）、学生の予測は外れます。彼らは、「待てよ、こんなはずじゃなかった！」と言います。このとき「驚きスコア」は高くなります。

論文では、高い驚き＝高い複雑性であると主張しています。モデルが混乱しているなら、それはその状況が困難で、安全性に関わる重要な局面である可能性が高いのです。

どのように構築したか（「ブラックボックス」対「鏡」）

研究者たちは、JEPA（Joint Embedding Predictive Architecture）と呼ばれる特定のアーキテクチャを使用しました。シンプルに説明するために、2つの鏡を想像してください。

アクティブな鏡（コンテキスト・エンコーダー）： 現在のシーンを見つめ、未来を推測しようとします。
スローな鏡（ターゲット・エンコーダー）： 実際の未来を見つめます。しかし、ここでの仕掛けは、スローな鏡は即座には変化しないということです。厚く古いガラスに映る反射のように、非常にゆっくりと更新されます。

アクティブな鏡は、スローな鏡に一致するように動きます。スローな鏡は常に少し「遅れて」おり、滑らかに処理されているため、アクティブな鏡は自分自身をコピーして「ズル」をすることができません。そのため、アクティブな鏡は、交通がどのように動くかという深いパターンを実際に学習しなければならないのです。もしスローな鏡と一致させることに失敗した場合、その「失敗（予測誤差）」が複雑性スコアとなります。

彼らが発見したこと

彼らはこれを実際の都市部の運転データセットでテストしました。これが「右左折」であるとか「歩行者」であるといったことを一度も教えられていないにもかかわらず、モデルは自然に、以下のような場面で最も高い「驚き」スコアを算出しました。

無防備な左折（交通の流れの中に隙間を待たなければならない場面）。
横断歩道における歩行者との相互作用。
赤信号で停車する車。

逆に、以下のような場面では最も低いスコアを算出しました。

車が単に車線を走行している。
交通が完全に停止しており、静止している状態。

「アブレーション（要素除去）」テスト（それが魔法ではないことの証明）

これが単なる偶然ではないことを確認するために、彼らは4つの「もし〜だったら」という実験を行いました。

デッキのシャッフル： スコアをランダムに並べ替えると、パターンが消失しました。これは、システムが単に推測しているのではないことを証明しています。
ランダムな重み： 何も学習していないモデル（ランダムな数値）を使用したところ、複雑なシーンを見つけることができませんでした。これは、学習こそが重要であったことを証明しています。
「物理学」のベースライン： 彼らは単純なルール、「車は同じ速度で動き続けると仮定する」を試しました。これは惨敗しました。なぜでしょうか？複雑なイベントは、しばしば減速（例：曲がるために速度を落とす）から始まるからです。単純な物理ルールは「減速＝安全」と判断するため、驚きスコアを低く出します。しかし、このAIモデルは「減速接近」がしばしば「複雑な旋回」につながることを認識していたため、高い驚きスコアを出したのです。
「スローな鏡」の除去： 鏡の差異を維持する特別な学習テクニック（EMA）を取り除くと、システムは崩壊しました。両方の鏡が同一になり、モデルは学習を停止し、すべてのシーンが全く同じスコアになりました。これは、特定の学習手法が不可欠であったことを証明しています。

結果

最後に、この「驚きスコア」が、複雑なシーンを自動的に見つけ出すフィルターとして機能するかどうかをテストしました。

目標： 最も複雑なシーンの上位5%を見つける。
結果： AIモデルは、上位5%の中に複雑なシーンを約**56%**の割合で見つけ出しました。
ベースライン： 単にランダムに予測した場合、それらは約**43%**の割合で見つかります。
物理学のベースライン： 単純な「同じ速度で動き続ける」というルールは、実はランダムな予測よりも、トップのシーンを見つける能力において劣っていました。

結論

この論文は、危険なシーンを見つけるために、何百万もの運転ビデオにラベルを貼る人間のチームを必要としないことを示しています。生のデータから「予測する夢想家」を訓練することができるのです。夢想家が次に何が起こるかについて混乱したとき、その混乱こそが、運転状況が複雑で、潜在的に危険であることを示す信頼できるシグナルとなります。

それは、マニュアルを必要としない副操縦士がいるようなものです。彼らは、次に何が来るかを予測できないとき、道が難しくなっていることを直感的に理解できるのです。

技術要約：結合埋め込み予測アーキテクチャによるゼロラベル・ドライビングシナリオ複雑性検出

問題提起

現実世界の自動運転車両（AV）データセットは、平穏で日常的な走行シナリオに大きく偏っており、稀で複雑、かつ安全上の重要性が高いイベントの特定には多大な労力とコストがかかる。既存のソリューションは、人間によるアノテーション、教師あり分類器、または手作りのルールセットに依存しているが、これらはすべて膨大な事前知識や高価なデータ収集を必要とする。著者らは、将来のエージェントの動態を予測する能力のみに基づいて、モデルが自律的に要求度の高いシナリオを特定できるかという問いを立てることで、ラベルを一切使用せずにシナリオの複雑性を発見する手法を提案している。

手法

データと表現

本研究では nuPlan mini データセット を利用し、1,322個のシナリオ（10 Hzで5秒間）を抽出している。生のピクセルを用いたアプローチとは異なり、この手法は構造化されたエージェント状態データ上で動作する。各シナリオは $[50, 21, 6]$ の形状を持つテンソルとして表現され、これは最大21のエージェント（自車および周囲の20台）の50タイムステップをエンコードしている。6つの特徴量は、位置 ( $x, y$ )、速度 ( $v_x, v_y$ )、方位角 ( $\theta$ )、およびエージェントのタイプである。データは、典型的な値が $[-1, 1]$ 付近に収まるように正規化されている。

アーキテクチャ：結合埋め込み予測アーキテクチャ (JEPA)

本アプローチの中核は、構造化されたエージェント状態に対して学習された、最小限の 結合埋め込み予測アーキテクチャ (JEPA) である。このアーキテクチャは4つのコンポーネントで構成される：

コンテキストエンコーダー (Context Encoder): 最初の25タイムステップ（コンテキストウィンドウ）を処理して潜在表現 $z_{ctx}$ を生成する4層のTransformer。
予測器 (Predictor): 学習可能なホライゾン埋め込みを条件として、 $z_{ctx}$ から予測される未来の潜在表現 $\hat{z}_{tgt}$ へとマッピングする2層のTransformer。
ターゲットエンコーダー (Target Encoder): コンテキストエンコーダーと同一の構造を持ち、未来の25タイムステップ（ターゲットウィンドウ）を処理して、グラウンドトゥルースの潜在表現 $z_{tgt}$ を生成する。極めて重要な点として、このエンコーダーはバックプロパゲーションによって更新されることはない。その重みは、コンテキストエンコーダーの重みの指数移動平均 (EMA) のみによって更新される。
ポジションデコーダー (Position Decoder): 予測された潜在表現を将来の位置へとデコードする小さなMLPであり、補助的な教師信号として機能する。

学習目的関数

モデルは、以下の2つの項を組み合わせた自己教師あり損失関数を用いて学習される：
$\mathcal{L} = \underbrace{\|\hat{z}_{tgt} - z_{tgt}\|_2^2}_{\text{JEPA Loss}} + \lambda \underbrace{\|\hat{p} - p_{tgt}\|_2^2}_{\text{Position Loss}}$
ここで $\lambda = 0.1$ である。勾配はコンテキストエンコーダーと予測器を流れるが、ターゲットエンコーダーでは停止される。EMA更新（ $\alpha = 0.996$ ）は、ターゲットエンコーダーがコンテキストエンコーダーの平滑化された履歴平均となることを保証することで、表現の崩壊（リプレゼンテーション・コラップス）を防ぐ。

複雑性指標：サプライズスコア (Surprise Score)

推論時にはラベルは使用されない。シナリオに対するサプライズスコア ( $s$ ) は、予測された未来の潜在表現と実際の未来の潜在表現の間のL2距離として定義される：
$s = \|\hat{z}_{tgt} - z_{tgt}\|_2$
スコアが高いことは、モデルによる未来の状態の予測が不正確であったことを意味し、そのシナリオに複雑で予期せぬ相互作用が含まれていたことを示唆する。

主な貢献

ゼロラベルによる複雑性スコアリング: 著者らは、構造化された走行データに対して学習されたJEPAモデルが、ラベルを一切使用せずに、グラウンドトゥースのシナリオタグ（例：「無保護右左折」、「歩行者への接近」）と強く相関するサプライズスコアを生成することを実証した。
アブレーション解析: 4つの実験により、信号の源泉を分離した：
- シャッフルされたスコア (Shuffled Scores): 相関が分析パイプラインのアーティファクトではないことを確認。
- ランダムエンコーダー (Random Encoder): 学習された重みが必要であることを証明（ランダム初期化では相関が得られない）。
- 等速直線運動ベースライン (Constant-Velocity Baseline): 単純な運動学的予測は複雑なシナリオを正しくランク付けできず、複雑な操作の直前にある減速イベントに対して低いサプライズスコアを割り当てる傾向があることを示す。
- No-EMA学習 (No-EMA Training): EMAがない場合、モデルが崩壊（スコアの広がりが44分の1に減少）することを示し、EMAこそが時間的構造の学習を可能にする特定のメカニズムであることを証明した。
ダウンストリーム異常検知: サプライズスコアは効果的なゼロショット異常検知器として機能し、チャンスベースラインの 0.436 に対して 0.512 の平均適合率 (AP) を達成した。

結果

タグとの相関: モデルは、「無保護右左折の開始」(1.978) や「横断歩道の歩行者への接近」(1.834) といった複雑なタグに対して有意に高いサプライズスコアを割り当てる一方、「先行車との車線走行」(1.406) のような日常的なタグには低いスコアを割り当てる。
アブレーションの結果: 等速直線運動ベースラインは中程度の相関 ( $\rho=0.314$ ) を示したが、制御された減速から始まる複雑なシナリオを区別することはできなかった。No-EMAモデルは完全に失敗し、すべてのシナリオがほぼ同一のスコアを受け取った。
異常検知: 学習済みJEPAモデルのみが、フルランキングカーブ全体を通じてチャンスベースラインを一貫して上回り続けた。等速直線運動ベースラインは、上位5%のランク付けの後、チャンスを下回った。
定性的検証: 最も驚奇度の高い（サプライズスコアの高い）9つのシナリオを視覚的に確認すると、エージェントの密集、交差点、歩行者横断が見られた。一方で、最も驚奇度の低い9つのシナリオは、疎な並行車線走行であった。

意義と主張

本論文は、自己教師ありの潜在世界モデルにおける時間的予測誤差は、ドライビングシナリオの複雑性の実用的なプロキシ（代理指標）であると主張している。

メカニズム: モデルは、将来のエージェント間の相互作用の「圧縮された本質」を予測することを学習する。これは、視覚的なノイズや静的な特性ではなく、異常なマルチエージェントの動態に対して反応する。
運動学に対する優位性: 等速直線運動ベースラインとは異なり、JEPAモデルは交差点への制御された減速が複雑なイベントの前兆であることを認識し、決定的な操作が発生する前であっても高いサプライズスコアを割り当てる。
実用性: このアプローチはアノテーションコストを必要としない。標準的な自己教師あり目的関数を用いてエンドツーエンドで学習された単一のモデルが、複雑なシナリオを浮き上がらせることで、自動的にデータセットをキュレーションでき、自動運転開発におけるデータ不均衡問題に対処できる。

著者らは、nuPlanのミニサブセット（1,322シナリオ）を使用していることや、現在のnuPlanデータパイプラインへの結合といった限界についても触れており、より大規模なデータを用いることでキャリブレーションが改善する可能性を示唆し、控えめな範囲設定を維持している。