Learning Sidewalk Autopilot from Multi-Scale Imitation with Corrective Behavior Expansion

以下は、提案された論文「Learning Sidewalk Autopilot from Multi-Scale Imitation with Corrective Behavior Expansion（MIMIC）」の技術的サマリーです。

1. 問題定義 (Problem)

歩道におけるマイクロモビリティ（配送ロボットや電動車椅子など）の自律走行は、ラストマイル輸送の重要な解決策ですが、複雑な都市環境における制御には依然として課題があります。

• 既存の模倣学習（Imitation Learning: IL）の限界:
  • 固定されたオフラインの専門家デモンストレーションデータに依存しており、閉ループ（実運用）環境では小さな誤差が蓄積（compounding errors）し、失敗に至りやすい。
  • 偏差が生じた状況や、衝突寸前の「クリティカルなコーナーケース」に対するデモンストレーションデータの収集が困難であり、ロバスト性と一般化能力が低い。
  • 入力として自己視点（Egocentric）の RGB 画像のみを使用するため、シーン幾何学や物体の意味情報を推論する必要があり、学習が困難である。
• 既存手法の課題:
  • 単にデータ量を増やすだけでは、現実の歩道の複雑さや多様性をカバーしきれない。
  • 強化学習（RL）は報酬設計や高精度シミュレータが必要であり、人間らしい振る舞いが得られない場合がある。

2. 提案手法 (Methodology)

著者らは、MIMIC（Multi-scale IMItation with Corrective expansions）という新しいフレームワークを提案しました。これは、データ側とモデル側の両面からアプローチし、オフラインのテレオペレーションデータを最大限に活用するものです。

A. データ側：修正行動の拡張 (Corrective Behavior Expansion)

単なる成功事例だけでなく、失敗からの回復（修正）行動を学習させるためのデータ拡張パイプラインを導入しています。

• 偏差と回復の合成: 元の専門家軌道に対して、意図的に軌道を逸脱させるノイズ（横方向や縦方向のドリフト）を付与し、その後に元の軌道に戻る「回復行動」を教師信号として生成します。
• 3D 幾何学の活用: ViPE などの深度推定モデルを用いてシーンの 3D 点雲を再構成し、これを基に軌道を摂動させます。これにより、物理的な制約を保ちつつ、草むらへの乗り上げや障害物への衝突回避などの失敗・回復ペアを合成します。
• センサー拡張 (Sensor Augmentation): 照明条件や天候の多様性を高めるため、Light-A-Video モデルを用いた再照明（Relighting）技術を適用します。前景と背景を分離し、背景の照明スタイルのみをテキストプロンプトで変更することで、アートの不整合（アーティファクト）を防ぎつつ視覚的多様性を向上させます。

B. モデル側：マルチスケール模倣学習 (Multi-scale Imitation Learning)

短期的な相互作用と長期的な目標指向の意図の両方を学習するための階層的なアーキテクチャを設計しています。

• マルチスケール監督: 単一の時間スケールではなく、即時（Immediate）、短（Short）、中（Medium）、長（Long）の 4 つの時間ホライズンに対して、それぞれ異なるアノダ（Anchor）軌道を用いた階層的な監督を行います。これにより、モデルは即応性と長期的な計画性の両方を学習できます。
• エンコーダ - デコーダ構造:
  • エンコーダ: DINOv3 をベースとした視覚バックボーンを使用し、過去の画像（粗い特徴）と現在の画像（細かいパッチ特徴）、ゴール信号、カメラパラメータを統合します。
  • デコーダ: 時間ホライズン固有のクエリ（Anchor）とコンテキスト特徴を用いて、ガウス混合モデル（GMM）を介して複数の軌道候補を生成します。
  • クエリフリーヘッド: 追加的に、クエリに依存せず文脈情報のみから短期の軌道を予測する補助タスクを導入し、微細な短期予測精度を向上させます。

3. 主な貢献 (Key Contributions)

1. 修正行動データ拡張パイプラインの提案: 既存のテレオペレーションデータから、行動 - 観測 - 行動ループを摂動させることで、失敗からの回復を含む多様な訓練データを合成する手法を確立。
2. マルチスケール予測モデルの設計: 短期的な相互作用と長期的な目標指向の意図の両方を必要とするタスクに特化した、階層的なアノダベースのアーキテクチャを提案。
3. 実世界での検証: オフラインデータのみを用いて、多様で複雑な歩道環境におけるポリシーのロバスト性と一般化能力を大幅に向上させ、実ロボットでのデプロイに成功。

4. 実験結果 (Results)

• データセット: 米国の複数の都市で収集された 3,040 件の歩道テレオペレーションデータセット「CoS (Coco-on-SideWalks)」を使用（約 50 時間）。
• オープンループ評価:
  • 通常環境 (CoS-Regular): 既存の最優秀モデル（CityWalker* など）と比較し、minADE1s（1 秒後の平均誤差）で 60.6%、minFDE1s（最終誤差）で 63.5% の改善を達成。
  • 回復環境 (CoS-Recovery): 摂動された入力に対するロバスト性を評価。MIMIC は CityWalker* に対して minADE1s で 50.8%、minFDE1s で 52.8% の大幅な誤差低減を実現。
• 実世界デプロイ (Closed-loop):
  • 実ロボットを用いた 4 つの環境（昼・夜、短距離・長距離）での評価。
  • ゴール到達率: 90%（CityWalker は 55%、微調整版は 70%）。
  • 歩行者回避率: 76%（CityWalker は 18%）。
  • 介入回数: 400m の長距離走行において、他モデルに比べて介入回数が大幅に少なかった（MIMIC: 4 回 vs CityWalker: 19 回）。

5. 意義と結論 (Significance)

本論文は、歩道ナビゲーションという複雑なタスクにおいて、「失敗からの回復」を学習データに明示的に組み込むことと、「マルチスケールな時間的視野」をモデル設計に統合することの重要性を実証しました。

• 実用性の向上: 強化学習のような高コストな試行錯誤や、膨大な多様なデータ収集なしに、既存のオフラインデータから高品質な自律走行ポリシーを学習できることを示しました。
• 安全性: 偏差が生じた際にも自己修復能力を持つため、実環境での安全性と信頼性が向上します。
• 将来展望: 3D 幾何学や意味情報の明示的な監督なしでも機能しますが、さらに複雑な環境への対応には、追加の視覚的監督や事前学習モデルからの知識蒸留が有効であるとしています。

MIMIC は、データ駆動型の都市ナビゲーション基盤モデルとして、マイクロモビリティの実用化に向けた重要な一歩を示しています。