NARRATE: A Multimodal Real-World Australian Driving Dataset for Human-Centred Explanations in Automated Driving

技術要約：NARRATE – 人間中心の説明に向けたマルチモーダルな実世界オーストラリア運転データセット

問題提起
自動運転車（AV）が制御された環境から公道へと移行するにつれ、運転判断を説明する能力は、安全性、信頼性、および人間と車両の相互作用において極めて重要となる。既存の運転データセットには自然言語のアノテーションが含まれていることが多いが、それらは主に観察者による事後的な記述、シミュレーションベース、あるいはセンサーデータからの生成であり、実行中のドライバーから引き出されたものではない。このギャップは、「経験豊富なドライバーが実際の交通状況において、自身の判断をどのように自然に説明するか」、また「どのような状況情報に優先順序を置くのか」という経験的な問いを未解決のまま残している。さらに、ほとんどの大規模データセットは地理的な多様性に欠けており、左側通行、オーストラリアの道路規則、標識といったドメイン固有の要因を考慮できていない。これらは、ドメイン認識型の説明モデルを訓練するために不可欠な要素である。

手法
著者らは、クイーンズランド州ブリスベンで収集されたマルチモーダル・データセットであるNARRATE（Naturalistic Action Reasoning and Real-World Awareness Through Explanations）を導入する。

• データ収集: 本データセットは、センサーリグ（4台のロスレスカメラ、LiDAR、GPS/INS/IMU、CANバス）を搭載したKia Niro SUVを運転した35名の経験豊富なドライバー（非インストラクター30名、免許保有インストラクター5名）による2,050個のアノテーション済みイベントで構成されている。
• 二段階タイミング・プロトコル: 即時的な顕著性と、振り返りによる推論の両方を捉えるため、以下の2つの方法で説明を収集した。
  1. 車内での収集: 走行中の思考発話プロトコル、または安全な操作の直後に研究者の促しを通じて、リアルタイムの説明を引き出す。
  2. 走行後の収集: マルチビューのリプレイ・ダッシュボードを用いたビデオ誘導型の半構造化インタビューにより、ドライバーが事後的にイベントについて詳細に述べることを可能にする。
• アノテーション・フレームワーク:
  • 状況認識 (SA): 説明は、Endsleyの3レベル・フレームワーク（L1 知覚：気づいた情報、L2 理解：運転における関連性、L3 投影：将来の状態やリスクの予測）に基づき、スパンレベルでアノテーションされる。
  • シナリオ・コンテキスト: イベントには、6つの高レベルなカテゴリ（例：交通コンプライアンス、ハザード管理）および32の細粒度カテゴリにわたるシナリオ・コンテキスト・ラベルが付与される。
  • アクション・ラベル: ドライバーの動作（例：減速、車線変更）および非動作クラスがラベル付けされる。
• ベンチマーク: 本論文では、参加者が重複しない4つのベンチマーク・タスク（SA分類、シナリオ・コンテキスト分類、ドライバー・アクション分類、および説明生成）を確立している。

主な貢献

1. 人間中心のデータセット: ドライバー自身によって生成された、リアルタイムおよび振り返りの推論を捉えた、独自のリアルワールド運転説明リソース。
2. マルチモーダルな接地 (Grounding): 各イベントは、視覚（4台のカメラ）、LiDAR、位置情報、および運動学的ストリームと同期しており、自由記述のテキストによる説明と対になっている。
3. 構造化されたアノテーション: スパンレベルのSAアノテーション（知覚、理解、投影）とマルチラベルのシナリオ・コンテキスト・タグを提供し、ドライバーがいかに状況的な推論を言語化するかを研究することを可能にする。
4. ドメイン認識: オーストラリアの運転（左側通行、特定の道路規則）に焦点を当てることで、米国や欧州のデータセットとは異なる、ドメイン固有の説明モデルの必要性に応える。

結果
論文では、4つのベンチマーク・タスクに対してベースライン・モデルを評価している。

• 状況認識 (SA) 分類: モデルは、ドライバーの言語からSA構造を学習できる。L1およびL2は頻繁に表現され、予測可能性が高い（多くの場合、ラベルの出現頻度に起因する）。一方で、L3（投影）は、トランスフォーマー・モデル（例：RoBERTa）が多数派ベースラインを上回る、より識別力の高い信号を提供する。
• コンテキスト分類: 高レベルのコンテキスト（6クラス）はテキストから部分的に復元可能である（RoBERaはマクロF1値 ~0.41を達成）。しかし、細粒度のコンテキスト認識（32クラス）は依然として大きな課題であり、モデルのマクロF1値はほぼゼロであった。これは、詳細なシナリオ理解には、テキストだけでは不十分であり、より豊かな視覚的またはマップ上の接地が必要であることを示唆している。
• ドライバー・アクション分類: テキストは、アクション予測において最強の単一モダリティである（RoBERTaの精度 ~0.73）。運動学的特徴も有用な信号を提供するが、凍結された視覚的特徴との単純な融合は、クラス不均衡のため、テキスト単独の場合と比較してマクロF1を大幅に改善させることはない。
• 説明生成: 構造化された入力（アクション、コンテキスト、運動学）から自然なドライバーの説明を生成することは、依然として未解決の問題である。ファインチューニングされた生成器（T5、GPT-2）は、リトリーバル（検索）ベースラインを上回るものの、絶対スコアは控えめである（例：BLEU-4 ~0.036）。これは、単一のイベントに対して複数の有効な言い回しが存在する、人間の説明の多様性と簡潔さを反映している。

意義と主張
本論文は、NARRATEをあらゆる自動運転の課題に対する解決策としてではなく、人間中心かつドメイン認識型の説明モデルへの基礎的な一歩として位置づけている。その主な意義は、説明データのソースを外部の観察者から、Endsleyの状況認識フレームワークに基づいたドライバー自身へと移行させた点にある。著者らは、このデータセットが、ドライバーが現実世界の文脈において、いかに状況を知覚し、解釈し、予測するかを研究することを可能にすると主張している。ベンチマークの結果は、高レベルの状況認識は言語から学習可能である一方で、細粒度のコンテキスト認識や自然な説明生成には、さらなるマルチモーダルな統合が必要であり、現在のテキストベースのパラダイムでは未解決であることを示唆している。このデータセットは、自動運転における人間の推論パターンと一致するモデルを開発するためのテストベッドとして提供される。