UniTraffic-Agent: Unified Traffic Video Reasoning for AI City Challenge 2026 Track 3 with Two Out-of-Domain Evaluations

あなたは、犯罪現場の代わりに、混雑した街の通りを映した混沌とした動的なビデオを証拠品として扱う、謎を解こうとしている探偵だと想像してください。これが「交通ビデオ理解（traffic video understanding）」の世界であり、コンピュータが道路で起きていることを理解しようと試みる分野です。長い間、コンピュータは静止画の中にある赤い車や一時停止標識のような単一の物体を見つけることには長けていました。しかし、現実の生活は写真ではありません。それは映画です。交通事故やニアミスを理解するためには、コンピュータは単に「見る」だけでなく、時間を追って「観察し」、「考え」、「点と点を結びつける」必要があります。誰が、何を、なぜ、いつ行ったのかを解明しなければならないのです。これは、交通ビデオが非常に厄当であるため、困難な作業です。カメラが奇妙な魚眼レンズであったり、アクションが瞬時に発生したりすることもあり、同じクリップに対して多くの異なる質問に答える必要がある場合もあります。この研究の目標は、カメラがどのように設置されていても、細部を見逃さない、極めて賢く忍耐強い探偵のように振る舞うコンピュータシステムを構築することです。

ここで、「Traffic Anomaly Reasoning（交通異常推論）」という課題に取り組むために、研究チームによって生み出された新しいデジタル探偵、UniTraffic-Agentが登場します。このエージェントを、単にビデオをちらりと見て推測するのではなく、厳格な4ステップのルーチン、すなわち**「観察（Observe）、推論（Reason）、実行（Act）、検証（Verify）」**に従う、非常に組織化された捜査官と考えてください。

まず、**観察（Observe）**フェーズでは、エージェントはビデオの見方に知恵を絞ります。すべてのフレームを処理しようとするのではなく（それは、あらすじを知りたいだけなのに本のすべての単語を読もうとするようなものです）、最も重要な瞬間を選び出します。もし質問が特定の時間帯に起きていることについて尋ねているなら、エージェントはその瞬間の直前と直後の数秒間にズームインし、同時に全体像を把握するために最初と最後の数フレームも取得します。これは、決定的な手がかりを掴むために、防犯カメラの映像のどの数秒間を巻き戻すべきかを正確に知っている探偵のようなものです。

次に、**推論（Reason）**です。ここがエージェントの真骨頂です。多くの場合、一つのビデオクリップには「誰が信号を無視したのか？」「天候はどうだったのか？」「車はどのくらい待機したのか？」といった多くの質問が付随しています。古いシステムは、質問に一つずつ答えようとし、その結果、「ある回答では車は赤だったと言い、別の回答では青だったと言う」といった矛盾が生じることがありました。UniTraffic-Agentは異なるアプローチを取ります。それはクリップ全体を一度だけ視聴し、そこで起きたことについての単一の共有されたストーリーを構築し、その同じストーリーを使用してすべての質問に一度に答えます。これにより、探偵の語る物語が最初から最後まで一貫していることが保証されます。

そして、**実行（Act）**フェーズが始まります。タスクによって必要な形式は異なります。あるタスクは単純な「はい」か「いいえ」を必要とするかもしれませんし、別のタスクは交通違反を記述する13の異なるフィールドを含む詳細なJSONファイルを必要とするかもしれません。エージェントは、自身の共有されたストーリーを、それぞれの特定の仕事に合わせた正確な形式へと再形成するための、特別な「アダプター」（翻訳者や変身能力者のようなもの）を使用します。

最後に、**検証（Verify）**ステップが品質管理検査官として機能します。回答を再確認し、名前や時間が一致しているかを確認し、もし何かがおかしいと感じたら、キャッシュされたビデオフレームに戻ってやり直します。この「リトライ」メカニズムにより、エージェントは人間の助けを借りずに自らの間違いを修正することができます。

研究チームはこのエージェントを、標準的な監視映像、歪んだ魚眼レンズのビデオ、そして車のドライブレコーダー映像という、非常に異なる3種類の交通ビデオでテストしました。結果は目覚ましいものでした。魚眼レンズのタスクにおいて、エージェントは全競合の中で2位に入り、歩行者の意図に関するタスクでは4位に入りました。最も困難なメインのタスクにおいても、16位に入りました。チームは、エージェントが登場人物の特定や出来事の全体的な流れを捉えることには優れているものの、非常に長く詳細な記述や、魚眼レンズの歪んだ幾何学構造の解釈には苦戦する場合があることを見出しました。しかし、この研究は、スマートな観察と統一された推論プロセスを組み合わせることで、以前よりもはるかに信頼性が高く、一貫性のある交通AIを構築できることを示唆しています。この「探偵」のコードは、他の人々が学び、改善できるように公開されています。