D-CLOT: Double Closed Loop Optimal Transport for Unsupervised Action Segmentation

あなたは、ケーキを焼いている人の長く編集されていない動画を見ていると想像してください。カメラは止まることなく回り続け、小麦粉をふるい、卵を割り、ミキサーが回転し、オーブンのタイマーが鳴る様子をすべて一つの連続した流れとして捉えています。あなたの目標は、優れたエディターとして、この生の映像を観察し、「混ぜる」「焼く」「冷ます」といった完璧にラベル付けされたシーンへと自動的に切り分けることです。これは**時間的アクションセグメンテーション（temporal action segmentation）**という課題です。コンピュータは、ある物体が「何であるか」（例えば猫や車）を認識することには長けていますが、現実世界の複雑なビデオの中で、いつ一つの動作が終わり、いつ次の動作が始まるのかを正確に見極めることは、より困難な作業です。

人間がビデオの全秒数を書き留える（これは非常にコストがかかり、時間がかかる作業です）必要なくこれを解決するために、科学者たちは**最適輸送（Optimal Transport）**という数学的ツールを使用しています。これは物流問題のようなものです。あなたには「フレーム」という荷物の山があり、それに対して「アクション」という一連の倉庫（「混ぜる」や「焼く」といったラベル）があります。コンピュータは、すべてのフレームを正しい倉庫へと配送する最も効率的な方法を見つけようとします。最良のシナリオでは、コンピュータはラベルを推測する方法を学び、その推測を用いてビデオへの理解を深め、さらにその高まった理解を用いて再びラベルを推測するという、有益なフィードバックループを作り出します。これが、CLOTと呼ばれる手法の基礎であり、このビデオのパズルを解き明かす上で非常に成功してきました。

しかし、この新しい論文の背後にいる研究者たちは、そのフィードバックループの中に微妙な不具合があることに気づきました。それは、音楽（アクションのラベル）が変わり続けているのに、ダンサー（ビデオのフレーム）が昨日描かれた地図に従おうとしているダンスのようなものです。コンピュータがビデオを理解する能力が高まるにつれて、アクションを定義するために使用している「地図」が、より鮮明になった新しい映像に追いついていないのです。このミスマッチにより、コンピュータは混乱を招き、特に難しい移行期や非常に短いアクションにおいて問題が生じます。そこで、研究者たちはこの問題を解決するために、D-CLOT（Double Closed Loop Optimal Transport）という新しい手法を導入しました。ビデオのフレームが激しく動きすぎないようにするための「スタビライザー（安定装置）」と、現在のダンスに合わせてアクションの地図を常に更新する「再キャリブレーション（再校正）」ステップを追加することで、D-CLOTはコンピュータがビデオをより明確に捉えられるようにします。結果として、このアプローチは、おもちゃの組み立てのような非常に難易度の高い微細なタスクにおいても、ビデオを正しく切り分ける精度を大幅に向上させています。

問題点：地形と一致しない地図

あなたが地図を使って街をナビゲートしているところを想像してください。最初は地図が少しぼやけています。歩き回るうちに、街の様子がよりはっきりと見えてくるため、あなたは頭の中のイメージを更新していきます。しかし、もし手元にある紙の地図が全く更新されないとしたらどうでしょうか？ あなたは変化した街の中を歩いているのに、地図には古いレイアウトが表示されたままです。新しい建物が立っている場所に左折しようとしたり、地図の通りの名前が目の前の看板と一致しないために混乱したりするかもしれません。

これこそが、以前の最高の手法であったCLOTで起きていたことです。CLOTは、ビデオのフレームを洗練させ、より鮮明で区別しやすいものにする優れた手法でした。ビデオがぼやけていても、推測と修正という巧妙なプロセスを通じて、各フレームが特定の動作に属しているように見せることができます。しかし、それらの動作を定義するために使用される「地図」、すなわちアクション・プロトタイプ（「混ぜる」や「焼く」が数学的にどのように定義されるか）の更新が十分に速く行われませんでした。

本論文の著者たちは、これを**表現とプロトタイプの不一致（representation–prototype inconsistency）**であると特定しました。ビデオのフレームがより鮮明になり、整理されていく一方で、アクションの定義は以前の、より精度の低い状態に留まっていました。これは、曖昧な遷移（一つの動作から別の動作へ移る瞬間）や、短時間または頻度の低いアクション（指をパチンと鳴らすような素早い動作や、「塩を加える」といった稀なステップ）において、特に深刻な影響を及ぼしました。これらのケースでは、古くて硬直した定義が支配的なアクションに圧倒されてしまい、コンピュータが細かいディテールを見逃したり、二つの異なるアクションを一つにまとめてしまったりすることが原因となりました。

解決策：二重の修正ループ

これを解決するために、チームは「二重のクローズドループ」を備えたD-CLOTを構築しました。これは、ダンスフロアに二つの新しい安全チェックを追加するようなものです。

1. グラフ制約スタビライザー（セーフティネット）
まず、システムは、ビデオのフレームが洗練される過程で激しく動きすぎないようにする必要があります。時として、似たようなフレームをグループ化しようとする過程で、コンピュータは時間的に離れた二つのフレームを、見た目が似ているという理由だけで誤って結びつけてしまうことがあります。これはビデオの自然な流れを壊してしまいます。

D-CLOTは、グラフ制約モジュールを導入しています。これは、ダンサーを元の隣人の近くに留めておくためのセーフティネットのようなものです。もし二つのビデオフレームが元の生映像の中で隣り合っていたなら、コンピュータによる「洗練された」バージョンにおいても、それらは近くに留まるように強制します。これにより、局所的な近傍構造が保持され、コンピュータが関連のない瞬間同士に偽の接続を作ってしまうことを防ぎます。これによりビデオの幾何学的構造が安定し、「地図」を更新する前に「地形」が信頼できるものになります。

2. アクション・エンベディングの精緻化（地図の更新）
ビデオのフレームが安定した後、システムは、この新しい、より鮮明な画像に一致するようにアクションの定義を更新する必要があります。以前の手法では、これらの定義は勾配降下法を通じてゆっくりとしか更新されませんでした。これは、重い岩を両手で押し動かそうとするようなもので、非常に遅く、行き詰まりやすいプロセスです。

D-CLOTは、定期的な**再アンカリング（re-anchoring）**ステップを導入しています。一定の間隔ごとに、システムは一旦停止し、安定したビデオフレームを確認し、アクション・プロトタイプがどうあるべきかを完全に再計算します。著者らは、この方法について二つのやり方をテストしました。

• D-CLOT (K-Means リフレッシュ): この手法は、標準的なクラスタリング手法であるk-meansを使用して、新しいフレームグループの中心を見つけ、アクションの定義をそこに移動させます。これは、割り当てに依存しない迅速なリフレッシュです。
• D-CLOTB (Barycentric アップデート): これはより洗練されたバージョンです。単にグループの中心を見るだけでなく、**最適輸送重心（optimal transport barycenter）**を計算します。砂の山（ビデオフレーム）があり、その完璧なバランスポイントを見つけたいと想像してください。この手法は、あるフレームがそのアクションに属しているというコンピュータの確信度に基づいて、すべてのフレームを重み付けします。もしコンピュータが「これは混ぜる動作だ」と強く確信していれば、「混ぜる」の定義を強く引き寄せます。逆に確信が持てなければ、引き寄せる力を弱めます。これにより、現在のビデオの状態に完璧に一致する、**割り当てを考慮した（assignment-aware）**アップデートが可能になります。

結果：より鋭いカットと深い理解

チームは、朝食やサラダ作りなどの料理動画から、指示ビデオ、さらにはおもちゃの組み立てを扱う非常に困難な新しいデータセットであるAssembly101に至るまで、5つの異なるデータセットでD-CLOTをテストしました。

結果は目覚ましいものでした。ビデオフレームとアクション定義の間のミスマッチを修正することで、D-CLOTはセグメンテーションの質を大幅に向上させました。

• YouTube Instructions (YTI) データセットにおいて、新しい手法は、以前の最高手法と比較して、F1スコア（セグメントが正解とどれだけ一致しているかの指標）を**+12.7ポイント**、mIoU（平均IoU）を**+10.2ポイント**向上させました。
• 50Salads データセットでは、アクティビティレベルの評価において**+8.9 F1ポイント**の利得が見られました。
• 最も注目すべきは、チームが Assembly101 において最初の教師なしベースラインを確立したことです。このデータセットは他のものよりもはるかに難しく、動画は平均13,000フレームを超え、おもちゃのカテゴリごとに11から42種類の微細なアクションが含まれています。ここでも、D-CLOTは以前の手法を上回り、「二重ループ」のアプローチが、アクションが極めて小さく、ビデオが長くノイズが多い場合でも有効であることを示しました。

著者らは、グラフスタビライザーとプロトタイプ再アンカリングの二つのコンポーネントが、共に作用したときに最も効果的であることを発見しました。スタビライザーはビデオフレームが混沌とした状態になるのを防ぎ、再アンカリングはアクションの定義がビデオと同期し続けることを保証しました。特に、複雑で不均衡なアクションの長さを持つデータセットにおいては、割り当てを考慮した重心更新を行う D-CLOTB バリアントが最も堅牢である傾向がありました。

なぜこれが重要なのか

本論文は、コンピュータが人間の助けなしに未整理のビデオを真に理解するためには、見ているビデオの鮮明さに合わせて、内部の「辞書（アクションの定義）」を絶えず更新していく必要があることを示唆しています。単にビデオを洗練させるだけでは不十分であり、探している対象の「定義」自体も洗練させなければならないのです。

この二重ループのメカニメントを導入することで、研究者たちは、教師なしのアクションセグメンテーションが、AIがしばしば躓いてしまうようなトリッキーで短く、あるいは稀なアクションに対しても、より信頼性の高いものにできることを証明しました。彼らは単に数値を微調整したのではなく、システムが学習する方法における根本的な構造的問題を解決したのです。Assembly101のような非常に微細なタスクにおいては、まだ改善の余地はあるものの、D-CLOTは、機械がどのように世界を観察し、一フレームずつ理解していくかについての新しい基準を打ち立てました。