SciFlow: Semantic Cross Interference for Self-Supervised Optical Flow Domain Generalization

技術要約: SciFlow

問題提起
オプティカルフロー推定は、物体追跡、フレーム補間、ビデオ圧縮といったタスクの基盤となる、ビデオ理解において極めて重要な要素である。ディープラーニングによってこの分野は進歩してきたが、現実世界のシーンに対して高密度な画素単位のグラウンドトゥルース（正解ラベル）を取得することは、極めて困難かつコストがかかる。その結果、モデルは通常、合成データセット（FlyingChairs、FlyingThings3D、Sintelなど）で学習され、現実世界の環境にデプロイされる。これにより、「合成から現実へ」というドメイン汎化の大きな課題が生じる。すなわち、モデルは、オープンワールドのシナリオに見られる多様な照明、動きのダイナミクス、および画質に適応することに苦慮する。既存の半教師あり学習および自己教師あり学習の手法は、複雑なデータ拡張、ニューラルレンダリング、または変換の一貫性に依存することが多いが、未知のドメインへの汎化に失敗したり、計算コストの高いパイプラインを必要としたりすることが頻繁にある。

手法
本論文では、自己教師あり学習を用いて、合成ドメインとオープンワールドドメイン間での動き推定の汎化を実現するために設計された、ネットワークに依存しない学習ベースのアプローチであるSciFlow（Semantic Cross Interference）を提案する。核心となる革新技術は、「セマンティック・クロスドメイン干渉（semantic cross-domain interference）」であり、これは学習中にオープンワールドの画像から得られる特徴量を合成シーンへと混合させる手法である。

学習プロセスは以下の2つのフェーズで構成される：

1. 教師ありカリキュラム学習: モデルはまず、グラウンドトゥルースを持つ合成データセット（$D_{GT}$）で学習を開始し、より単純な動きやシーンの例から、より複雑なものへと段階的に進む。
2. 自己教師ありファインチューニング: 指導者・学習者（teacher-student）フレームワークを用いて、ラベルのない現実世界のデータ（$D_{NGT}$）に適応させる：
   • 教師（$f_T$）: 教師モデルは、学生モデルの重みで初期化され、指数移動平均（EMA）によって更新される。これは合成ドメインの「クリーンな」元の画像ペアを処理する。
   • 学生（$f_S$）: 学生モデルは、第3の画像（$I_d$）が合成ペアの第2フレームに対してセマンティックに干渉させた拡張ペアを用いて学習を行う。これは、混合関数 $D_\lambda(I_2, I_d) = \lambda \cdot I_2 + (1-\lambda) \cdot I_d$ を通じて実現され、ここで $\lambda$ はベータ分布からサンプリングされる。
   • 損失関数: 学生モデルは、干渉されたペアに対する学生の予測が、クリーンなペアに対する教師の予測と一致するように最適化される。自己教師あり損失は、前方・後方一貫性（forward-backward consistency）から導出された信頼度スコア（$M_{conf}$）によってマスクされた、学生の予測と教師の予測の間のL1差として定義される。

このアプローチにより、ターゲットドメインのグラウンドトゥルースを必要とせず、また複雑な再構成パイプラインを用いることなく、ネットワークが現実世界の統計量を学習し、ドメインシフトに適応することが可能となる。

主な貢献

• SciFlowフレームワーク: セマンティック・クロスドメイン干渉を活用することで、オプティカルフローのドメイン汎化を向上させる、シンプルかつ効果的な手法の導入。
• ラベルフリー適応: 本手法は、現実世界のグラウンドトゥルースを必要とせずに強力なクロスドメイン性能を達成し、オープンワールドにおけるドメインシフトとラベル不足の両方の問題に対処する。
• アーキテクチャ非依存性: このアプローチは様々なネットワークアーキテクチャと互換性を持つように設計されており、本研究ではフル容量のRAFTおよび軽量なMobileFlowの両方で実証されている。

実験結果
著者らは、RAFTおよびMobileFlowアーキテクチャを用い、標準的なベンチマークであるKIT کلی（KITTI）データセットでSciFlowを評価した。

• 定量的性能: KITTIベンチマークにおいて、SciFlowは教師ありベースラインおよび他の自己教師あり手法（DistractFlowなど）を大幅に上回った。軽量なMobileFlowモデルにおいて、EMA、信頼度マスキング、およびセマンティック干渉を組み合わせた大規模なラベルなしWeb Stereo Video Dataset（WSVD）を用いた学習により、SciFlowはFl-allエラーを22.6（教師ありベースライン）から8.95へと減少させた。
• 定性的性能: 多様なオープンワールドデータセット（DAVIS、SlowFlow）を用いた視覚的評価により、SciFlowが、ベースラインモデルが失敗しやすい低照度、モーションブラー、高ノイズといった困難な条件下においても、堅牢かつ正確なフロー推定を可能にすることが示された。
• 安定性: EMAと信頼度マスキングの統合が、学習の安定性に極めて重要であり、自己教師ありフェーズにおける発散を防ぐことが示された。

意義と主張
本論文は、SciFlowが動き推定における「合成から現実へ」のドメイン汎化問題に対する実用的な解決策を提供すると主張している。セマンティック・クロスドメイン干渉を導入することで、ターゲットドメインのグラウンドトゥルースを必要とせずに、モデルが現実世界のシナリオに効果的に適応することを可能にする。著者らは、本手法のシンプルさとアーキテクチャに依存しない性質を強調しており、複雑で動的な環境におけるビデオ理解のための、より堅牢で正確な動き推定への広く適用可能な道筋として位置づけている。本研究は、モデルの堅牢性を向上させるために、複雑なレンダリングや再構成パイプラインの代替として、セマンティック干渉を通じてオープンワールドのデータを活用することが有効であることを示唆している。