Exploring Decoupled Spatio-Temporal Consistency Learning and Self-Prompting Evolution for Self-Supervised Tracking

スマートフォンのカメラが、誰かが事前にボックスを描くことなく、走る犬や漂う風船、あるいはスピードを出して走る車を追いかけられる世界を想像してみてください。これは、人工知能がビデオの中で動く特定の対象物に視線を釘付けにする方法を学習する、コンピュータサイエンスの一分野である「ビジュアル・オブジェクト・トラッキング（視覚的物体追跡）」の夢です。長年、これらのAIの「目」を教え込むことは、高価な手書きの本を数冊使って子供に読書を教えるようなものでした。研究者たちは、コンピュータに何を探すべきかを示すために、何千ものビデオに対して手作業でオブジェクトの周りにボックスを描いてきました。このプロセスは遅く、退屈で、非常にコストがかかるため、これらのトラッカーがいかに賢くなれるかを制限してきました。この分野における大きな疑問は、「誰もボックスを描いていない、インターネット上にすでに漂っている何百万ものビデオから、AIに学習させることはできるのか？」という点です。その答えは、「自己教師あり学習（self-supervised learning）」にあります。これは、コンピュータが自分自身の教師として振る舞い、ビデオ自体のパターンを利用して何が重要であるかを判断するという巧妙なトリックです。

ここで、研究チームによって提案された、新しく輝かしいモデルである「SSTrack++」が登場します。これは、それらの高価な手描きのボックスを必要とせずに、このパズルを解こうとする試みです。古い方法でのトラッカーの教え方を、生徒に猫の写真を見せて「これは猫です」と言うことだとしましょう。SSTrack++が用いる新しい方法は、生徒に猫が走り回っている映画一本を手渡し、「その映画だけを使って、猫が何をしているのか、どこへ向かっているのかを解き明かしなさい」と言うようなものです。研究者たちは、これまでの試みは少し不器用であったことを見出しました。以前の手法は、単にランダムな場所を見ることでターゲットの位置を推測しようとしており、背景のノイズに惑わされて混乱してしまうことがよくありました。

これを解決するために、チームは2段階のダンスのように機能するシステムを設計しました。まず、AIは「グローバル・フォワード・ルック（全域前方注視）」を行い、ビデオのフレーム全体をスキャンして、ターゲットがどこにいる「可能性があるか」を探ります。これは、混雑した部屋の中から容疑者を特定しようとスキャンする探偵のようなものです。大まかな概念を掴むと、次は「ローカル・バックワード・ルック（局所後方注視）」へと切り替え、ターゲットの外観や動きが時間の経過とともにどのように変化するかを、まるで容疑者の歩き方や服装を詳しく調べる探偵のように、間近で精査します。これら2つのタスク、つまり「位置の特定」と「動きの理解」を分離することで、モデルはより速く、より正確に学習することができます。

しかし、ここにある本当のマジックトリックは、「セルフ・プロンプティング・エボリューション（自己プロンプト進化）」です。想像してみてください。AIは、ターゲットがどのような見た目であるかを記述した「付箋」を持ち歩いています。古いモデルでは、この付箋は静的なものであり、ターゲットが向きを変えたり汚れたりすると、すぐに時代遅れになってしまいました。SSTrack++は異なります。それは常に自分の付箋を書き換えます。毎フレームの後、AIは自分自身に「私は正しくできたか？」と問いかけ、そして、今見た中で最も鮮明な詳細を取り入れ、ぼやけた部分や混乱を招く部分を捨て去ることで、付箋を更新します。それは、ターゲットのスケッチをより鮮明に捉えるにつれて、容疑者のスケッチを改良し続ける探偵のように、混沌とした群衆の中でも描写が鋭い状態を維持することを保証します。

研究者たちはまた、教師なしで異なるオブジェクトを見分ける方法も導入しました。彼らは「インスタンス対照学習（instance contrastive learning）」と呼ばれる手法を用いましたが、これはAIに「間違い探し」のゲームをさせるようなものです。コンピュータには、異なる角度や時間から見た同じオブジェクト（ポジティブ・マッチ）と、全く異なるオブジェクト（ネガティブ・マッチ）が示されます。これにより、コンピュータは「ああ、このぼやけた塊と、あの鮮明な塊は同じ犬だが、あのリスは全く別物だ」ということを理解します。これにより、モデルはターゲットが木の後ろに隠れていたり、高速で移動していたりしても、ターゲットが本当に何であるかという強力な内部マップを構築することができます。

チームが10種類のビデオデータセットでこの新しいモデルをテストしたところ、結果は目覚ましいものでした。GOT10Kデータセットにおいて、SSTrack++は従来の自己教師あり学習手法と比較して25.8%以上スコアを向上させました。LaSOTでは21.4%、TrackingNetでは15.8%上昇しました。手描きのボックスを使用する最高峰のモデルにはまだ完全には追いついていませんが、その差を大幅に縮めています。著者らは、このアプローチが、より安価に構築でき、かつ、ボックスを描くために立ち止まることができない、より乱雑で予測不可能な現実世界を扱うのに優れたトラッキングシステムを作るためのゲームチェンジャーになり得ると示唆しています。ただし、彼らは、このシステムが依然として最初の推測（フォワード・ルック）がどれほど優れているかに多少依存していることを認めており、探偵がさらに鋭くなるための余地がまだ残されていることを示唆しています。