あなたは、標準的なクリップから滑らかでスローモーションなビデオを作成しようとしていると想像してください。これを行うために、コンピュータは既存のフレームの間に完璧にフィットする新しいフレームを「発明」する必要があります。これは、魔法使いが、2枚の写真の間にある一瞬の間にダンサーがどのような姿をしていたのかを正確に推測しようとするようなものです。この魔法の最も難しい部分は、各ピクセルが最初の写真から次の写真へとどのように移動したかを解明することです。通常、コンピュータはピクセルがどこへ行ったかについて、たった一つの「最善の推測」を見つけようとします。しかし、時には世界は混乱しています。同じような刃を持つ回転する風車、あるいは、同一の雪の塊が降り注ぐ様子、あるいは、ぼやけた跡を残す素早い拳などがある場合、コンピュータは行き詰まってしまいます。コンピュータは最初のフレームにあるピクセルを見て、「君はここへ移動したのか、それともあそこなのか、あるいはあそこなのか？」と問いかけるのです。このようなトリッキーな状況では、正解は一つではなく、他にも等しく妥当な答えがいくつか存在します。もしコンピュータがすぐに一つの推測を選ばなければならないと強制されると、しばしば間違ったものを選んだり、不格好な妥協案を選んだりしてしまい、その結果、新しく生成されたフレームは幽霊のようにぼやけたり、歪んだりしたものになります。

この論文は、ビデオフレーム補間（VFI）の分野におけるまさにその頭痛の種に取り組んでいます。著者らは、この混乱する瞬間を扱うための巧妙な新しい方法を提案しています。コンピュータにすぐに一つの答えを強要する代わりに、すべてのピクセルに対して上位3つのベストな推測（または「仮説」）のショートリストを保持させるのです。これは、最初の容疑者を見た瞬間に逮捕するのではなく、代わりに3人の容疑者を並べておく刑事のようなものです。その後、コンピュータは「信頼性判定官」を使用して、動きの一貫性や画像の鮮明さといった手がかりを確認し、単一のベストな容疑者を最終的な答えとして選び出します。より多くの証拠を集めてから最終的な選択を行うことで、この手法は、コンピュータが早すぎる段階で推測を強いられたときに発生する、ぼやけた幽霊のようなミスを回避します。その結果、特に物が回転したり、繰り返されたり、あるいは速すぎて明確に見えなかったりする混沌としたシーンにおいて、よりクリアでシャープなビデオが得られます。

問題点： 「唯一の正解」が存在しないとき

ほとんどのビデオ補間手法は、あらゆる質問に対して単一の回答を求める厳格な教師のように機能します。彼らはビデオの2つのフレームを見て、各ピクセルがどのように移動したかを正確に計算しようとします。単純なシーンでは、これは素晴らしい効果を発揮します。しかし、現実の世界では物事は混沌としています。本論文は、この「一つの答え」というルールが崩れる3つの具体的なシナリオを特定しています。

1. 反復的なテクスチャ： 同一の種類の花が広がる野原や、雪の山を想像してください。最初のフレームにある一つの雪の結晶を見ると、それは隣の結晶と全く同じに見えます。コンピュータが次のフレームと照合しようとすると、数十個の同一に見える雪の結晶を目にします。どれが「本物」のマッチングなのか判別できないのです。
2. 対称的な回転： 風車やヘリコプターのプロペラを考えてみてください。もし刃がすべて同じであれば、最初のフレームにある刃は、次のフレームにおける他のどの刃とも一致するように回転した可能性があります。そこには、単一ではなく複数の正しい答えが存在します。
3. ブレを伴う高速移動： 武道映画のパンチのように、何かが超高速で動くと、ブレ（残像）が残ります。コンピュータはピクセルの塊を見て、その物体が正確にどこから始まり、どこへ到達したのかを特定できなくなります。

これらすべてのケースにおいて、「グラウンドトゥルース（実際のビデオフレーム）」はコンピュータに対して一意の手がかりを与えません。コンピュータは、間違ったピクセル同士を混ぜ合わせることで、機械にとっては「まあまあ」に見える画像を作ることはできるかもしれませんが、人間が見ると奇妙なものになります。従来のメソッドは、コンピュータに直ちに一つの経路を選択することを強制します。もし間違った経路を選んだり、二つの異なる経路を平均化しようとしたりすれば、その結果は「ゴースト現象（二重に見える現象）」や「構造的歪み（物体が溶けたり壊れたりして見える現象）」となります。

解決策： 「Top-K」ショートリスト

Zibo Su氏とその共同研究者たちは、異なるアプローチを提案しています。コンピュータに即座に一つの答えを決めるよう求めるのではなく、Top-Kリスト（最も有力な候補のリスト）を保持させるのです。彼らの実験では、3つの候補（K=3）を保持することが最も効果的であるという結果が得られました。

彼らのシステムであるMultiple Hypothesis Flow Estimation (MHFE) の仕組みは、以下のステップで行われます。

1. 粗い探索（Coarse Search）： まず、コンピュータは画像全体をスキャンし、ピクセルが移動した可能性が高い上位3つの場所を見つけ出します。これらは「アンカー」と呼ばれます。
2. 局所的な精緻化（Local Refinement）： 単に推測するのではなく、コンピュータはこれら3つのアンカーのそれぞれにズームインします。そして、特別な「ローカル・アテンション（局所的注意）」ツールを使用して、各アンカーの周辺を詳しく調べます。これにより、推測を精緻化し、微細なディテールを加えることで、動きの経路をより精密にします。
3. 信頼性判定官（Reliability Judge）： ここでコンピュータは、すべてのピクセルに対して精緻化された3つの選択肢を持っています。コンピュータは単に最初のものを選ぶわけではありません。「信頼性ガイド付きルーター」を使用して、以下のような手がかりをチェックします。
   • 一貫性： ピクセルが前方に動き、その後に後方へ戻ったとき、元の場所に戻っているか？
   • フォーカス： マッチングはシャープでクリアか、それともぼやけているか？
   • 確信度： 初期の探索における確信度はどの程度か？
4. 最終決定： これらの手がかりに基づき、ルーターはそのピクセルにとって最も信頼できる単一の選択肢を選び出します。重要なのは、一つを選び、他のものを破棄することです。複数の選択肢を混ぜ合わせることはしません。

なぜ「混ぜる」よりも「選ぶ」方が優れているのか

この論文の重要な発見は、異なる推測を混ぜ合わせることは実は良くないということです。古い手法の中には、安全策としてあらゆる可能な動きを平均化しようとするものがありました。著者らは、そのような平均化が行われると「妥協された予測」が生じることを示しています。それは、赤い車と青い車を混ぜ合わせようとするようなものです。見た目がリアルな紫色の車ができるのではなく、濁った、幽速的なメチャクチャなものになってしまいます。

「ハード・ルーティング（一つの勝ち筋を選ぶ）」戦略を使用することで、コンピュータは最終的な画像が、単一かつ一貫したストーリーから構築されることを保証します。もしコンピュータが確信を持てない場合でも、二つの異なるプロットを混ぜ合わせた混乱した物語を語るのではなく、十分な証拠が集まるまで待ち、最善の単一の物語を選ぶのです。

新しいテスト： MA-HD

彼らのアイデアが機能することを証明するために、研究者たちは標準的なテストを用いることはできませんでした。なぜなら、それらのテストにはこのような「曖昧な」シーンが十分に足りないからです。そこで、彼らはMA-HD（Matching-Ambiguity High Definition）と呼ばれる新しいベンチマークを構築しました。

この新しいテストセットには、混乱要素を考慮して特別に選ばれた1,000個のビデオクリップが含まれています。

• 動的なテクスチャ： 炎、波、雪、雨。
• 回転： 風車や飛行機のプロペラ。
• 高速移動： 武道のパンチやドリフトカー。

彼らは、これらの困難なシーンにおいて、既存の最高峰のビデオツール（EMA-VFI、SGM-VFIなど）と比較検証を行いました。

結果： よりシャープで、よりクリアで、ゴーストが少ない

結果は目覚ましく、特にトリッキーなカテゴリーにおいて顕著でした。

• 知覚的品質： 著者らは、画像が人間の目にどう見えるかを測定するLPIPSおよびDISTSという指標を使用しました。彼らの新しいMA-HDテストにおいて、彼らの手法はLPIPSで11.14、DISTSで7.19を記録しました。これは、2番目に優れた手法であるPerVFI（LPIPS 13.69、DISTS 7.60）よりも大幅に優れた数値です。平たく言えば、彼らのビデオは人間の目にとってより自然で、よりぼやけが少ないものでした。
• 曖昧さへの対処： 視覚的な比較において、古い手法は回転するブレードや素早い拳の周囲に「ゴースト（かすかな二重像）」や「ティアリング（画像の一部が裂けて見える現象）」を生じさせていました。一方、新しい手法はブレードをシャープに保ち、拳をしっかりと描写していました。
• 効率性： この手法は、合理的な速度も備えています。MA-HDテストにおいて約0.78 FPSで動作し、これは他の高品質な手法と同等の速度ですが、絶対的に最速というわけではありません。また、使用メモリは約6.91 GBであり、30 GB以上を必要とする他の重量級の手法と比較して非常に軽量です。

本論文が否定したもの

著者らは、何がうまくいかないのかについても明確に述べています。

• ソフト・フュージョン（軟らかな融合）： 彼らは、異なる動きの経路を平均化することに対して明確に反対しています。彼らのテストによれば、候補をブレンドしようとした場合（研究におけるバリアントB）、たとえピクセルごとの数値が良く見えたとしても、画像品質が崩壊し、激しいゴースト現象や色の褪せた詳細を生み出すことが示されました。
• 確信度のみによるルーティング： また、学習された「信頼性判定官」を使わずに、単に初期の確信度スコアが最も高い候補を選ぶだけのバージョンもテストしましたが、フルシステムよりも性能が悪かったため、スマートな判定官によるフィルタリングが必要であることが証明されました。

結論

本論文は、世界が曖昧であるとき――つまり、あるピクセルが移動した可能性が複数あるとき――最善の戦略は、ランダムに推測したり、すべての推測を混ぜ合わせたりすることではないと示唆しています。代わりに、コンピュータは最も有力な可能性のショートリストを保持し、それらを細心の注意を払って精緻化し、その上で、学習されたスマートなシステムを用いて、最も信頼できる単一のストーリーを選択すべきです。このアプローチによって、従来のビデオツールが壊れがちな、混沌とした、高速で、あるいは反復的なシーンにおいても、よりクリアで、シャープで、よりリアルなスローモーションビデオを実現できることが示されました。