BeyondMasks: Evaluating Causal and Physical Consistency in Video Object Removal

デジタルビデオの世界では、単純なコマンド一つで現実を編集できる能力が急速に高まっています。賑やかな通りの録画映像を見ながら、コンピュータに特定の車を消去し、他の部分は完璧にそのまま残すよう指示することを想像してみてください。長年、この背後にある技術は、ある狭いタスクに焦лоットしてきました。それは、オブジェクトがあった後に残された空白を埋めることです。それはまるで、画家が壁の穴を丁寧に塗り直し、周囲のレンガの質感や色に合わせようとしているようなものです。この手法は、オブジェクトがただそこに置かれているだけであればうまく機能しますが、そのオブジェクトが周囲の世界と相互作用していた場合には、しばしば失敗します。現実の物理世界において、物体は単に空間を占有しているだけではありません。物体は影を落とし、光を反射し、部屋の照らし方を変え、そして足跡によって舞い上がった埃や水面の波紋のように、その動きの痕跡を残します。もしオブジェクトを取り除いたのに、これらの物理的な結果が残ってしまったら、そのシーンは違和感を与えます。まるでフレームの中に幽霊が取り憑いているかのように見えるのです。

ある研究チームは、真のビデオ編集には、単に穴を埋めること以上のことが必要であると気づきました。それは、物体とその環境を結びつける因果関係を理解することです。彼らは、BeyondMasksと呼ばれる、ビデオ編集ツールをテストするための新しい手法を導入しました。これは、コンピュータに対し、オブジェクトだけでなく、それが作り出した目に見えない物理的効果までも削除するよう挑戦させるものです。これを行うために、彼らは180本のビデオクリップのコレクションを作成しました。その半分はコンピュータ上で作成されたもので、残りの半分は実世界で撮影されたものです。すべてのクリップには、オブジェクトが存在する「前」のバージョンと、そのオブジェクトが最初から存在しなかった場合の「後」のバージョンが含まれており、これが完璧な解答集として機能します。これにより、コンピュータが何を間違えたのかを正確に把握することができます。彼らは、非常にリアルな空隙の再現ができる最先端のビデオツールであっても、二次的な効果の除去には一貫して失敗することを発見しました。キツネが立っていた場所に影が残っていたり、ランプを削除した後も窓に反射が残っていたりすることがあります。研究者たちは、現在の技術が、オブジェクトとその物理的な足跡を別々の問題として扱っている一方で、実際にはそれらは一体のものであることを発見しました。

これらの失敗を測定するために、チームは批判的な眼を持つような新しいスコアリングシステムを開発しました。単にどれだけのピクセルが完璧な解答と一致するかを数えるのではなく、高度な人工知能を用いてビデオを観察し、そのシーンが物理的に一貫しているかどうかを判断します。このシステムは2つの点を確認します。オブジェクトが完全に消えたか、そして環境が、あたかもオブジェクトが存在しなかったかのように自然な状態に戻ったか、という点です。現在利用可能な最高峰の9つのビデオ編集モデルをテストしたところ、結果は驚くべきものでした。いくつかのモデルは、従来の画像品質の指標では非常に高いスコアを記録しましたが、この新しい物理的論理のテストでは低いスコアとなりました。例えば、あるツールは池からアヒルを消去することには成功しても、それが作った波紋を残してしまったり、あるいはティーポットを取り除いても、テーブルに落とした影を残してしまったりするのです。この研究は、これらのツールが依然として光や物質の物理学を理解するのに苦労していることを示しています。彼らはもっともらしい背景を「幻覚（ハルシネーション）」として作り出すことはできますが、オブジェクトが引き起こす因果の連鎖について推論することはできないのです。

研究者たちは、なぜこのような間違いが起こるのかについても調査しました。彼らは、多くの編集ツールが、単にオブジェクトがある領域をブロックし、そこに何があるべきかをコンピュータに推測させるという仕組みで動いていることを発見しました。この手法は、貴重な手がかりを捨ててしまいます。例えば、ガラスのコップがテーブルの上に置かれている場合、コンピュータはガラス越しにテーブルを見ることができます。しかし、ツールがコップ全体を完全にブロックしてしまうと、そのテーブルへの視界を失い、パターンを推測せざにを得ず、多くの場合で誤った予測をしてしまいます。この研究は、将来の除去システムは、欠落した情報をより良く復元するために、単なるマスクを用いたインペインティング（修復）に頼るのではなく、文脈を考慮した推論を取り入れるべきであることを示唆しています。この研究は、視覚的に滑らかであることと、実際に物理的に正しいこととの間にある大きな隔たりを浮き彫りにしています。ビデオ編集が真に現実味を帯びるためには、テクノロジーが単なる画像の修復を超え、物理世界の目に見えないルールを理解し、オブジェクトが取り除かれた際に、それが生きていた世界が完璧な一貫性を持つ状態へと戻ることを保証しなければならないことを示唆しています。