美術館に掛かっている美しい絵画を写真に撮ろうとしている場面を想像してみてください。しかし、目の前にあるガラスケースが、あなたの顔やカメラのフラッシュを反射しています。その結果、望んでいる絵画が、自分の反射による幽霊のような層の下に埋もれてしまうという、ひどい混ざり合いが生じてしまいます。これは、コンピュータビジョンにおける「反射除去（reflection removal）」という古典的な問題です。長い間、コンピュータは、単一の静止画を見て、どの部分が絵画で、どの部分が反射であるかを推測しようとしてきました。それは、一つの静止した録音を聞くだけで、同時に流れている2つの異なる曲を分離しようとするようなもので、非常に困難な作業です。なぜなら、コンピュータは混乱してしまい、残されたシーンにぼやけた汚れを残したり、現実のシーンの一部を誤って消去してしまったりすることがよくあるからです。

さらに悪いことに、多くの高度な手法は、ビデオを撮り、カメラを激しく揺らして反射が背景とは異なる動き方をする様子を探すことで、この問題を解決しようとします。しかし現実の世界では、そこまでカメラを動かすことはできませんし、動きがあまりにも微細すぎて、標準的なカメラのゆっくりとした一定のペースでは捉えられないこともあります。ここで、「イベントカメラ」と呼ばれる特殊なカメラが登場します。通常のカメラが絵本のようにスナップショットを撮るのに対し、イベントカメラは、もっと高速で敏感な「耳」のようなものです。彼らは完全な写真を待つのではなく、1秒間に数百万回も起こる、明るさの極めて微細で一瞬の劇的な変化だけを記録します。これにより、手を少し動かしたときに生じる、目に見えないほど小さな光のゆらぎさえも捉えることができるのです。

本論文では、研究者たちはこれらの超高速イベントカメラを使用して、反射のパズルを解く新しいシステムであるEvReflectionを紹介しています。単一の静止画に基づいて推測したり、カメラを激しく揺らしたりする必要はなく、代わりに、イベントカメラによって捉えられた「マイクロダイナミクス（微細な動態）」、つまり高速度の光の変化を利用します。反射（ガラス面）と実際のシーン（ガラスの向こう側）は異なる距離にあるため、カメラの極めてわずかな動きであっても、反射と背景はわずかに異なる動き方をします。イベントカメラは、この微妙な違いを即座に捉えます。研究者たちは、これらの微細なゆらぎを「秘密のコード」として使い、反射と実画像を完璧に分離できるスマートなネットワークを構築しました。彼らは、コンピュータ生成されたシーンと、自分たちが作成した新しい実世界のデータセットの両方でテストを行い、その結果、彼らの手法は、現実のディテールをぼかすことなく「幽霊」を取り除き、従来の技術よりもはるかに綺麗に画像を浄化できることを示しました。

問題：ガラスの中の幽霊

雨の日の窓の外を見ている場面を想像してください。あなたは通りの景色（「透過」レイヤー）が見えますが、同時に、ガラスに映った自分の顔や背後の部屋（「反射」レイヤー）も見えています。コンピュータにとって、これら2つのレイヤーは1つのぼやけた塊として混ざり合っています。長年、科学者たちは人工知能を使ってこれらを解きほぐそうとしてきました。

従来の方法は、単一の写真を見て、どのピクセルが反射に属するかを推測することでした。しかし、これはスムージーから元のフルーツを元に戻そうとするようなものであり、追加のヒントなしに確実に判別することは数学的に不可能です。時には反射が背景と全く同じように見えることがあり、それがコンピュータを混乱させ、写真に台無しにする「アーティファクト（不自然な模様）」、つまり奇妙な汚れや二重像を残してしまいます。

別の手法は、ビデオを撮って動きを探すことでした。カメラを動かせば、反射はガラス上にあるため、背景とは異なる速度で動きます。しかし、標準的なカメラは、カメラを大きく動かさない限り、これらの微細な動きを捉えるには遅すぎます。もし、手が少し震える程度のような、ごくわずかな動きしかしていない場合、通常のカメラには静止画としてしか映らず、コンピュータは再び行き詰まってしまいます。

解決策： 「マイクロダイナミクス」に耳を傾ける

著者たちは、通常のカメラは微細な動きを見逃しますが、イベントカメラは見逃さないということに気づきました。イベントカメラは、光の変化を感知したときだけ反応する特殊なセンサーです。マイクロ秒単位の変化を検知できるほど高速です。

チームのアイデアはシンプルかつ巧妙でした。**「手の微細で、ほとんど目に見えない動きを使って、反射と実際のシーンの違いを判別する」**というものです。

カメラを非常に静止させて持っていたとしても、手は決して完全に凍りついているわけではありません。そこには微細な震えがあります。反射はガラスの表面にあり、実際のシーンはその奥にあるため、これらの微細な震えによって、反射と背景はわずかに異なる量だけシフトします。通常のカメラはこの違いを見るには遅すぎますが、イベントカメラはこれを即座に捉えます。それは、部屋の中で二人の人がささやいているとき、たとえほぼ同じ言葉を話していたとしても、その声の違いを聞き分けることができる、超高感度なマイクを持っているようなものです。

EvReflectionの仕組み

研究者たちは、通常の写真（RGB）を見る目と、イベントカメラの高速度データに耳を傾ける目の2つを持つ探偵のように機能する、新しいAIシステムEvReflectionを構築しました。

1. マイクロダイナミクス・デカプラー (MDD): これはシステムの最初の部分です。イベントカメラからの生のデータを取り込み、反射と背景がどのように異なって動いているかを正確に算出します。これは、反射の「ゆらぎ」を背景の「ゆらぎ」から分離し、それらを各レイヤーの明確なマップへと変換するフィルターのようなものです。
2. パララックス・アテンション・レクティファイア (PAR): システムがレイヤーがどこで動いているかを把握すると、この第2の部分がそのマップを使用して通常の写真をクリーンアップします。この部分は写真を見て、「ああ、この部分は反射のように動いているので取り除こう。この部分は背景のように動いているので残しておこう」と判断します。特殊な「アテンション（注意）」メカニメントを使用することで、修正が必要な部分だけに集中し、最終的な画像がシャープで幽霊のような汚れのないものになるようにします。

結果：空気を澄ませる

このアイデアをテストするために、チームはある課題に直面しました。イベントカメラのデータを用いて学習するための、実世界の写真が存在しなかったのです。そこで、彼らは何千もの「クリーンな画像がどのようなものであるべきか」を正確に知ることができる、リアルでシミュレーションされたパイプラインを構築しました。また、モーター駆動のスライドを備えた特別な装置を製作し、異なる厚さのガラス越しに撮影された新しい実世界データセットEVR2を収集しました。

EvReflectionをテストしたところ、結果は驚くべきものでした。

• 標準的なテストセットにおいて、彼らの手法は画像の品質（PSNR）において既存の最高手法を1.6 dB以上上回りました。
• 彼らの新しい実世界データセットにおいて、競合を1.2 dB上回りました。
• 視覚的には、他の手法が明らかなゴースト現象やぼやけたエッジを残している一方で（論文の比較画像に見られる通り）、EvReflectionは反射を完全に取り除き、クリーンでシャープな背景を明らかにすることに成功しました。

この論文は、このアプローチが、反射が複雑な二重像を作り出し、他のシステムを混乱させる「厚い」ガラスを扱うのに特に適していることを示唆しています。イベントカメラからの高速な運動データに頼ることで、システムは推測する必要がなく、どちらのレイヤーがどちらであるかという物理的な証拠を得ることができるのです。

これが意味すること

この研究は、イベントカメラを組み合わせることが、コンピュータビジョンを長年悩ませてきた問題を解決できることを示唆しています。レイヤーを分離するためにカメラを激しく動かす必要はないということを、これらは示しています。適切なセンサーを用いれば、たとえ極めて微細で自然な動きであっても、それらを解きほぐすための十分な情報を提供してくれるのです。現在のシステムは特定の種類のカメラと強力なコンピュータを必要としますが、これは将来のカメラが、反射越しでもリアルタイムで世界をクリアに見ることができる可能性を切り開いています。それは、ロボット、自動運転車、そして写真家たちが、目の前にどれほど多くの窓があろうとも、世界を鮮明に捉えられるようになることを意味しています。