Hear to See: Discerning Stateful Listening for Audio-Visual Instance Segmentation

あなたは賑やかなストリートフェアにいるところを想像してみてください。あなたの目は、ジャグラー、手品師、ストリートミュージシャンを見つけようと、群衆を忙しくスキャンしています。しかし、あなたの耳には、コインのチャリンという音、ギターのハミング、そして群衆の怒号が混ざり合い、一つの大きな、乱れた音波となった混沌としたミックスが聞こえています。長い間、コンピュータは世界を「見る」ことには長けてきましたが、「聞く」ことには苦労してきました。コンピュータは、そこに「音がある」ことは教えてくれますが、特に複数の人が同時に話したり楽器を演奏したりしている場合、それが「誰」によるものなのかまでは判別できないことがよくあります。これが「オーディオ・ビジュアル（音響・視覚）」理解のパズルです。つまり、機械に、単なる一般的な雰囲気としてではなく、特定のギターや特定の歌手といった特定のオブジェクトと、何を見ているかとを関連付ける方法を教えることです。それは、騒がしい部屋の中で、たとえ相手が話を止めたとしても、その人の話に注意を向けながら、話し手の声を聞き取ろうとするようなものです。

これは、「Hear to See (H2S)」と呼ばれる新しいコンピュータモデルが取り組んでいる課題そのものです。この研究の背後にある研究者たちは、既存のコンピュータが主に2つの問題で混乱していることに気づきました。第一に、複数の音が混ざり合うと、コンピュータはそれらを区別するために必要な詳細な情報を失ってしまいます。第二に、音と視覚は必ずしも同じスピードで発生するわけではありません。人は歌うのをやめてもそこに立ち続けているかもしれませんし、カメラがピントを合わせる前に歌い始めているかもしれません。論文では、コンピュータに2つの特別な「超能力」を与えることで、この問題を解決する巧妙な新しい方法を提案しています。一つは、混沌とした「音のスープ」を解きほぐす力、もう一つは、状況が混沌としているか穏やかかに応じて「聴くスピード」を変える力です。

問題点：騒がしく、混沌とした世界

この新しいモデルがなぜ特別なのかを理解するために、コンピュータが通常どのように問題を解決しようとしているかを見てみましょう。指紋（音）を容疑者（視覚的対象）に照らし合わせようとする探偵を想像してください。古い手法では、指紋全体を取り出し、扱いやすくするために少しぼかし、それから誰のものかを推測しようとしました。しかし、3人の容疑者が同時に指紋を残している場合、それらを混ぜてぼかしてしまうと、誰のものかを判別することは不可能になります。コンピュータは「おっと、音があるから、そこには人がいるに違いない」と推測してしまいますが、それが「どの」人なのか、あるいは音が止まったのかどうかまでは判断できません。

さらに、これらの古い探偵たちは非常に硬直的でした。彼らは、時計を1秒ごとにチェックするように、固定された時間ブロックで世界を見ていました。もし人が1秒の途中で歌うのをやめたとしても、コンピュータは固定されたスケジュールに縛られているため、まだその人が歌っていると考えてしまうのです。音が出なくなったという事実に適応できず、静かな物体がまだ音を出していると「幻覚」を見せてしまうことにつながりました。

解決策：スープを混ぜ解き、ギアを変える

「Hear to See (H2S)」モデルは、著者がAcoustic-Semantic Projector (ASP) と Asynchronous Dynamics Modulator (ADM) と呼ぶ2つのトリックでこれを修正します。

1. 音のアンミキサー (ASP)
オーディオ信号を、イチゴ、バナナ、ブルーベリーがすべて混ぜ合わされた巨大なスムージーだと考えてください。古い手法では、スムージーの味を推測することで、中に何のフルーツが入っているかを判断しようとしていました。しかし、H2SはAcoustic-Semantic Projector (ASP) という特殊なツールを使用して、スムージーを元のフルーツへと分離します。それは、その乱れた混ざり合った音を取り込み、ギター用、ウクレレ用、歌手用といった具合に、明確なストリームへと分割します。

音が分離されると、モデルは単にオーディオを見るだけではありません。「音の意味」と「物体の位置」の間に架け橋を築きます。それは、ギターの音という「概念」を、ビデオ内のギターの「形」に一致させるようなものです。まず音を分離し、それから段階的に視覚的な世界と一致させることで、コンピュータはついに、たとえ3本のギターが同時に演奏されていても、「あの音はこの特定のギターに属している」と言うことができるようになるのです。

2. スマート・スピード・コントローラー (ADM)
2つ目のトリックはタイミングについてです。車を運転している場面を想像してください。直線で空いている道路では、景色を眺めながら巡航します。しかし、突然の段差に遭遇したり、子供が通りに飛び出したりしたときは、急ブレーキを踏んで、目の前の危険に完全に集中します。

Asynchronous Dynamics Modulator (ADM) は、コンピュータの「脳」に対してまさにこれを行います。これは、Mambaと呼ばれるものに基づいた特殊なメモリシステムを使用しており、速度を変えることができます。

• 混沌としているとき： 音が突然始まったり止まったりする場合（誰かが叫んだり、ドアが閉まったりするとき）、モデルは変化を察知して、注意のスピードを上げます。新しい音を見逃したり、静かな物体を追跡し続けたりしないように、現在の瞬間に強く集中します。
• 穏やかなとき： 場面が安定しており、音が一貫している場合、モデルは速度を落とし、過去の履歴へと目を向けます。スムーズで安定したトラッキングを維持するために、少し前の出来事を記憶します。

この「素早い反応」と「安定した記憶」を切り替える能力により、コンピュータは、音と視覚が必ずしも完璧に一致しないという、現実世界の非同期的な性質を扱うことができるようになります。

研究結果

研究者たちは、複雑な音響および視覚的シナリオを含む数百のビデオを含むデータセットである AVISeg を使用して、この新しいモデルをテストしました。彼らは、自分たちの「Hear to See」モデルを既存の最高の手法と比較しました。

結果は非常に印象的でした。標準的なカメラバックボーン（大規模データセットであるCOCOで訓練されたResNet50）を使用した場合、彼らのモデルは 48.54 mAP（物体を検出し追跡する能力の指標）を達成しました。これは、以前の最高の手法を 7.8% 上回る大幅な向上でした。

特に、音が非同期（変なタイミングで始まったり止まったりする）であり、かつ混ざり合っている最も困難なシナリオに注目したとき、彼らのモデルはさらに差を広げました。データの「非同期サブセット」において、彼らのモデルは 46.75 mAP を記録しましたが、以前の最高の手法は 32.66 mAP しか達成できませんでした。これは 14.09 mAP という劇的な改善であり、スピードを適応させ、音を解きほぐすというモデルの能力が、状況が混沌としているときに真価を発揮することを示しています。

なぜ重要なのか

この論文は、コンピュータに「音を混ぜ解き」、そして「世界の動きに応じてギアを変える」能力を与えることで、ビデオの理解を大幅に向上させられることを示しています。単なる活動のブレ（塊）を見るのではなく、コンピュータは今や、音の出ないギターと鳴っているギターを区別したり、歌の途中で止まった歌手を失うことなく追跡したりすることができるのです。

著者らは、これは録画されたビデオ（オフライン）を見るのには非常に有効ですが、コンピュータが次に何が起こるかを先読みできないライブのリアルタイム（オンライン）の状況については、まだテストされていないと述べています。しかし、現時点では、「Hear to See」は、適切な音の分離とスマートなタイミングの組み合わせがあれば、機械はついに、目で見ているのと同じくらい明晰に、世界を「聴く」ことができるようになることを証明しています。