Vision-Modulated Soft-Part-Aware Mamba for Video-Based Visible-Infrared Person Re-Identification

都市の監視ネットワークが静かに稼働する中で、カメラは絶えず監視を続け、昼夜を問わず人々の流れを捉えています。数十年にわたり、セキュリティシステムは、衣服や特徴によって個人を特定するために、色彩写真と同じような可視光カメラに頼ってきました。しかし、日が暮れて光が衰えると、これらのカメラは苦戦します。色は褪せ、質感は判別不能な影へとぼやけてしまいます。これを解決するために、セキュリティチームは可視光カメラと赤外線センサーを組み合わせる手法をますます増やしています。赤外線センサーは、衣服に反射する光ではなく、人体から放射される熱を捉えるからです。ここで新たな課題が生じます。粒子感のある熱ベースの赤外線ビデオに映る人物が、別のカメラで撮影された鮮明なカラービデオに映る人物と同じであると、コンピュータはどうやって認識するのか、という問題です。「可視・赤外線人物再識別（visible-infrared person re-identification）」として知られるこのタスクには、二つのカメラが世界を捉える際の劇的な違いを無視し、フレーム内を歩く人物の固有のアイデンティティに焦点を当てるシステムが必要です。

対象が移動しているとき、その難易度はさらに高まります。人物は決して静止した画像ではありません。彼らは一連の動き、つまり一歩ごとに変化する歩行のジェスチャー（ゲイト）なのです。既存のコンピュータシステムは、人物を一度に全体として捉えようとするか、あるいはパンをスライスするように、画像を固定された硬直的な帯状に切り分けることで解決しようとすることがよくあります。しかし、人々は直線的に歩くわけではありません。彼らはねじれ、向きを変え、傾きます。硬直したスライスでは、あるフレームでは人物の頭部を、次のフレームでは肩を捉えてしまい、アイデンティティの連続性を断ち切ってしまう可能性があります。さらに、暗闇での人物の見え方は、明るい場所での見え方とは根本的に異なります。そのため、コンピュータがこれら二つの異なる視点間で同じ身体部位を一致させることは困難です。常州大学の研究者たちは、この問題に対して、硬直したスライスを放棄し、移動や変化に合わせて特定の身体領域を追跡することを学習する、より流動的で適応的な手法を採用した新しいアプローチを提案しました。

研究者たちは「VM-SPMamba」と呼ぶシステムを開発しました。これは、まずシーン全体を理解してから、特定の柔軟な部分に焦点を当てることで機能します。コンピュータに画像の固定された水平方向の帯を見せる代わりに、このシステムは「ソフトなパーツ（soft parts）」を特定することを学習します。たとえ人物が傾いていたり、カメラの角度が変わったりしても、コンピュータが自律的に、各フレームにおける人物の頭、胴体、脚の位置を判断できる様子を想像してみてください。このシステムは、人物のグローバルな視点を用いて注意を向けることで、人物のポーズに適応する意味のある領域へとピクセルをグループ化させます。つまり、もし人物が腕を上げた場合、システムはあらかじめ設定された「腕を半分に切ってしまうような箱」に固執するのではなく、腕の領域の境界を調整して動きに追従するのです。

これらの柔軟な領域が特定されると、システムは各領域を独立した一つの物語として扱います。システムはビデオの全フレームにわたって「頭部」領域を追跡し、次に同じフレーム間で「胴体」領域を追跡し、といった具合に進めていきます。このようにビデオを個別の動きのストリームに分離することで、システムはそれぞれの特定の身体部位が時間の経過とともにどのように変化するかを学習できます。これは極めて重要です。なぜなら、頭の動き方は脚の動き方とは異なるためであり、これらの違いが人物を特定するための鍵となるからです。研究者たちは、これらのパーツを個別にモデリングし、それらの物語を組み合わせることで、システムが赤外線カメラと可視光カメラの間の混乱を招く差異をより上手く無視できるようになることを発見しました。システムは、赤外線による特定の動きのパターンが、たとえ色彩や質感が全く異なっていても、可視光によるものと同じアイデンティティであることを学習するのです。

このスキルを教え込むために、研究者たちは「言語」コンポーネントを含む強力な学習手法を用いました。彼らはシステムに単なる画像だけでなく、アイデンティティに関するテキスト記述も入力し、コンピュータが人物の動きの視覚的パターンを、その人物が誰であるかという意味的な概念へと結びつけられるようにしました。これは架け橋として機能し、熱のシグネチャが、たとえ見た目が全く異なっていても、カラー画像と同じアイデンティティであることをシステムが理解する助けとなります。システムは、現実世界の監視シナリオから得られた数十万枚の画像を含む二つの大規模なデータセットを用いてテストされました。赤外線から可視光へのテスト（熱ベースのビデオを見た後に、カラービデオの中で人物を見つけ出す試み）において、この新手法は72.3パーセントの成功率を達成しました。逆方向のケースでは、72.4パーセントに達しました。これらの数値は大きな飛躍を意味しており、一部の指標では従来の最高結果を10パーセント以上上回っています。

研究者たちはまた、3,000人以上の異なる人物とより長いビデオシーケンスを含む、より大規模で複雑なデータセットでもシステムをテストしました。このより困難なテストにおいて、システムはすべての指標で絶対的な最高スコアを叩き出したわけではありませんが、赤外線から可視光へのケースで約70パーセント、可視光から赤外線へのケースでも70パーセントの割合で、正しい人物をトップのマッチとして正しく特定しており、非常に高い競争力を維持しました。このことは、この手法が、人々が群衆の中で歩き、方向を変え、様々な照明条件下に現れるという、現実世界の監視における乱雑で予測不可能な性質に対処できるほど堅牢であることを示唆しています。本研究は、画像の固定された不変のスライスに依存する古い手法が、人物が動いたりカメラの角度が変わったりした際に性能が低下することを明確に示しました。柔軟で適応的なパーツが硬直したものよりも優れていることを証明することで、この研究は、昼夜を問わず信頼して機能する監視システムを構築するための明確な道筋を提示しています。

このアプローチの成功は、静止したスナップショットではなく、身体の部位の流れに焦点を当てるという、人間が直感的に行うであろう追跡方法を模倣する能力にあります。システムは、頭や脚がどこにあるかを教えられる必要はありません。ピクセルがどのように共に動くかを観察することによって、それらを見つける方法を学習します。この適応性により、歩行や回転、そしてカメラが世界を捉える様子の違いによって生じる歪みに対応することができます。現在のシステムは、パターンの学習にラベル付きデータを使用し、固定された数の身体パーツを使用していますが、その結果は、硬直した構造から流動的でコンテンツに応じた表現へと移行することが強力な戦略であることを示しています。監視ネットワークが拡大し、夜間のセキュリティのために赤外線技術への依存が高まり続ける中で、このような手法は、時刻や使用されるカメラに関わらず、正しい人物を特定するための必要なツールを提供します。