CLIP4VI-ReID: Learning Modality-shared Representations via CLIP Semantic Bridge for Visible-Infrared Person Re-identification

あなたは、混雑した街の中で特定の友人を探そうとしていると想像してください。しかし、手元には2つの全く異なる地図があります。一つは、友人が着ている鮮やかな赤いジャケットと青いスニーカーがはっきりと写っている、日中の高精細なカラー写真です。もう一つは、夜間に撮影された、粒子の粗い白黒の熱画像です。そこでは、友人は暗い背景の中に浮かび上がる、光る白い塊のように見えます。これは、セキュリティカメラやコンピュータビジョンのシステムが直面する日常的な課題です。つまり、日中の光（可視光）で見られる人物を、夜間の熱画像（赤外線）で見られる人物と一致させることです。人間なら、色彩豊かな顔と熱のサイン（熱源）の間にある点をつなげて、同一人物だと容易に理解できますが、コンピュータにとってはこの「ギャップ」は非常に大きく、困難なものです。見た目が全く異なるため、標準的なAIでは、それらが同じ人物を見ていると認識するのが難しいのです。この問題を解決するために、研究者たちは「CLIP」と呼ばれる「万能翻訳機」を使った巧妙なトリックをよく用います。CLIPを、何百万冊もの本を読み、何百万枚もの写真を見てきた非常に賢い司書だと考えてみてください。その司書は、「スニーカー」という言葉が、たとえ写真がぼやけていたり暗かったりしても、靴の画像と結びついていることを知っています。言葉を架け橋として使うことで、コンピュータは、共通の記述を通じて、昼の写真を夜の写真と一致させようと試みることができるのです。

しかし、落とし穴があります。この「司書」（CLIP）は、主に色彩豊かで晴れた日の写真で学習されています。そのため、夜間のカメラによる光る熱の塊について説明するように頼むと、しばしば混乱し、「漠然とした人物」といった曖昧でノイズの多い記述を出してしまい、「バックパックを背負った人物」のような具体的な説明ができなくなります。この混乱が、マッチングのプロセスをかえって難しくしてしまいます。この論文において、著者らはこの問題を解決するために、CLIP4VI-ReIDと呼ばれる新しい手法を提案しています。熱画像を直接記述させるのではなく、まず、はっきりとした昼間の写真を記述させるようにします。そして、その正確な記述をガイドとして使い、コンピュータが夜間の写真を正しく認識できるように「教える」のです。彼らはこれを3つのステップで行います。第一に、昼の写真から完璧なテキスト記述を生成すること。第二に、それらの言葉を使ってコンピュータの夜間の写真に対する理解を修正すること。そして最後に、昼の写真、夜の写真、そしてテキスト記述がすべて完璧に一致するようにシステム全体を微調整することです。結果は、このステップ・バイ・ステップのアプローチが、従来の手法よりも人物を見つける上ではるかに優れていることを示しており、「適切な種類の『言葉』」を架け橋として使うことが、コンピュータが暗闇でも鮮明に視界を確保する助けになることを証明しています。

問題：巨大なモダリティ・ギャップ

あなたが、容疑者の身分証（鮮明なカラー写真）と、暗い路地での防犯カメラ映像（熱による白黒画像）を照合しようとしている場面を想像してみてください。コンピュータビジョンの世界では、これは**可視・赤外線人物再識別（Visible-Infrared Person Re-identification: VI-ReID）**と呼ばれます。目的は単純です。これら2つの非常に異なるタイプの画像間で、同一人物を見つけ出すことです。しかし、これは非常に困難です。なぜなら、2つの画像は似ても似つきません。カラー写真は赤いシャツや青いジーンズといった詳細な情報に満ちていますが、熱画像は体温に基づいた光る形状に過ぎないからです。

長い間、コンピュータは、熱画像をカラー画像に変換しようとする（これはしばれて偽物のように見えたりノイズが混じったりします）、あるいは2つの画像の間で直接共通の特徴を見つけ出そうとする方法で、これを解決しようとしてきました。しかし、この論文の著者らは、最新のスマートなAIモデル（CLIPと呼ばれるものに基づいています）がこの処理をどのように扱っているかについて、ある欠陥があることに気づきました。これらのモデルは、カラー写真と熱画像の「両方」に対してテキスト記述を生成しようとします。問題は、AIが何百万もの晴れた日のカラフルな写真で学習されていることです。熱画像を見たとき、AIは何と言えばよいのか分からなくなります。役に立つ詳細（例：「帽子を被っている」）を生成する代わりに、「見えにくい人物」といった弱く不正確な記述を生成してしまうのです。この不適切な記述は、コンピュータによる人物のマッチングを容易にするどころか、むしろ困難にしてしまいます。

解決策：3段階の架け橋

これを修正するために、著者らはCLIP4VI-ReIDと呼ばれる新しいシステムを構築しました。AIに熱画像がどのように見えるかを言葉で推測させるのではなく、2つの世界の間をつなぐ橋を建設する建設作業員のような、巧妙な3段階のプロセスを設計しました。

ステージ1：テキスト意味生成（Text Semantic Generation: TSG）
まず、チームはAIに熱画像を記述させることをやめることにしました。代わりに、鮮明なカラー写真のみを記述させるようにしました。「プロンプト学習」と呼ばれる手法を用いますが、これはAIに「[_____] の人物の写真」という穴埋め問題を与えるようなものです。AIは、カラー写真のみに基づいて、（「スニーカーを履いている」や「バックパックを背負っている」といった）具体的な詳細で空欄を埋めることを学びます。カラー写真は鮮明であるため、AIは完璧で詳細なテキスト記述を生成します。これらの記述が「ゴールドスタンダード（黄金律）」、すなわち架け橋となります。

ステージ2：赤外線特徴埋め込み（Infrared Feature Embedding: IFE）
カラー写真から得られた完璧なテキスト記述が用意できたら、それを使ってAIに熱画像の「見方」を教えます。AIに熱画像の新しい言葉を生成させることはしません。代わりに、「この熱画像を見て、すでにカラー写真のために書かれたテキストと、その特徴を一致させてください」と指示します。これは、生徒に鮮明な地図を見せた後、その地図をガイドとして使いながら霧の立ち込める道をナビゲートさせるようなものです。AIは、熱画像の理解を調整し、正確なテキスト記述と一致するように学習します。このステップにより、熱画像の特長が「補正（rectify）」され、正しいアイデンティティ情報が注入されます。

ステージ3：高レベル意味整合（High-level Semantic Alignment: HSA）
最後に、チームはシステム全体を微調整します。テキスト記述に、カラー写真にしか存在しない詳細（特定の色の情報など）が含まれないように注意を払います。なぜなら、それらは熱画像とは共有されていない情報だからです。彼らは、テキストが両方の画像に共通する事項（例：「バックパックを背負った人物」）のみを記述することを望んでいます。また、カラー画像と熱画像を個別に処理するAIの部分を微調整し、最高の詳細を捉えられるようにします。この最終ステージにより、カラー写真、熱画像、そしてテキスト記述がすべて、高い精度で同一人物を指し示すようになります。

得られた結果

著者らは、カラー画像と熱画像の人物を含む2つの有名なデータセット、SYSU-MM01とRegDBを用いて、新しいシステムをテストしました。彼らの手法を既存の最高技術と比較しました。

• SYSU-MM01データセットにおいて： 彼らの手法であるCLIP4VI-ReIDは、「All-Search（全検索）」設定（システムが多くの可能性の中から人物を見つけ出す設定）において、**Rank-1精度75.54%**を達成しました。これは、従来の手法（75.2%）を上回る結果です。「Indoor-Search（屋内検索）」設定では、**Rank-1精度83.98%**というさらに高い数値を叩き出し、次点の優れた手法を大きく引き離しました。
• RegDBデータセットにおいて： 結果はさらに印象的でした。「Infrared-to-Visible（赤外線から可視への検索）」テスト（熱画像からのクエリでカラー写真を見つける）では、**Rank-1精度92.28%**に達し、テストされた全手法の中で最高となりました。「Visible-to-Infrared（可視から赤外線への検索）」テストでは、**Rank-1精度94.51%**を記録しました。

論文には視覚的な証拠も含まれています。彼らの手法を用いる前は、コンピュータの「メンタルマップ（精神的地図）」において、カラー画像と熱画像が全く異なる場所に位置していました。しかし、この3段階のプロセスを経た後、同一人物の画像（カラーであれ熱であれ）は固まって集まり、一方で異なる人物の画像は互いに遠く離れたままとなりました。

なぜ重要なのか

重要な教訓は、コンピュータに熱画像を直接記述させようとすると、しばしば混乱とエラーを招くということです。カラー画像から先に記述を生成し、その記述をガイドとして熱画像に適用することで、システムは「ノイズ」を回避し、より優れた結果を得ることができます。著者らは、この「粗から精へ（coarse-to-fine）」のアプローチ、つまり大まかな整合から始めてから詳細に洗練させていく手法が、異なる種類の光をまたいでコンピュータに視覚を与えるための強力な方法であることを示唆しています。この手法は、より単純なモデルよりも訓練時間を要しますが、精度の向上は、昼夜を問わず24時間稼働する必要があるセキュリティシステムにとって、十分に価値のあるトレードオフであることを示しています。