💻 computer science

ComMem: Complementary Memory Systems for Test-Time Adaptation of Vision-Language Models

海馬と新皮質の相補的な役割に着想を得た提案手法であるComMemフレームワークは、高速に適応する視覚キャッシュと低速に統合するテキストプロトタイプシステムを利用することで、クロスモーダルな一貫性を共同で最適化し、多様な分布シフトに対して優れた性能を達成することにより、視覚言語モデルのテスト時適応を強化する。

原著者： Guanglong Sun, Shuang Cui, Bo Lei, Liyuan Wang, Zihan Zhai, Hongwei Yan, Hang Su, Jun Zhu, Yi Zhong

公開日 2026-06-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Guanglong Sun, Shuang Cui, Bo Lei, Liyuan Wang, Zihan Zhai, Hongwei Yan, Hang Su, Jun Zhu, Yi Zhong

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは、何百万冊もの本を読み、写真を完璧に描写できる、非常に賢く博識な司書（AIモデル）を雇っています。この司書は、写真の中の「犬」や「猫」を識別することに長けています。しかし、もし突然、霧がかった雨の森の中でスーパーヒーローのコスチュームを着た犬の写真を見せられたら、彼らは混乱してしまうかもしれません。なぜなら、彼らの学習データは、主に晴れた公園にいる犬の鮮明な写真ばかりだったからです。

これが、この論文が取り組んでいる問題です：どうすれば、AIがすべてを一から学び直すことなく、新しく、奇妙で、変化する環境に即座に適応できるようにできるでしょうか？

著者であるGuanglong Sun氏とそのチームは、ComMemと呼ばれる解決策を提案しています。彼らは、私たちの脳が使う特定のトリックを模倣することで、これを作り上げました。

脳の「2つのシステム」のトリック

私たちの脳は、単一の巨大な記憶バンクを持っているわけではありません。2つの異なるシステムが連携して機能しています。

海馬（「速いメモ書き係」）: この部分は、粘着式のメモパッドのようなものです。非常に素早く、具体的で詳細な記憶を掴み取ります。今日、公園でユニークな犬を見たら、海馬はすぐにそれを書き留めます。しかし、これらのメモは壊れやすく、一度に書き込みすぎると乱れてしまうことがあります。
新皮質（「遅い司書」）: これは、深く整理された図書室です。一般的な知識（例えば「犬とは何か」という概念）を保持しています。非常にゆっくりと慎重に学習し、新しい情報によって古い重要な事実が上書きされないようにします。新しい本を正しい棚に分類するには、時間がかかります。

現在のAIの問題点:
現在のほとんどのAI手法は、メモパッドだけを持っている学生のようなものです。彼らはあらゆる新しい写真から即座に学ぼうとしますが、5分前に学んだことを忘れてしまいます。あるいは、「図書室」から学ぼうとしますが、新しいトレンドに追いつくには動きが遅すぎます。彼らはスピードと安定性のバランスを取ることができません。

解決策：ComMem

著者たちは、AIに「メモパッド」と「遅い司書」の両方を与え、さらにそれらを対話させるComMem（補完的メモリ）を作成しました。

その仕組みは以下の通りです。

1. 速いシステム（「視覚的な付箋」）

AIが新しい写真（例：あの霧の中のスーパーヒーロー犬）を見たとき、まず自身の確信度を確認します。もしそれが何であるかについて高い確信を持っていれば、詳細な視覚的キャッシュを作成します。

比喩: これは、高品質なスナップショットを素早く撮って、ホワイトボードに貼り付けるようなものです。
機能: このシステムは「速く」学習します。新しい環境の具体的な詳細（霧やコスチューム）に対して即座に適応します。これは柔軟で可塑性があります。

2. 遅いシステム（「テキストによる図書室」）

同時に、AIはグローバルなテキストメモリを持っています。これは、一般的な記述（例：「犬は4本足の動物である」）のリストです。

比喩: これは、百科事典の「犬」の項目をゆっくりと更新している司書のようなものです。
機能: このシステムは「ゆっくり」学習します。新しい情報が非常に信頼できる場合にのみ更新を行います。これにより、たとえコスチュームを着た犬を見たとしても、犬に関する基本的なルールを忘れてしまうことがありません。

3. 「再定式化（Reconsolidation）」（チーム会議）

ここが魔法の部分です。新しい写真を見るたびに、AIは単一のシステムを使うのではありません。「速いメモ書き係」と「遅い司書」の間で会議を開きます。

彼らはノートを照合します。「付箋には『霧の中のスーパーヒーロー犬』とある。図書室には『犬』とある。これらは一致しているか？」
彼らは、視覚的なイメージとテキストによる記述が一致するように、互いに調整し合います。
もし一致していれば、「速いメモ書き係」はより詳細になり、「遅い司書」は百科事典に対して、安全で小さな更新を行います。

なぜこれが優れているのか？

論文では、これを15の異なるデータセット（数千の画像カテゴリを持つImageNetなど）でテストしました。

結果: ComMemは、これまでのあらゆる最高の手法を打ち破りました。
比喩: 学生がテストを受けている場面を想像してください。
- 古いAI: 最初に見たものに基づいてパニックを起こして推測するか（速すぎる）、あるいは教科書に暗記した内容に固執して動けなくなります（遅すぎる）。
- ComMem: 奇妙な問題に対して素早くメモを取り、それを教科書と照らし合わせ、「ああ、これは依然として犬だが、少し変わった姿をしているだけだ」と気づき、正解を出します。

結論

この論文は、私たちの脳がどのように速くて詳細なメモリと遅くて抽象的なメモリを併用しているかを模倣することで、AIが現実世界の混沌により良く対処できると主張しています。ゼロから再学習する必要はなく、核となる知識を守りながら、新しいものを見るたびに賢くなり、即座に適応していくのです。

著者らは、この手法がより正確であるだけでなく、非常にスマートでありながら処理に時間をかけすぎないという、実用的なバランスを実現していることも明らかにしました。

技術要約：ComMem – ビジョン・ランゲージ・モデルのテスト時適応のための相補的メモリシステム

問題提起

CLIPなどのビジョン・ランゲージ・モデル（VLM）は、強力なゼロショット汎化性能を示す一方で、テスト時のデータ分布が事前学習時の分布から乖離する実世界の環境にデプロイされる際、大幅な性能低下に陥ることが多い。既存のテスト時適応（TTA）手法には、主に以下の2つの制限がある：

時間的蓄積の欠如： 多くの手法（例：TPT）は、時間を経た経験を保持することなく、各サンプルに対して独立して適応するという「健忘症的」な動作を行う。
単一モダリティへの限定： 高度なメモリベースのアプローチは、多くの場合、単一のモダリティ（テキストプロンプト・チューニングまたは視覚的特徴のキャッシュのいずれか）内でのみ適応を行い、VLMの本質的なマルチモーダル性を活用できていない。これは、高速（可塑的）な学習と低速（安定的）な学習の相補的なダイナミクスをバランスさせることに失敗しており、新しい手がかりへの適応能力と、事前学習された堅牢性の維持との間のバランスを制限している。

手法：ComMem

神経科学における相補的メモリシステム理論（McClelland et al., 1995; Tonegawa et al., 2018）——エピソード学習のための海馬（HPC）と、意味的統合のための新皮質（NC）との間の機能的な相乗作用を提唱するもの——に着想を得て、著者らはComMemを提案する。このフレームワークは、VLMにおけるこれら明確な学習ダイナミクスを、以下の2つの主要コンポーネントを通じて具現化する：

1. デュアルメモリ・アーキテクチャ

高速適応型詳細メモリ（HPC様）：
- 機能： テストデータのストリームから高信頼度の視覚的特徴を迅速に保存および更新し、特定のインスタンスへの迅速な適応を可能にする。
- メカニズム： クラス条件付きの視覚的インスタンス（特徴量とエントロピーのペア）のエピソード・キャッシュを保持する。信頼できる拡張ビューを選択するために、エントロピー誘導型のエンコーディング・プロセスを使用する。
- 更新ルール： 高信頼度の新しい特徴量が低信頼度のエントリーを置き換えるという「高速」な更新戦略を採用する。置き換えの前に、新しい特徴量はクラス・プロトタイプと融合され、堅牢な表現を形成する。
低速統合型抽象メモリ（NC様）：
- 機能： 徐々に進化する、安定した一般化された意味的知識（グローバルなテキスト・プロトタイプ）を表現する。
- メカニズム： 事前学習された知識から導出されたグローバルなテキスト・プロトタイプ（ $P_t$ ）で構成される。
- 更新ルール： 最終的な予測が十分に確信を持てる場合にのみトリガーされる「低速」な更新戦略（小さな率 $\lambda_{nc}$ を用いた加重融合）を採用する。これはシステム統合を模倣しており、安定性を確保し、破滅的忘却を防ぐ。

2. 再統合による共同最適化

各入力テストサンプルに対し、ComMemは、クロスモーダルな一貫性を強制するために両方のメモリシステムを共同で最適化することで、メモリ再統合をシミュレートする：

学習可能なパラメータ：
- 視覚的残差 ( $\delta_v$ )： インスタンス固有の高速な適応のために、視覚的プロトタイプ（HPCシステム）に加算される。
- テキスト的残差 ( $\delta_t$ )： 文脈適応的なローカル分類のために、グローバルなテキスト・プロトタイプ（NCシステム）に加算される。
- 正規化層 ( $\theta_n$ )： 低レベルの機能適応（NCシステム）のために、視覚エンコーダー内で微調整される。
予測の統合： 最終的な予測は、詳細メモリの寄与を適応的にバランスさせるアフィニティ関数によって重み付けされた、両システムの出力の組み合わせとなる。
損失関数： パラメータは、複合損失を用いて単一の勾配ステップで最適化される：
- エントロピー最小化 ( $L_{ent}$ )： 予測の不確実性を低減する。
- メモリ間一貫性 ( $L_{align}$ )： 対称的なInfoNCE損失を用いて視覚的プロトタイプとテキスト的プロトタイプを整列させ、HPCとNCの表現間のコヒーレンスを確保する。
- メモリ内スパースコーディング ( $L_{sparse}$ )： 各メモリシステム内のプロトタイプの冗長性にペナルティを課し、表現の重複を最小限に抑える。

主な貢献

脳に着想を得たフレームワーク： VLMのTTAにおける、相補的メモリシステムの明確な高速（HPC）および低速（NC）の学習ダイナミクスを具現化する最初のアプローチであるComMemを導入した。
相乗メカニズム： 高速更新される詳細キャッシュと、低速に統合される抽象メモリが、クロスモーダルな一貫性を確保するために再統合プロセスを通じて共同で最適化される、デュアルメモリシステムを設計した。
最先端の性能： 自然な分布シフトおよびクロスデータセットの汎化シナリオにおける15のベンチマーク・データセットにおいて、既存の手法を大幅に上回る性能を実証した。

実験結果

著者らは、ImageNetのバリアント（ImageNet-A, R, S, OOD）および10の多様なクロスデータセット（例：Aircraft, Cars, DTD, Flowers）を含む15のデータセットでComMemを評価した。

自然な分布シフト (ImageNet-OOD)：
- ResNet-50を使用した場合、ComMemは平均OOD精度**48.84%**という新たなSOTAを達成し、従来の最高値（DPE）を1.18%上回った。
- ViT-B/16を使用した場合、ComMemは**65.36%**の平均OOD精度を達成し、すべての競合手法を凌駕した。
クロスデータセットの汎化：
- ComMemは、10の多様なデータセットにおいて最高の平均精度を達成した：64.60% (ResNet-50) および 70.74% (ViT-B/16)。これは、DMN-ZSやDPEといった強力なベースラインを上回る数値である。
効率性：
- ComMemは50,000個のImageNetテストサンプルを約1.5時間で処理した。これは、TPT（>15時間）のようなプロンプト・チューニング手法よりも大幅に速く、かつ、（ゼロショットCLIPと比較して+4.24%の向上に対し、TPTは+0.93%であるのと比較して）大幅に高い精度向上を提供している。
アブレーション研究：
- 両方のメモリシステムの相乗的な組み合わせ、一貫性のアライメント、およびスパースコーディングが極めて重要であることを確認した。
- 異なる学習率が最適であることを検証した：正規化層（NC）は安定性のために小さな学習率（ $10^{-6} \sim 10^{-5}$ ）を必要とするが、残差層（HPC）は迅速な適応のために大きな率（ $10^{-4}$ ）を必要とする。
- 適度なHPCキャッシュ容量（K=3から5）が、柔軟性と安定性のバランスをとることを示した。

重要性と主張

本論文は、ComMemが動的な環境におけるVLMの実用的な適応性を高めるための有望な方向性を提供すると主張している。生物学的なシステム統合および再統合のメカニズムを模倣することで、本手法は、ドメイン固有の変動への迅速な適応と、破滅的忘却に対する安定性との間のトレードオフを成功裏にバランスさせている。著者らは、彼らのアプローチが堅牢性と汎化性能において新たなベンチマークを確立するだけでなく、既存のプロンプト・チューニング手法と比較して良好な計算効率プロファイルを実現していると断言している。本研究は、マルチモーダル・モデルのテスト時適応の課題を解決するための、神経計算論的なアナロジーの可能性を浮き彫りにしている。