🤖 machine learning

t-gems: text-guided exit modules for decreasing clip image encoder

本論文は、テキスト記述を活用して退出判断を導くことで、クロスモーダル理解性能を維持しつつ計算コストを効果的に削減することを可能にする、CLIP 画像エンコーダにおける早期退出を可能にするテキストガイド退出モジュール（T-GEM）とレートベースの正則化項を導入する。

原著者： Alberto Presta, Grzegorz Stefanski, Michal Byra, Krzysztof Arendt

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Alberto Presta, Grzegorz Stefanski, Michal Byra, Krzysztof Arendt

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢く、非常に大きな図書館（AI モデル）を想像してください。この図書館は、画像を見て説明文を読み、それらが何についてのものであるかを特定できます。通常、この図書館は質問に答える際、質問がどれだけ単純であっても、すべての本を最初のページから最後のページまで強制的に読み通します。これには多くの時間とエネルギーを要します。

この論文は、すでに答えを知っている場合に図書館が読みを早期に停止できるようにする新しい方法を紹介します。彼らはこのシステムをT-GEMS（Text-Guided Exit Modules）と呼んでいます。

以下に、これを簡単な概念に分解して説明します。

1. 問題：必要もないのに本全体を読むこと

AI の「脳」（画像エンコーダ）を、多くの部屋（層）がある長い廊下だと考えてください。画像を理解するために、AI は通常、12 個の部屋をすべて歩き通します。

従来の方法: AI が 3 番目の部屋で答えを特定できても、安全のために 12 番目の部屋まで歩き続けます。これは遅く、多くの電力（計算能力）を消費します。
目標: AI に「3 番目の部屋で十分に確信が持てたので、ここで止めて答えを出そう」と言わせたいのです。

2. 課題：「沈黙」する画像

多くの AI システムでは、画像とテキストは別々に処理されます。テキスト部分は答えを知っています（例：「これは猫です」）が、画像部分は盲目に廊下を歩いているだけです。全体を歩き終えるまで、何を探しているのかを画像部分は知りません。画像部分が早期に停止するのは困難です。なぜなら、それを導くテキストの手がかりを持っていないからです。

3. 解決策：T-GEMS（テキストガイド）

著者たちは、T-GEMSと呼ばれる特別な「ガイド」を作成しました。

比喩: ぼやけた写真を見ていると想像してください。もし誰かが「猫だ」と囁けば、あなたの脳は画像全体をランダムにスキャンするのではなく、即座に猫の特徴（耳、ひげなど）を探し始めます。
仕組み: T-GEMS はテキストの説明（囁き）を取り込み、それを元に画像の「廊下」が異なる段階でどのように見えるべきかを予測します。画像エンコーダに、「テキストに基づけば、今この時点でこれらの特定のパターンが見えているはずだ」と伝えます。

4. 「驚き」メーター（クラスレート）

AI はいつ停止すべきかを知るのでしょうか？この論文は、クラスレートと呼ばれる概念を導入しており、これは「驚きメーター」のように機能します。

比喩: ゲームで単語を当てる場面を想像してください。
- 単語が「リンゴ」だと教えられ、赤い果物の写真を見た場合、あなたは驚きません。「驚き」は低いです。
- 単語が「リンゴ」だと教えられましたが、車の写真を見た場合、あなたは非常に驚きます。「驚き」は高いです。
応用: システムは、各ステップでテキストの説明によって画像データがどの程度「驚かされているか」を計算します。驚きが低い場合（つまり画像とテキストが完全に一致している場合）、システムは「十分な情報がある。早期に退出しよう！」と言います。

5. ガイドを作る 2 つの方法

この論文では、このシステムを教える 2 つの方法をテストしました。

「サンプル」法（単純な方法）: 彼らは AI に、各段階で猫や犬がどのように見えるかを記憶させるために、何千もの猫や犬の例を見せました。これは機能しますが、例の膨大なライブラリが必要であり、テキストと画像を深く結びつけていません。
「学習」法（T-GEMS）: 彼らは AI に、テキストから直接ルールを学習させました。AI は、何千もの特定の写真を記憶する必要なく、テキストを読むだけで画像が「どうあるべきか」を予測することを学びました。これはより柔軟で効率的です。

6. 結果：より賢く、より小さく

研究者たちは、一般的な AI モデル（CLIP）を使用して標準データセット（CIFAR10）でこれをテストしました。

スペースの節約: 早期に停止することで、画像エンコーダの末尾を実質的に「切り離す」ことができました。彼らは、精度をほとんど失うことなく、モデルのサイズ（数百万のパラメータ）の巨大な部分を削除できることを見つけました。
精度の向上: 驚くべきことに、「驚きメーター」（クラスレート）をトレーニングツールとして使用することで、AI は早期に停止した場合でも、異なるものを区別する能力が実際には向上しました。
トレードオフ: 非常に早期に停止した場合（数部屋だけ）、精度は少し低下しましたが、中間（6 番目の部屋あたり）で停止した場合、計算能力を大幅に節約しながら、ほぼすべての精度を維持しました。

まとめ

要約すると、この論文は、AI に画像を推測するまでにどの程度まで見る必要があるかを正確に知るために、テキストの説明を聞く方法を教えています。AI に毎回画像全体を処理させるのではなく、テキストを地図として使用して答えをより早く見つけ、結果を正確に保ちながら時間とエネルギーを節約します。

技術的サマリー：T-GEMS – CLIP 画像エンコーダの削減のためのテキストガイド型出口モジュール

問題定義
CLIP などのマルチモーダル（MM）モデルは、対照学習を用いて画像とテキストの入力を共有潜在空間に整列させる。これは効果的であるが、推論は静的である：複雑さに関わらず、すべての入力がトランスフォーマースタック全体を通過するため、計算コストが高くなる。自信がある場合に中間層で計算を停止することを可能にする Early Exit（EE）手法は、単一モーダルおよび融合ベースのマルチモーダルモデルで検討されてきた。しかし、CLIP のような対照的デュアルエンコーダモデルにおける EE は未だ十分に研究されていない。主な課題はモダリティエンコーダの分離にある；既存の動的アプローチは、しばしば結合処理やトークンプルーニングに依存しており、テキストエンコーダの情報を活用して視覚エンコーダの出口を誘導できていない。さらに、これらのモデル向けの静的 EE 手法を開発するには、画像データにのみ依存せずにテキスト記述から導出された中間層における意味内容の分布を推定する方法が必要である。

手法
著者は、デュアルエンコーダモデルの画像エンコーダにおいて、テキストエンコーダからの情報を用いて静的早期出口を実行するために設計された**テキストガイド型出口モジュール（T-GEMs）**を提案する。核心的な目的は、画像 $x$ とテキスト記述 $d$ が与えられたとき、特定のクラス $c$ に対する中間ニューロン活性化（ $\ell_{ij}$ ）の事後確率分布を推定することである。

分布推定：この手法は、中間活性化がガウス分布に従うと仮定する。目的は、各クラスおよび各層に対して平均（ $\mu$ ）と分散（ $\sigma^2$ ）を計算することである。
2 つの推定アプローチ：
- サンプリングベース：較正セット $S$ を用いて、経験的に各クラスの $\mu$ と $\sigma^2$ を計算する単純なアプローチである。これは新しいパラメータの学習を回避するが、テキストと画像活性化マップの間の関係を確立できない。
- 学習ベース（T-GEMs）：学習可能なネットワーク $\Psi_i$ （T-GEM）が、推論中にサンプル画像を必要とすることなく、テキスト埋め込み（ $d_t$ ）から直接分布パラメータを推定する。このモジュールは、活性化信号の「レート（驚き）」を最小化するように最適化される。
ジャンパーモジュール：識別性を向上させるため、投影モジュール $J^i$ （ジャンパー）が中間画像活性化を低次元空間 $\tilde{\ell}^i$ にマッピングする。これはより良いレート推定を促進し、クロスモーダル類似性の統合を可能にする。
分類指標（クラスレート）：標準的なコサイン類似度の代わりに、この手法はクラスレート指標（ $R^i_c$ ）を導入する。この指標は、クラス仮定が与えられたときの活性化の「驚き」を計算する。予測されるクラスは、このレートを最小化するクラスであり（式 3）、信号を最も効率的に圧縮するクラスを実質的に選択する。
学習目的：モジュールは、結合損失関数 $L = L_r + L_s$ $L = L_{r} + L_{s}$ を用いて学習される：
- $L_r$ ：ガウス分布の負の対数尤度を最小化するレートベースの正則化項であり、意味内容の識別能力を強化する。
- $L_s$ ：テキスト埋め込みと投影された画像表現との間のクロスモーダル類似性損失（コサイン類似度）。

主要な貢献
本論文は 4 つの主要な貢献を主張する：

中間表現の分析：テキスト埋め込みに対してクラス間で CLIP の中間表現がどのように変化するかを調査し、これらの層が早期出口に適した識別情報を含んでいることを明らかにした。
クラスレート正則化項：活性化マップから導出され、コサイン類似度と相関するが、識別性を向上させる学習可能な正則化項として機能する統計量の導入。
テキストガイド型出口モジュール（T-GEMs）：テキスト埋め込みのみから中間画像エンコーダ活性化を予測するモジュールの設計。モダリティ間の有界な関係を実証した。
静的早期出口フレームワーク：画像分類などのタスクにおいて中間活性化マップを活用する静的 EE モジュールの学習。対照的デュアルエンコーダモデルにおいて、静的 EE のためにテキストおよび視覚エンコーダの両方の中間層を利用することを検討した最初の研究である。

実験結果
実験は、CIFAR-10 上で CLIP ViT-B-32 および ViT-L-14 アーキテクチャを用いて行われた。

フル CLIP との性能比較：T-GEMs + ジャンパーのアプローチは、フル CLIP モデルと比較して競争力のある精度を達成した。例えば、ViT-B-32 の場合、この手法は最終層（RB12）で 92% の精度に達し、ゼロショットベースラインの 91.3% と同等であった。
正則化の影響：レートベースの正則化項（ $L_r$ ）を組み合わせることで、特に初期層（RB3–RB5）において性能が大幅に向上し、コサイン類似度のみを使用する手法に対して最大 6% の改善が見られた。
パラメータ効率：T-GEMs とジャンパーによって導入される追加パラメータは negligible（数十万）であり、単一の残差ブロックの約 4% に相当する。これにより、大幅なモデル圧縮が可能になる；例えば、5 番目の層で出口することで、高い精度を維持しつつエンコーダサイズを約 5200 万パラメータ削減できる。
クラスレート対コサイン：クラスレート指標は、コサイン類似度の信頼できる代理指標であることが証明され、特にレート正則化項と組み合わせて推論指標として使用される場合、しばしばそれよりも優れた性能を示した。
サンプル感度：サンプリングベースのアプローチは効果的であるために妥当な数のサンプル（例： $S \ge 100$ ）を必要としたのに対し、学習ベースのアプローチは投影次元 $K=128$ で安定しており、T-GEMs には大規模モデルが厳密に必要ではないことを示している。

意義と主張
本論文は、この作業を効率的なマルチモーダル推論への基礎的なステップとして位置づけている。テキストと視覚の中間層の関係を活用することで、対照的デュアルエンコーダモデルにおける静的早期出口を探求した最初の研究であると主張する。著者は、この手法が画像 - テキスト類似性の性能を損なうことなく画像エンコーダのサイズを削減することを強調している。

その意義は、以下の点を示すことにある：

初期エンコーダ層における中間活性化は、分類タスクに対して十分に識別性があること。
レートベースの正則化は、標準的な類似度指標のみよりも多くの識別表現を抽出できること。
テキスト埋め込みは、画像活性化分布の推定を効果的に誘導でき、推論中の動的なサンプルごとの意思決定を必要としない静的早期出口戦略を可能にすること。

著者は範囲について謙虚であり、現在、各サンプルが異なる層で出口する動的出口戦略を実装していないことを指摘しつつも、この静的フレームワークが将来の動的実装や軽量マルチモーダルエンコーダの学習のための有望な基盤を提供していると述べている。