🤖 machine learning

KALE: Kernel Alignment with Loss Equilibration for Stable CLIP-DINOv2 Alignment at Web Scale

本論文は、ノイズの多いウェブスケールのデータにおける固定重みのカーネルアライメントの失敗を克服するために、アライメント項を動的に再スケーリングすることで、テキストエンコーダーの互換性を維持しつつゼロショット性能を大幅に向上させる安定したCLIP-DINOv2学習を可能にする、適応的な損失均衡コントローラーであるKALEを導入する。

原著者： Michał Pawłowicz

公開日 2026-07-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Michał Pawłowicz

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたはロボットに世界の「見方」を教えようとしていると想像してください。あなたには、全く異なる二人の教師がいます。一人目は「チャット（Chat）」と呼ばれる言語のエキスパートです。彼はインターネット上のあらゆる文章を読み込み、言葉と画像を関連付けることに長けています。しかし、特定の葉の違いや微妙な質感を見分けるよう頼んでも、彼は大局に集中しすぎるあまり、それを見逃してしまうかもしれません。二人目は「ビジョン（Vision）」と呼ばれる、言葉を一切知らない沈黙の芸術家です。彼は何百万もの画像を研究し、あらゆる細部、影、パターンを見通していますが、自分が見ているものを言葉で語ることはできません。

長い間、科学者たちはチャットにさらに多くの画像を見せることで、彼をより良くしようと試みてきました。しかし最近、彼らは別のトリックを試しました。それは、チャットにビジョンの「見方」を模倣させるというものです。彼らは、チャットの言語理解能力と、細部を捉えるビジョンの能力を融合させようとしました。整理された綺麗なライブラリ（美術館のカタログのようなもの）を使用した場合、この手法は非常にうまく機能しました。しかし、現実世界の、無秩序で混沌としたノイズの多いデータに対して同じことを試すと、このトリックは崩壊してしまいました。ロボットは混乱し、「模倣」の信号があまりに弱くなって消えてしまい、学習が止まってしまったのです。この論文は、研究者たちがどのようにしてこの混乱を解決し、ロボットが「話す能力」を失うことなく、混沌としたインターネットから学ぶことを可能にしたかについて述べています。

問題点：ハリケーンの中の囁き声

研究者たちは、KUEAと呼ばれる手法からスタートしました。これは、ロボットに対して「ビジョンのスタイルを模倣せよ、ただし自分の元の声も忘れるな」と命じる厳格な教師のようなものです。綺麗なデータセットでは、これは完璧に機能しました。しかし、CC12M（ウェブからスクレイピングされた1200万枚の画像を含む）という大規模でノイズの多いデータセットで試したところ、奇妙なことが起こりました。

あなたが、ジェットエンジンの轟音（「クリーンな」指示：元の声を維持すること）の隣に立ちながら、囁き声（「アライメント」の指示：ビジョンのスタイルを模倣すること）を聞こうとしている場面を想像してみてください。綺麗なデータセットでは、ジェットエンジンの音は静かだったので、囁き声ははっきりと聞こえました。しかし、ノイズの多いウェブデータでは、ジェットエンジンが非常に大きくなり、囁き声は完全にかき消されてしまいました。数学的な解析によれば、その「囁き声」は全ノイズの0.2%未満しか寄与していませんでした。それは事実上、無音でした。もし、この新しいデータに対して古い指示（固定された重み）をそのまま使おうとすれば、ロボットは新しい教師を無視し、全く新しいことを学ぶことなく、以前の状態のまま留まってしまうのです。

解決策：KALEコントローラー

これを解決するために、著者らはKALE（Kernel Alignment with Loss Equilibration）と呼ばれる新しいシステムを導入しました。KALEは、リアルタイムで自動調整される超スマートな「ボリュームノブ」だと考えてください。

「囁き声」のボリュームを一度設定して放置するのではなく、KALEは囁き声と轟音の両方に耳を傾けます。もし囁き声が轟音に対して小さくなりすぎていると感じたら、囁き声のボリュームを上げます。もし囁き声が大きくなりすぎて元の声をかき消し始めたら、ボリュームを下げます。

結果は劇的でした。バランスを正しく取るために、システムは古い設定と比較して、およそ47,000倍という係数でボリュームノブを上げる必要がありました。固定された数値では到底不可能です。動的に反応できるコントローラーが必要だったのです。

結果：新しい種類のロボット

KALEコントローラーを起動し、330万枚の画像でロボットを訓練したところ、結果は目覚ましいものでした。新しいロボットは単に「見る力」を向上させただけでなく、以前よりも優れた方法で「見て、かつ話す」ことを学習しました。

声を維持した： ロボットは、テキストを理解したり、画像と言葉を一致させたりする能力（画像・テキスト検索）を失いませんでした。
より鋭くなった： 標準的なビジョンタスクにおいて、ロボットの「ゼロショット」性能（事前の訓練なしに、見ているものを推測する能力）は、11のテスト全体で平均**+2.00%**向上しました。これは、+1.29%の向上にとどまった従来の最高手法を上回る数値です。
細部に強くなった： SVHN（道路標識の数字を読み取るテスト）において、ロボットの精度は**+5.73%**跳ね上がり、過去の記録を塗り替えました。

しかし、著者らは主張に対して非常に慎重でした。一部のテスト（複雑なシーンでの物体計数など）は「ジッター（揺らぎ）」があり、実験を実行するたびに結果が少し変動することを指摘しています。そのため、彼らは最終的な結論を、安定していて一貫性のあるテストに基づいて導き出しました。

細かな注意点：単なるボリュームの問題ではない

論文では、単にボリュームを上げるだけでは不十分であり、慎重に「運転」する必要があることも発見されました。彼らは、ロボットには特定の「学習率（どれくらいの速さで学ぶか）」が必要であることを見出しました。もしスピードを出しすぎると（学習率 2×10⁻⁴）、ロボットはクラッシュし、すべてを忘れて使い物にならなくなります。逆に、スピードが遅すぎたり一定のままであったりしても、ロボットは適切に学習できませんでした。最適解は、最初は速く、その後緩やかに減速するものの、完全に停止することはないというスケジュールでした。これにより、ロボットの安定性が保たれました。

これが意味すること

主な教訓は、整理された綺麗なデータセットで機能する手法を、そのまま無秩序で混沌としたインターネットに適用することはできないということです。ノイズはすべてを変えてしまいます。学習プロセスを常に再調整するコントローラーを考案することで、著者らは、言語と視覚を併せ持つロボットを、ウェブ上の未整理の野生的なデータを用いて教えることを可能にしました。彼らは単により良い設定を見つけたのではありません。ノイズの多いデータの中でも学習プロセスを安定させる方法を見つけ出し、適切な「ボリュームノブ」さえあれば、どんなにノイズの多いデータであっても、ロボットが高精細に世界を見るための教師になり得ることを証明したのです。

技術要約：KALE – 損失均衡化を伴うカーネル整列（Kernel Alignment with Loss Equilibration）

問題提起

DINOv2のようなビジョン中心の教師モデルに向けて、CLIPの視覚エンコーダをカーネルベースで整列させる手法（KUEAとして知られる）は、精選されたImageNet規模のデータにおいて成功を収めている。このアプローチは、CLIPのテキストエンコーダとの互換性を維持しつつ、視覚的表現と線形プロービングの性能を向上させる。しかし、著者らは、この手法がノイズの多いウェブスケールのデータ（具体的にはCC12Mデータセット）に転用可能かどうかを調査している。

彼らは、KUEAで使用されている固定のトレードオフ重み戦略が、このスケールでは機能しないことを発見した。CC12Mにおいて、整列損失（学生モデルをDINOv2教師へと導く項）は、「クリーン」な損失（元のCLIP特徴からの逸脱を罰する項）よりも数桁小さくなる。その結果、固定の重みを用いた場合、整列項の寄与度は全損失の約0.2%まで低下し、その勾配は事実上無効となる。ImageNetの実験から得られた固定の重みをそのまま流用すると、整列信号が消失するため、学習が不安定になるか、あるいは効果のないものになる。

手法：KALE コントローラ

ウェブスケールにおける深刻な損失の不均衡に対処するため、著者らは、学習中に整列の重みを適応的に再スケーリングする動的コントローラである**KALE（Kernel Alignment with Loss Equilibration）**を導入した。

コアメカニズム

学習目的関数は、引き続き2つの損失の加重和として定義される：

整列損失 ( $L_{align}$ ): 学生（CLIP）と教師（DINOv2）の埋め込み間のカーネル類似度行列の不一致を最小化する。
クリーン損失 ( $L_{clean}$ ): テキストとの互換性を保持するために、学生の埋め込みと凍結された元のCLIP埋め込みとの間のL2距離を罰する。

固定のスカラー重み $\lambda_a$ を使用する代わりに、KALEは、2つの損失の比率に基づいて $\Delta$ ステップごと（例：100ステップごと）に $\lambda_a$ を更新するコントローラを採用している。

コントローラのダイナミクス

コントローラは、バッチのノイズを平滑化するために両方の損失の指数移動平均（EMA）を保持する。そして、重み付けされた整列の寄与とクリーンな寄与の現在の比率 $\rho$ を計算する：
$\rho^{(t)} = \frac{\lambda_a^{(t)} \cdot \hat{\ell}_{align}^{(t)}}{\lambda_c \cdot \hat{\ell}_{clean}^{(t)}}$
重みは、この比率をターゲット $\tau$ （例：0.8）に近づけるように更新される：
$\lambda_a^{(t+1)} = \lambda_a^{(t)} \cdot \sqrt{\frac{\tau}{\rho^{(t)}}}$
平方根による減衰（square-root dampening）は過剰な補正を防ぎ、次の更新が行われる前にオプティマイザが適応できるようにする。これにより、整列信号がクリーンな損失に対して弱まった場合には $\lambda_a$ を増加させ、整列が支配的になり始めた場合には $\lambda_a$ を減少させるというフィードバックループが形成され、両方の項が影響力を持ち続けることが保証される。

最適化レジーム

著者らは、安定性に必要な最適化条件を以下のように特徴付けている：

学習率: コントローラが整列信号を追跡するためには高いピーク学習率が必要であるが、鋭い上限が存在する。学習率が高すぎると、学習の崩壊（制御不能なドリフトとランク崩壊）を引き起こす。
スケジュール: **中程度の非ゼロのフロア（下限値）**を持つコサイン減衰スケジュールが不可欠である。学習率をゼロまで減衰させるスケジュールでは、ステップサイズが小さくなりすぎてコントローラが後半の段階でバランスを維持できなくなる一方、フラットな学習率ではCLIPのドリフトが制御不能に増大する。

主な貢献

ウェブスケールへの拡張: 著者らは、KALEコントローラを導入することで、データセットごとの重みチューニングを必要とせずに、精選されたImageNet-1Kからノイズの多いウェブスケールのCC12Mへと、カーネルベースのCLIP→DINOv2の整列を成功裏に拡張した。
学習ダイナミクスの分析: 彼らはKALEの整列に関する詳細な研究を提供し、ウェブスケールの整列には、高いピーク学習率、減衰するスケジュール（中程度のフロアを持つ）、および平衡化を行うコントローラという、特定の安定性エンベロープが必要であることを示している。
新たな動作点: ウェブスケールのノイズの多いCC12Mでの学習が、ImageNetで学習されたKUEAとは異なるダウンストリームの動作点をもたらすことを示し、画像・テキスト検索能力を維持しながら、ゼロショットおよび線形プロービングの性能を向上させた。

実験結果

実験は、CLIP ViT-L/14を学生、凍結されたDINOv2 ViT-L/14を教師として、CC12Mの330万個のランダムなサブセットに対して行われた。

ゼロショット分類: KALEで整列されたモデルは、標準的な11データセットの平均において、元のCLIPに対して**+2.00%**、ImageNetで学習されたKUEAのベースライン（+1.29%）を上回る改善を示した。
線形プロービング: モデルはSVHNの線形プロービングにおいて、CLIPに対して**+5.73%**の再現可能な改善を実現した（KUEAの+4.19%を上回る）。ただし、CLEVRタスクの結果については、実行ごとの分散が高いことが示された。
検索: 画像・テキスト検索の性能は維持され、KUEAで見られた利得（+1.54% vs +1.63%）と同等の結果となった。
安定性: コントローラは損失を正常に平衡化し、バランスを回復させるために、整列の重みを約4桁（0.5から約10,000〜47,000へ）増加させる必要があった。この値は構成に依存しており、静的に固定することは不可能である。

重要性と主張

本論文の主な貢献は、カーネルベースの整列を、データセットごとの重みチューニングなしにウェブスケールで学習可能にしたことであると主張している。著者らは、ノイズの多いデータにおける損失の不均衡により、固定重みの定式化が失敗することを強調しており、KALEコントローラこそが信号を回復させるメカニズムであるとしている。

著者らは、ドメインの広がりに関する主張については控えめである。例えば、リモートセンシング（EuroSAT）での性能は退歩し、CLEVRの結果は分散に支配されていたことから、CC12Mでのウェブスケール学習がImageNetで学習されたベースラインに対して広範なドメイン改善をもたらさなかったことを明示している。本研究の重要性は、あらゆるドメインにおけるダウンストリームの能力の普遍的な向上ではなく、ノイズの多いデータにおける整列プロセスの実現可能性と安定性にある。

結論として、KALEコントローラは、高ノイズ環境において、小さな大きさの補助的な目的関数（整列）が、支配的な損失（クリーン）に対して影響力を持ち続けることを可能にする。この制御メカニズムは、ビジョン・ランゲージの整列以外にも応用できる可能性がある。