$\boldsymbolλ$-Orthogonality Regularization for Compatible Representation Learning

あなたは、巨大でハイテクな図書館を構築していると想像してください。そこでは、すべての本は表紙ではなく、数字で構成されたユニークで目に見えない「指紋」によって表現されています。これが現代のコンピュータビジョンの仕組みです。検索エンジンに猫の画像を見せる代わりに、コンピュータはその画像を数字の長いリスト（ベクトル）に変換し、その本質を捉えます。あなたが「猫」と検索すると、システムはあなたのクエリの数字リストを、保存されている何百万ものリストと比較して、最も近い一致を見つけ出します。

問題は、図書館に新しい、より賢い司書がやってきたときに発生します。この新しい司書は、より多くのデータで訓練され、より優れた脳（より強力なニューラルネットワーク）を使用しています。当然、新しい指紋はより正確です。しかし、ここに落とし穴があります。新しい司書は、わずかに異なる「数学的な方言」を話すのです。特定の猫に対して古い司書が作成した指紋は、新しい司書のシステムにとっては全く異なるものに見えるかもしれません。たとえ両者が同じ動物を記述しているとしてもです。もし、古い図書館の指紋と新しい司書の検索クエリを混ぜ合わせようとすると、システムは混乱し、検索結果はひどいものになります。これを解決するには、通常、図書館にあるすべての本の指紋を作り直さなければなりません。しかし、これは非常にコストがかかり、時間がかかるため、しばしば不可能です。この論文は、古いカタログ全体を書き換えることなく、新しい司書に古い図書館の指紋を理解させるという課題に取り組んでいます。これにより、新しい、よりスマートなシステムが、古いシステムとシームレスに会話できるようにします。

---

問題点：二人の司書、二つの言語

画像検索の世界では、長年画像のギャラリーをインデックス化してきた「古い」モデルが存在することがよくあります。その後、よりスマートで強力な「新しい」モデルへとアップグレードしたいと考えます。問題は、両方のモデルが同じ犬の写真を見ても、それを二つの異なる数字のセットに変換してしまうことです。彼らは、異なる国で育った二人の人物のようなものです。二人とも「犬」が何かを知っていますが、異なる言葉や文章構造を使ってそれを説明します。

もし、新しいモデルを使って古い図書館を検索しようとすれば、それはフランス語を話す人に、日本語だけで書かれた図書目録の中から本を探してもらうようなものです。検索は失敗します。通常の解決策は「バックフィリング（後方補充）」です。つまり、図書館内のすべての画像を取り出し、新しいモデルに通して新しい指紋を取得し、古いものと置き換えることです。しかし、もしあなたの図書館に何百万もの画像がある場合、これは膨大な時間とエネルギーを要する計算上の悪夢となります。

論文の解決策：「λ-直交」翻訳機

著者らは、すべてを再指紋化することなく、この溝を埋める巧妙な方法を提案しています。彼らは、普遍的な翻訳機のような役割を果たす手法を導入しますが、そこには非常に具体的な、遊び心のあるひねりが加えられています。

古いモデルの指紋を、硬直した、完璧に整理されたダンスの隊列だと考えてください。新しいモデルの指紋は、より柔軟でモダンなダンススタイルです。

• 従来の方法（アフィン変換）： 以前のいくつかの手法は、新しいダンスをストレッチしたり押しつぶしたりすることで、古いダンスと全く同じに見せようとしました。これは見た目を似せることには成功しましたが、新しいダンサーの自然な動きを歪ませ、新しいモデル独自の強みを台無しにしてしまいました。
• 厳格な方法（直交変換）： 他の手法は、ダンサーの位置を変えずに、新しいダンスを古いものに合わせて回転させようとしました。これは新しいモデルの完全性を完璧に維持しましたが、あまりにも硬直的でした。もし新しいダンスのリズムが少し違ったり、音楽が変わったりした場合（つまり、データ分布がシフトした場合）、適応することができませんでした。

著者らの革新は、**「λ-直交性」**という制約です。これは、ダンスのインストラクターが、「隊列はおおよそ同じ（直交）に保たなければならないが、新しい音楽に合わせるために、肘や膝を少しだけ動かす（緩和）ことは許される」と言うようなものです。

彼らは、**λ（ラムダ）**と呼ばれる数学的な「スライダー」を使用します。

• λをゼロに設定すると、ダンサーは完全に硬直した状態（厳格な直交性）を保たなければなりません。
• λを無限大に設定すると、彼らは好きなように踊ることができます（制約なし）。
• λを特定のスイートスポット（彼らの実験における12のような値）に調整することで、システムはバランスを見つけ出します。それは、新しいモデルの指紋を古い図書館の構造とおおむね一致させつつ（これにより検索が機能する）、新しいモデルが自身の学習したニュアンスに適応できるだけの十分な柔軟性を与えます。

実践における仕組み

論文では、二段階の翻訳プロセスを概説しています。

1. 逆方向の翻訳： 彼らは、新しいモデルの指紋を受け取り、それを古い図書館の空間に合うように回転させる、小さく単純なアダプターを訓練します。これが「λ-直交」の部分です。これにより、もしあなたが新しいモデルに質問をした場合、それが古い図書館によって理解されることが保証されます。
2. 順方向の翻訳： 彼らはまた、古い図書館の指紋を受け取り、それを新しいモデルの言語に翻訳するアダプターも訓練します。これにより、図書館は時間をかけてカタログを徐々に更新できるようになります。

これらの翻訳が優れたものであることを確実にするために、彼らは「教師あり対照損失（supervised contrastive loss）」を使用します。これは、写真のグループを指差して、「これらはすべて猫です。それらの指紋が互いに近くにあるようにしてください。これらは犬です。それらを遠くにしてください」と言う教師のようなものです。これにより、システムは、言語を切り替えているときでも、似たものが互いにクラスター化されるように学習することができます。

結果：よりスマートな検索、より少ない作業

研究者たちは、ImageNet（1,000のカテゴリの画像を含む膨大なコレクション）や、CUB（鳥）やFlowersのようなより小さな専門的なデータセットを含む、さまざまなデータセットでテストを行いました。

• 互換性： 彼らの手法は、新しいモデルを古いものと互換性を持たせることに成功しました。新しいモデルが古い図書館を検索するテストにおいて、精度は、図書館全体を再指紋化した場合とほぼ同等でした。
• 保存： モデルの性能を損なう可能性のある硬直的な手法とは異なり、彼らの「緩和された」アプローチにより、新しいモデルは高い精度を維持することができました。実際、いくつかのタスクでは、翻訳が適切な特徴に集中するのを助けたため、新しいモデルは単独で動作したときよりも優れたパフォーマンスを発揮しました。
• 効率性： 彼らはまた、図書館を段階的に更新するスマートな方法も提案しました。すべての画像を一度に100%再指紋化する代わりに、最も「混乱しやすい」画像を最初に行列更新していくことができます。図書館の50%未満を更新した時点で、システムはすでに完全に更新されたものと同等のパフォーマンスを発揮していることを示しました。

彼らがやらなかったこと（とその重要性）

この論文は、この手法がどのようなものではないかについても注意深く述べています。これは、新しいモデルが実際に古いモデルよりも劣っている場合に機能する魔法の杖ではありません。もし新しいモデルが悪質なデータで訓練されていたり、単に退歩していたりする場合、この翻訳は解決策にはなりません。この手法は、新しいモデルが、単に古い言語を話すための助けを必要としている「改善されたもの」であることを前提としています。

彼らはまた、「安定性（古い構造を維持する）」と「可塑性（新しいものに適応する）」のどちらかを選ばなければならないという考えに対し、明確に反論しています。以前の手法は、多くの場合、どちらか一方を選択することを強いていました。つまり、硬直して安全であるか、あるいは柔軟でリスクが高いかのどちらかです。この論文は、適切な量の「ゆとり（λによって制御される）」があれば、その両方を手に入れられることを示唆しています。

結論

この論文は、よりスマートなAIを手に入れたときに、古いデジタルライブラリをすべて捨て去る必要はないということを示唆しています。代わりに、古いシステムの構造を尊重しながら、新しいシステムが輝くための十分な自由を与える、柔軟な翻訳機を構築することができます。「λ-直交」制約を使用することで、著者らは、古いデータの幾何学的な形状を維持したまま、新しいデータが適応できるようにする方法を見出しました。その結果、後方互換性と将来への展望を兼ね備えたシステムを実現しました。これは、AIモデルが進化しアップグレードする際に、毎回ゼロからやり直すことを強いることなく、進化していける未来への一歩です。