DIFFCZSL: Compositional Zero-Shot Learning Regularized by Diffusion Representations

コンピュータが赤いリンゴと緑のリンゴの写真を見て、「赤」と「緑」の意味を学習し、たとえ「赤」の例しか学習していなくても、見たことがない「緑のリンゴ」を即座に認識できる世界を想像してみてください。これは、単純な概念がいかにして新しい複雑なアイデアを形成するかを理解させる、人工知能の特定の分野である「構成的ゼロショット学習（compositional zero-shot learning）」という課題です。何十年もの間、研究者たちはコンピュータにこのスキルを教えようと、何千もの例を見せてきましたが、機械はこれらのアイデアを、練習していない方法で組み合わせるよう求められると、しばしば苦戦してきました。例えば、物体としての「バナナ」や状態としての「熟した」は認識できても、「熟したバナナ」が単なる「熟した」何かや一般的な「バナナ」とは異なる、特定の視覚的な現実であることを理解できないことがあります。核心的な困難は、機械に対して、パーツそのものだけでなく、パーツ同士の関係性を理解させることにあります。

香港科技大学の研究チームは、より多くの例を教えるのではなく、異なる種類の知能を借りることで、これらの機械にこのスキルを習得させる新しい方法を見出しました。彼らは、標準的なAIモデルが画像の違いを識別することには非常に優れている一方で、概念がどのように混ざり合うかを理解することには時として不器用であることを発見しました。これを解決するために、チームは学習プロセスの中に「生成的な」助っ人を導入しました。この助っ人を、単に画像を識別するためではなく、テキストによる記述から画像を生成するために元々構築されたモデルだと考えてみてください。この画像生成モデルの内部構造をAIに見せながら学習させることで、研究者たちは、属性と物体がどのように適合するかについてのより深い理解へと学習プロセスを導くことができました。

天航宇（Hangyu Tian）氏らを中心とする研究チームは、「DIFFCZSL」と呼ばれるシステムを構築しました。彼らのアプローチは、画像と単語を一致させることに非常に長けた、CLIPと呼ばれる強力な既存のAIモデルから始まります。しかし、チームはCLIPが時として「熟したバナナ」を、単に「熟した」という言葉の近くにあるバナナとして扱ってしまい、熟成が果実の外観を変化させるという統一された概念として捉えられないことがあると気づきました。これを修正するために、彼らは学習フェーズ中に第2のステップを追加しました。テキストによる記述から画像を生成できるタイプの、事前学習済みの画像生成モデルを取り上げ、そのモデルにメインのAIが研究しているのと同じ画像を見せるようにしたのです。この生成モデルには、世界の見方に独特な特徴があります。なぜなら、テキストに基づいてゼロから画像を再構成することを学習しなければならないため、バナナの皮の質感やリンゴの色といった特定の詳細が、物体自体とどのように相互作用しているかに細心の注意を払うからです。

チームは、メインのAIをこの生成モデルに置き換えたわけではありません。代わりに、生成モデルを「教師」として利用しました。メインのAIが学習しようとする際、生成モデルは画像の構造に関する追加のヒントを提供しました。それは実質的に、メインのAIに対して「見て、バナナを見たとき、『熟した』という概念は単なる別個のラベルではなく、バナナの視覚的な形状や色を変化させるものなのです」とささやくようなものでした。研究者たちは、この生成モデルから抽出された内部的なヒントを取り出し、それをメインのAIの理解と整合させました。このプロセスは、コンピュータが学習している間のみ行われました。学習が終わると、生成モデルは取り除かれ、メインのAIには元のスピードと構造が残されましたが、今や新しい組み合わせを認識するより鋭い能力を備えていました。

この実験の結果は、靴、果物、日常の物体といった3つの異なる画像セットにわたって測定されました。あらゆるケースにおいて、この追加のガイダンスを受けたAIモデルは、受けなかったモデルよりも優れた性能を示しました。UT-Zapposと呼ばれる靴のデータセットでは、チームは精度の大幅な向上を確認しました。つまり、モデルが見慣れない組み合わせをより頻繁に正しく識別できるようになったのです。例えば、「スライスされたリンゴ」や「熟したバナナ」を新しい文脈で特定しようとしたとき、ガイドを受けたモデルは混乱する可能性がはるかに低くなりました。この改善は、テストが既知のカテゴリーに限定されている場合でも、膨大な数の可能な組み合わせに開かれている場合でも、一貫していました。研究者たちは、モデルが、これまで見てきたものに関する知識と、見たことがないものを推測する能力とのバランスをより良く取れるようになったことを見出しました。これは、新しい状況が絶えず発生する現実世界のアプリケーションにおいて極めて重要なスキルです。

最も驚くべき発見の一つは、この改善がコンピュータの速度を低下させたり、負荷を重くしたりすることなく実現されたことです。生成モデルは学習フェーズでのみガイドとして使用され、その後破棄されたため、最終的なシステムは元のモデルと同じ速さで動作しました。チームは、特定の生成モデルの種類が重要であるかどうかについてもテストを行い、より新しい、より高度なバージョンのほうが、古いものよりも優れたガイダンスを提供することを発見しました。彼らはさらに、自分たちの手法を他の強力なAIモデルと比較し、生成モデルの持つ、概念がどのように混ざり合うかを理解する独自の能力こそが鍵であり、単にそれが大規模な事前学習済みシステムであるという事実ではないことを明らかにしました。この研究は、テキストから画像を生成する方法を学ぶ生成モデルのやり方が、機械にアイデアを組み合わせる方法を教えるのに最適な、世界の隠れた構造を捉えていることを示唆しています。

この研究は、人工知能への有望な道筋を照らしています。単一の、あらゆることを完璧に行う巨大なモデルを構築しようとするのではなく、異なる種類のモデルの強みを組み合わせることで、より良い結果が得られることを研究者たちは示しました。画像を生成するモデルが、画像を認識するモデルに教えることで、彼らはコンピュータが世界を理解する方法における溝を埋めました。この知見は、AIの未来が、生成モデルと識別モデルが協力し合い、より正確で、かつ複雑に構成された現実の本質を深く理解するシステムを作り上げるという、こうしたコラボレーションにあることを示唆しています。このアプローチは、日常的なタスクに余計な負担をかけることなく、物事がどのように組み合わさっているかについて機械をより賢くするための、シンプルで効果的な方法を提供しています。