Improved Object-Centric Diffusion Learning with Registers and Contrastive Alignment

本論文は、レジスタースロットによる干渉低減と対照的アライメント損失によるスロットと画像の対応付け強化を通じて、スロットアテンションと事前学習済み拡散モデルを組み合わせたオブジェクト中心学習の性能を大幅に向上させる「CODA」を提案しています。

要約

画像の「部品」を上手に組み立てる新しい AI：CODA の解説

この論文は、AI が複雑な画像を見て、そこにある「個々の物体（車、人、木など）」を正しく理解し、それらをバラバラにしたり、新しい組み合わせで作ったりする技術について書かれています。

これを「CODA（コダ）」という新しい方法が提案されました。

🎨 従来の問題：「混ぜこぜ」になったパズル

まず、これまでの AI（特に「Slot Attention」という技術）には、2 つ大きな悩みがありました。

1. パズルのピースが混ざり合っている（スロットの絡み合い）

   • 例：「赤い車」と「青い空」を別々のブロック（スロット）で理解しようとしていたのに、AI は「赤い車＋青い空」がごちゃ混ぜになった 1 つのブロックとして覚えてしまっていました。
   • 結果：「車だけ」を画像から取り出そうとしても、空の青さまでついてきてしまったり、逆に「空だけ」を出そうとしても車の一部が混ざったりして、きれいに分離できませんでした。

2. 画像とブロックの対応がズレている（弱いアライメント）

   • AI が「これは車だ」と思っているブロックと、実際の画像上の車の位置がズレていたり、1 つの車を 2 つのブロックに分けすぎてしまったりしていました。

💡 CODA の解決策：2 つの魔法の道具

CODA は、この問題を解決するために、2 つのシンプルな工夫を加えました。

1. 「ゴミ箱」のような役職：レジスター・スロット

画像を分析する AI の頭の中には、物体を認識する「賢いスロット」がいくつかあります。しかし、AI は「これは車だ」「これは人だ」と判断する際、余計な情報（背景のノイズや、どの物体にも属さない曖昧な部分）も一緒に引きずり込んでしまいがちです。

CODA は、**「レジスター・スロット」**という新しい役職を追加しました。

• 役割：これは「賢い物体認識」はしません。どちらかというと**「余計な情報を吸い取るゴミ箱」**のようなものです。
• 効果：AI が「これは車だ！」と判断する際、余計な背景ノイズはすべてこの「レジスター・スロット」に捨ててくれます。そのおかげで、「車」を担当するスロットは、車のことだけに集中できるようになり、他の物体との混ざり合い（絡み合い）が防げるのです。

アナロジー：
会議室で「プロジェクト A」の担当者（スロット）が、プロジェクト B の話や雑談（ノイズ）まで聞いて混乱している状態を想像してください。CODA は、その雑談をすべて引き受けてくれる「雑談係（レジスター）」を配置し、担当者が本当にやるべき仕事だけに集中できるようにしました。

2. 「正解と不正解」を教える対照学習

AI が「このブロックは車だ」と思っている時、それが本当に車と合っているかを確認する仕組みです。

• 通常の学習：「この画像とこのブロックは合っていますね」と教えるだけ。
• CODA の学習：「この画像と別のブロック（例えば、猫の画像から取ったブロック）を組み合わせたら、バカバカしい（合わない）よね？」と教えます。
• 効果：AI は「合わない組み合わせ」を避けるように学習することで、「このブロックは、この画像のこの部分にしか存在しない」という強い結びつきを身につけます。

アナロジー：
料理の味見をするとき、「このスープは美味しい（正解）」と教えるだけでなく、「このスープにチョコレートを混ぜたらまずい（不正解）」と教えることで、AI は「スープにはチョコレートを混ぜてはいけない（＝このブロックにはこの画像の要素しか入ってはいけない）」というルールをより強く理解するようになります。

🚀 何が良くなったの？

この 2 つの工夫を組み合わせることで、CODA は以下のような素晴らしい能力を手に入れました。

• きれいな分離：複雑な街の風景写真から、「車だけ」「人だけ」をきれいに切り取れるようになりました。
• 自由な組み合わせ：「車」のブロックと「ビーチ」のブロックを組み合わせれば、**「ビーチに停まっている車」**という、元々写真になかった新しい画像を、AI が自分で作れるようになりました。
• 実世界でも活躍：合成された簡単な図形だけでなく、実際の街の風景（COCO データセットなど）でも、他の AI よりもはるかに高い精度で物体を見つけ出しました。

🎓 まとめ

CODA は、AI が画像を見る際、**「余計なノイズを捨てるゴミ箱（レジスター）」と「正解と不正解を厳しく区別するテスト（対照学習）」**を導入しました。

その結果、AI は画像の中の物体を「ごちゃ混ぜ」ではなく、「きれいに分かれた部品」として理解できるようになり、それらを自由に組み合わせて新しい世界を創造できるようになったのです。これは、画像編集やロボット制御、未来の AI 開発にとって大きな一歩と言えます。

技術概要

論文「IMPROVED OBJECT-CENTRIC DIFFUSION LEARNING WITH REGISTERS AND CONTRASTIVE ALIGNMENT (CODA)」の技術的サマリー

本論文は、ICLR 2026 にて発表された研究であり、CODA (Contrastive Object-centric Diffusion Alignment) と呼ばれる新しいオブジェクト中心学習（OCL: Object-Centric Learning）フレームワークを提案しています。事前学習済み拡散モデルとスロットアテンション（Slot Attention）を組み合わせる既存のアプローチが抱える課題を解決し、より頑健で構成可能なオブジェクト表現の学習を実現しています。

以下に、問題定義、手法、主な貢献、実験結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

オブジェクト中心学習（OCL）は、複雑なシーンを構造化された解釈可能なオブジェクト表現（スロット）に分解することを目的としており、視覚的推論や因果推論、ロボティクスなどに応用可能です。近年、事前学習済み拡散モデル（例：Stable Diffusion）をデコーダとして用いるアプローチが注目されていますが、以下の 2 つの重大な課題が存在します。

1. スロットの絡み合い（Slot Entanglement）:
   • 単一のスロットが複数のオブジェクトやその断片の特徴を同時にエンコードしてしまい、忠実な単一概念の生成ができなくなる現象です。
   • これにより、セグメンテーションの質が低下し、新規なシーンやオブジェクト構成への構成可能な生成（Compositional Generation）が困難になります。
2. 弱いアライメント（Weak Alignment）:
   • 学習されたスロットが画像内の特定の領域と一貫して対応しない問題です。
   • 過剰セグメンテーション（1 つのオブジェクトが複数のスロットに分割される）や、過少セグメンテーション（複数のオブジェクトが 1 つのスロットに統合される）が発生し、特に実世界データにおいて顕著です。

既存の手法（Stable-LSD, SlotAdapt など）は、これらの課題を完全に解決できず、スロットの独立性と画像内容との対応関係が不十分でした。

---

2. 提案手法：CODA

CODA は、スロットアテンション（SA）と事前学習済み拡散モデル（Stable Diffusion v1.5）を基盤とし、以下の 3 つの主要なコンポーネントを導入して上記の課題を解決します。

(1) レジスタースロット（Register Slots）の導入

• 目的: スロット間の干渉を減らし、残差アテンションを吸収する。
• 仕組み: 入力画像に依存しない「レジスタースロット」をスロットシーケンスに追加します。これらはセマンティックな情報を持たず、CLIP のテキストエンコーダにパディングトークンのみを入力することで生成される固定の埋め込みです。
• 効果: クロスアテンションにおける Softmax 正規化により、アテンション重みの合計が 1 になる制約があります。レジスタースロットは、どのセマンティックスロットとも強く一致しないクエリに対する「アテンションの溜め（Sink）」として機能し、背景情報やノイズを吸収します。これにより、セマンティックスロットは意味のあるオブジェクト概念に集中でき、スロットの絡み合いが軽減されます。

(2) クロスアテンション層の微調整（Finetuning）

• 目的: 事前学習済み拡散モデルが持つ「テキスト条件付けバイアス」を軽減する。
• 仕組み: 事前学習済みモデルはテキストと画像のペアで学習されているため、スロット表現よりもテキスト意味を優先する傾向があります。CODA は、クロスアテンション層におけるKey, Value, Output 投影行列のみを微調整し、スロットと視覚コンテンツの対応関係を強化します。
• 効果: 追加のレイヤーやアーキテクチャ変更なしに、テキストバイアスを低減し、スロットベースの生成の忠実度を向上させます。

(3) 対照的アライメント目的関数（Contrastive Alignment Objective）

• 目的: スロットと画像内容の明示的な対応を強制し、スロットの表現品質を向上させる。
• 仕組み: 通常の拡散モデルのノイズ予測損失（Denoising Loss）に加え、**対照的損失（Contrastive Loss）**を導入します。
  • 正例: 元の画像に対応する正しいスロットセット。
  • 負例（Hard Negatives）: 異なる画像からスロットを部分的に差し替えて作成した「ミスマッチしたスロットセット」。
  • 正例での損失を最小化し、負例での損失を最大化（負の損失項を最小化）することで、スロットが画像内の特定の概念を捉えるように学習を誘導します。
• 理論的根拠: この目的関数は、入力とスロット間の相互情報量（Mutual Information: MI）を最大化するための実用的な代理関数（Surrogate）として機能することが示されています。

---

3. 主な貢献

1. レジスター拡張スロット拡散: 入力に依存しないレジスタースロットを用いて、スロット間の干渉を抑制し、絡み合いを解消する新しいアーキテクチャを提案。
2. テキストバイアスの軽減: 軽量な微調整戦略により、事前学習モデルのテキストバイアスを除去し、視覚コンテンツとの整合性を高める。
3. 対照的アライメント: スロットと画像の対応を明示的に学習させる対照的損失を導入し、相互情報量の最大化を間接的に達成。
4. 包括的な評価: 合成データ（MOVi-C/E）および実世界データ（VOC, COCO）において、既存の最善手法を上回る性能を実証。

---

4. 実験結果

CODA は、合成データおよび実世界データにおける複数のタスクで既存の手法（SLATE, LSD, SlotAdapt など）を大幅に上回る結果を示しました。

• オブジェクト発見（Object Discovery）:
  • COCO データセット: フォアグラウンド調整ランダム指標（FG-ARI）で +6.14% 改善。
  • VOC データセット: インスタンスレベルおよびセマンティックレベルの両方で、mBO（Best Overlap）と mIoU（Intersection over Union）において顕著な改善（例：mIoUc で +7.00% 改善）。
  • 過剰・過少セグメンテーションが減少し、より正確なオブジェクト境界が得られました。
• 属性予測（Property Prediction）:
  • 学習されたスロットを用いた物体の属性（カテゴリ、位置など）の予測タスクにおいて、ベースラインを大きく上回る精度を達成しました。
• 構成可能な画像生成（Compositional Generation）:
  • 単一スロット生成: 個々のスロットから生成された画像が、対象概念を忠実に反映しており、背景ノイズが少なくなっています。
  • 構成編集: スロットの削除、交換、追加による画像編集が高精度に行えます。
  • 定量的指標: COCO における構成生成タスクで、FID（Fréchet Inception Distance）と KID（Kernel Inception Distance）の両方で最良の結果を記録しました。

---

5. 意義と結論

CODA は、追加の教師信号や大規模なアーキテクチャ変更を必要とせず、既存の拡散モデルを効率的に拡張することで、OCL の課題を解決する有効なフレームワークです。

• スロットの独立性と整合性: レジスタースロットと対照的学習の組み合わせにより、スロットが独立したオブジェクト概念を捉え、画像領域と強く対応するようになります。
• 実用性: 複雑な実世界シーンにおけるロバストなオブジェクト学習と、高品質な構成可能な生成を実現し、画像編集や視覚的推論への応用可能性を大きく広げました。
• 効率性: 微調整パラメータが少なく、レジスタースロットの追加による計算コストも無視できるレベルであるため、スケーラビリティに優れています。

本論文は、事前学習済み拡散モデルと対照的学習を組み合わせることで、オブジェクト中心表現学習の新たな基準を確立したと言えます。コードと事前学習済みモデルは公開されています。