🤖 machine learning

RePercENT: Scaling Disentangled Representation Learning Beyond Two Modalities

RePercENTは、既存手法の拡張性の限界を克服し、共同事前学習を必要とせずに事前抽出された埋め込みに対して動作することで、2つを超えるモダリティ間でのもつれのない表現学習を可能にする、自己教師ありのプラグアンドプレイ型フレームワークである。

原著者： Vasiliki Rizou, Pascal Frossard, Dorina Thanou

公開日 2026-06-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Vasiliki Rizou, Pascal Frossard, Dorina Thanou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、3人の異なる友人から語られる複雑な物語を理解しようとしているところだと想像してください。一人は絵だけで話し、一人は音楽で、そしてもう一人はテキストで話します。長い間、AI研究者たちは、これら3人の物語を一つの混ざり合った要約に強制することで、彼らを「一致」させようとしてきました。これは、彼らが全員全く同じことを言っている場合にはうまく機能しますが、もし彼らが他の誰も知らない独自の秘密を持っている場合、失敗してしまいます。

この論文は、この問題を解決するための新しい手法であるRePercENT（Reduced-complexity Perceiver-based disENTanglement）を紹介しています。以下に、簡単な比喩を用いてその仕組みを説明します。

問題点：「スムージー」対「サラダ」

現在のほとんどのマルチモーダルAIモデルは、マルチモーダルデータをスムージーのように扱います。画像、テキスト、音声を混ぜ合わせ、どこで一つの材料が終わり、次が始まるのか分からない状態にします。これは一般的な理解には適していますが、テキストが伝えていない音楽の要素が具体的に何を貢献しているのかを知りたい場合、それを分離することはできません。

さらに、既存の手法は二人組のダンスのようなものです。二人の友人（例：画像とテキスト）の間のステップを理解することには長けていますが、三人目の友人（例：分子データ）を加えると、ダンスフロアが混雑しすぎてしまい、数学的な解決が不可能になります。

解決策：「賢い仕分け帽子」

RePercENTは、多くの友人を一度に扱いながらも、圧倒されることのない賢い仕分け帽子のように機能します。すべてをスムージーのように混ぜ合わせるのではなく、それぞれの材料が自らのアイデンティティを保ちつつ、一つの料理の一部となっているサラダを作り出します。

その魔法の仕組みは以下の通りです：

「プラグアンドプレイ」のキッチン:
すでに下ごしらえされた野菜（これらはCLIPのような強力なAIモデルによる「エンベディング」です）がすでにあると想像してください。RePercENTは、野菜を自分で刻んだり、調理法を再学習したりする必要はありません。ただ、これらの準備された材料を受け取り、仕分けるだけです。これにより、あらゆる種類のデータ（画像、テキスト、医療スキャンなど）に対して、ゼロから学習し直すことなく機能します。
「ペアワイズ（対）」戦略（秘伝のソース）:
最大の障害は、3人の友人がいる場合、彼らの相互作用のパターンが非常に多くなることでした（A+B、B+C、A+C、そしてA+B+C）。これらすべてを一度にマッピングしようとするのは、ヘッドホンの絡まった巨大な結び目を解こうとするようなものです。
RePercENTは、これを**ペア（対）**ごとに見ることで解決します。「友人Aは友人Bと何を共有しているか？」「友人Aは自分だけの何を保持しているか？」と個別に問いかけます。
- 比喩： オーケストラ全体を一度に整理しようとするのではなく、指揮者がバイオリン部門、金管楽器部門、木管楽器部門の順に聴き、それぞれが何を共に奏で、何を単独で奏でているのかを把握していくようなものです。これにより、いくら楽器が増えても、作業をシンプルかつスケーラブルに保つことができます。
「競争」ゲーム:
システム内部には、小さな「スロット」（空のバケツのようなもの）が存在します。システムは**グループ・スロット・アテンション（Group Slot Attention）**と呼ばれる特別なゲームを使用します。
- 「共有された秘密」と「自分だけの秘密」というラベルが付いた2つのバケツを想像してください。
- 情報が入ってくると、これら2つのバケツがそれを捕まえようと競い合います。
- もしその情報が両方の友人が知っていることなら、「共有」バケツが勝ちます。もしそれが一方の友人だけが知っていることなら、「自分だけの秘密」バケツが勝ちます。
- この競争により、AIが怠けてすべての情報を一つのバケツに放り込むことができなくなり、精度を高めることができます。

なぜこれが重要なのか（論文による説明）

スケーラビリティ： システムがクラッシュしたり、実行コストが膨大になったりすることなく、より多くの友人（モダリティ）を追加できます。システムは線形に成長します（友人を一人追加するごとに、予測可能な量の作業が増えるだけです）。これに対し、従来の手法は指数関数的に増大していました（友人を一人増やすだけで、数学的な計算量が爆発的に増加します）。
欠損データへの対応： もしパーティーに一人の友人が遅れてきても（データの欠落）、システムは壊れません。ペアごとに情報を分類するように学習しているため、そこにいる友人たちの「共有された部分」と「固有の部分」を依然として特定することができます。
実社会での活用： 著者らは以下のケースでテストを行いました：
- 比喩的表現： 慣用句やメタファー（例：「猫と犬が降っている（土砂降り）」）の理解。共有された意味と、固有の視覚的詳細を分離することで、標準的なモデルよりも、これらのトリッキーなフレーズをより良く理解できることが分かりました。
- 腫瘍学（オンコロジー）： 癌データ（組織のスライド画像、分子データ、患者記録）に対して使用しました。分子データに固有の情報と、画像と共有されている情報を分離することで、生データが混乱を招くような難しい症例においても、より正確に癌の種類を予測できることが分かりました。

結論

RePercENTは、複数の情報源を混ぜこぜにして泥沼のような状態にすることなく、AIに聞き分けさせるための新しい方法です。それは、ペアごとの巧妙な仕分けシステムを用いており、効率的で、データが欠落していても堅牢であり、共有されているものと固有のものの間の最適な分離を見つけ出すことが数学的に証明されています。それは、情報の絡まった結び目を、整然と整理された、理解可能な一連の明確な断片へと変えるのです。

技術要約: RePercENT

問題提起

マルチモーダル機械学習は、多様なソース（例：画像、テキスト、音声）からの情報を統合し、推論することを目指している。現在の最先端のアプローチは、クロスモーダルなアライメント（整合）と融合に焦点を当てているが、これらの手法はしばしば、共有情報とモダリティ固有の情報が混ざり合った、もつれた表現（entangled representations）を生じさせてしまう。これは、解釈可能性を制限し、どのモダリティが固有の情報を提供し、どれが冗長な情報を提供しているのかを特定する能力を阻害する。

既存の解絡表現学習（disentangled representation learning）における決定的なボトルネックは、スケーラビリティである。先行研究の多くは、2つのモダリティという領域に限定されている。モダリティの数（ $M$ ）が増加すると、共有および固有の因子の数は指数関数的に増加（ $O(2^M)$ ）し、それらをモデル化することが困難になる。さらに、2つ以上のモダリティ間のすべてのクロスモーダルな相互作用を明示的に特徴付ける、扱いやすい最適化目的関数は限られている。現実世界のデータは、冗長性を最小限に抑えることと、関連する情報を保持することの間のトレードオフを提示しており、最小必要情報（Minimal Necessary Information: MNI）のみを捉えることが、表現の崩壊（representational collapse）を避けるために極めて重要である。

手法: RePercENT

著者らは、2つ以上のモダリティへと解絡表現学習をスケールさせるために設計された、自己教師あり学習フレームワークであるRePercENT（Reduced-complexity Perceiver-based disENTanglement）を提案している。

コアアーキテクチャ

RePercENTは、基盤モデル（Foundation Models: FMs）から事前に抽出された埋め込み（embeddings）上で直接動作するため、大規模な共同事前学習の必要性を排除し、モダリティに依存しない（modality-agnostic）アプローチを実現している。

ペアワイズ分解（Pairwise Decomposition）: すべての $2^M$ $2^{M}$ 個の原子的な因子をモデル化する代わりに、RePercENTはペアワイズの相互作用をモデル化する。すべてのモダリティのペア $(i, j)$ $(i, j)$ に対して、以下を導出する：
- 固有成分 ( $u_{ij}$ ): $j$ に対する $i$ に固有の情報。
- 共有成分 ( $s_{ij}$ ): $i$ と $j$ の間で共有される情報。
  これにより、コンポーネントの複雑さは $O(2^M)$ から $O(M^2)$ へと削減されるが、すべてのクロスモーダルな相互作用は保持される。
解絡モジュール ( $D_i$ ): 各モダリティの複合表現 $Z_i$ は、専用のモジュールによって処理される。このモジュールは、 $N = 2(M-1)$ 個のスロットを持つ学習可能な潜在配列 $H_i$ を利用する。
ルーティングメカニズム:
- セマンティック・エンコーディング: 各潜在スロットは、学習可能なペア・エンコーディング（モダリティのペアを識別）およびタイプ・エンコーディング（「固有」または「共有」を識別）によって拡張される。
- グループ・スロット・アテンション（Group Slot Attention）: 特定のペア $(u_{ij}, s_{ij})$ に対応するスロットが、同じ入力埋め込みに対して競合する構造的なルーティングメカニズム。これにより、ペア内での専門化を強制しつつ、異なるペア間の独立性を維持する。
スケーラビリティ: 本フレーム構図は、モダリティごとに1つのエンコーダーのみを必要とし、構造的複雑さにおいて $O(M)$ の線形スケーリングを実現する。これは、各表現に対して個別のエンコーダーを使用する手法の $O(M^2)$ の複雑さと比較して優れている。

最適化目的関数

本フレームワークは、逐次的な分解ではなく、共有成分と固有成分を同時に導出するための結合最適化目的関数を採用している。各ペア $(i, j)$ について、以下を最大化する：
$J(\theta_{ij}) = \alpha(L_{si} + L_{sj}) + L_{ui} + L_{uj}$
ここで：

共有損失 ( $L_{si}, L_{sj}$ ): 共有表現がクロスモーダルな関連性（ $I(s_{ij}; X_j)$ ）を捉える一方で、ソース・モダリティのみによって説明可能な情報（ $I(s_{ij}; X_i | X_j)$ ）を最小化するように促す。
固有損失 ( $L_{ui}, L_{uj}$ ): ソース・モダリティの情報（ $I(u_{ij}, s_{ji}; X_i)$ ）を保持する一方で、モダリティ間での固有成分と共有成分の重複（ $I(u_{ij}; s_{ji})$ ）を抑制する。

情報理論的な項は、相互情報量のためのInfoNCE、条件付き相互情報量のためのKLダイバージェンス、および冗長性のためのクロス共分散ペナルティといった、扱いやすい代理損失を用いて近似される。

理論的保証

論文では、以下の形式的な最適性保証を提供している：

厳密な最適性（Exact Optimality）: 最小必要情報（MNI）が達成可能であり、かつ重み付けパラメータ $\alpha > \lambda$ であるという条件下において、結合目的関数は理想的なステップバイステップの最適化関数と同じグローバルな最適解を持つ。
近最適性（Near-Optimality）: MNIが達成不可能な場合（現実世界の一般的なシナリオ）、結合目的関数は近最適であることが証明されており、その解は情報ギャップに関連する扱いやすい定数によって抑えられる。

実験結果

著者らは、合成データ、比喩的言語理解（IRFL）、およびマルチモーダル腫瘍学（TCGA）の3つのドメインでRePercENTを評価した。

スケーラビリティとコンポーネント回復（合成データ）:
- RePercENTは、モダリティが増加しても（ $M=2$ から $5$）、パラメータ数において線形スケーリングを示した。これに対し、ベースライン（MLP, GRU, gMLP）は指数関数的な増加を必要とするか、コンポーネントの崩壊に陥った。
- RePercENTは、すべてのモダリティ数において競争力のある解絡性能（高い成分内予測、低い成分間リーク）を維持したが、GRUやMLPのようなベースラインは、 $M$ が増加するにつれて固有成分を回復できなくなった。
- gMLPと比較して、大幅に少ないパラメータ（ $M=3$ のとき約47%削減）とFLOPsで、同等の性能を達成した。
比喩的言語（IRFL）:
- 比喩的なテキスト（慣用句、メタファー、直喩）を画像にマッチングさせるタスクにおいて、RePercENTはファインチューニングされたCLIPのバリアントや他の解絡ベースラインを上回った。
- 本手法は、共有成分を分離することが有益となる、抽象的で文脈依存的なタスク（慣用句やメタファー）の処理において特に強みを示した。
- アブレーション研究により、セマンティック・エンコーディングとグループ・スロット・アテンションの両方が性能に不可欠であることが確認された。
マルチモーダル腫瘍学（TCGA）:
- 臨床、病理、WSI（全スライド画像）、および分子データの埋め込みを使用して、RePercENTはほとんどの癌種において、元のHONeYBEE埋め込みよりも高い癌種分類精度を向上させた。
- 特に、生の分子埋め込みが情報を持たない癌種（KIRC, LGGなど）において、分解された共有表現は重要な予測構造を回復した。
- 欠損モダリティへの堅牢性: WSIデータを段階的にドロップした実験において、RePercENTは高いMacro-F1スコアを維持したが、融合ベースライン（ドロップアウト訓練を含むもの）は急激に低下した。これは、利用可能なモダリティのみからコンポーネントを導出するという推論構造によるものである。

重要性と主張

本論文は、RePercENTが情報理論的基礎と実用的でスケーラブルな実装を橋渡しする原理的なフレームワークを提供すると主張している。その主な貢献は以下の通りである：

スケーラビリティ: マルチモーダルな解絡における指数関数的なスケーリングのボトルネックを克服し、線形な複雑さで2つ以上のモダリティからの固有および共有因子の抽出を可能にした。
プラグアンドプレイ設計: 事前抽出された埋め込み上で動作するため、モダリティのタイプやバックボーン・アーキテクチャに依存せず、既存のパイプラインへの容易な統合が可能である。
理論的根拠: 結合最適化アプローチに対して、厳密な最適性と近最適性の両方の形式的な保証を提供しており、実証的な成功とともに理論的な完全性を確保している。
堅牢性: 本アーキテクチャは、複雑な補完処理なしに欠損モダリティを本質的に扱うことができ、データの完全性が保証されない現実世界の臨床および科学的設定に適している。

著者らは、RePercENTが単なるアライメントを超えて、異なるモダリティがどのように相互作用するかについての粒度の高い理解を可能にし、より信頼性が高く、解釈可能で、メカニズムに基づいたマルチモーダル表現への道を開くものであると結論付けている。