🤖 AI

Relational Retrieval: Leveraging Known-Novel Interactions for Generalized Category Discovery

本論文は、セマンティックな整合性と不変的な関係パターンの一致を通じてラベル付きデータとラベルなしデータの間の双方向知識転移を活用し、最先端の性能達成を目指す一般化カテゴリ発見のための新たなフレームワークである関係パターン整合性（RPC）を提案する。

原著者： Yulin Xu, Chunqi Guo, Yuanzhen Shuai, Jianyuan Ni

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yulin Xu, Chunqi Guo, Yuanzhen Shuai, Jianyuan Ni

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

新しい生徒（コンピュータ）に、さまざまな種類の動物を識別する方法を教えることを想像してください。その生徒に見せるために、2 つのグループの写真があります。

「既知」グループ: すべての動物が明確にラベル付けされた写真アルバム（例：「これは猫です」「これは犬です」）。
「未知」グループ: ラベルのない写真の巨大な山。これらの中には、すでに目にしたことがある猫や犬も含まれていますが、他にも（カモノハシやセンザンコウのように）これまで出会ったことのない動物も含まれています。

問題点:
これまでのほとんどの手法は、これら 2 つのグループを別々の部屋にいるかのように扱ってきました。コンピュータはラベル付きの写真で猫や犬について学び、その後、ラベルなしの山の中に何が含まれているかを、新しい動物を特定しようとして独力で推測しようとしました。しかし、この論文は、これは時間の無駄だと主張しています。まるで、生徒のすぐ隣に教師がいるのに、彼ら同士を会話させないようなものです。生徒は、ラベルなしの山にある「既知」の動物を見る際に教師の助けを逃し、教師は生徒の既存の知識を使って「新しい」動物を説明する機会を失います。

解決策：「関係性検索（RPC）」
著者たちは、**関係性パターン整合性（RPC）**と呼ばれる新しい手法を提案しています。これは、ラベル付きの写真とラベルなしの写真の間で双方向の対話を設定するようなものです。

以下に、2 つの簡単な比喩を用いてその仕組みを説明します。

1. 「影絵」のトリック（既知を既知のまま保つ）

目的: ラベルなしの山の中に猫が現れたとき、コンピュータが「猫」の姿を忘れないようにすることです。

比喩: ラベル付きの写真は、猫の影を正確に作れる「師匠の影絵師」であり、ラベルなしの写真は「見習い」だと想像してください。
見習いにただ推測させるのではなく、この手法は特別な「融合」技術を使用します。師匠の影絵師（ラベル付きの猫）の影を取り出し、それを優しく見習いの影（ラベルなしの猫）の影と混ぜ合わせます。

仕組み: コンピュータは、ラベルなしの写真が「既知」の動物である可能性をどの程度確信しているかを確認します。ある程度確信できる場合、その写真の特徴をラベル付きのバージョンと融合させます。これにより、写真がぼやけていたり奇妙な角度から撮影されていたりしても、ラベルなしの猫はラベル付きの猫と全く同じように振る舞わなければならないとコンピュータに学習させます。まるで、見習いが師匠の動きを完璧に模倣しているかのようです。

2. 「コンパス」のトリック（新しい動物を見つける）

目的: ラベルなしの山の中に、新しい動物がどれに含まれているかを特定し、それらをグループ化することです。コンピュータはこれまでにこれらの動物を見たことがありません。

比喩: 「既知」の動物（猫、犬、鳥など）を、地図上の固定されたコンパスや目印のセットだと想像してください。

「猫」は「犬」の目印には非常に近いですが、「鳥」の目印からは非常に遠いかもしれません。
「新しい」動物（例えばカモノハシ）は見たことがないため、その名前を知ることはできません。しかし、目印との関係性を見ると、「ねえ、このカモノハシも、あそこのもう 1 匹のカモノハシと同じように、犬の目印には近くて、鳥の目印からは遠いんだ！」と気づくかもしれません。

魔法:
コンピュータは「カモノハシ」という名前を知っていなくても、それらをグループ化できます。必要なのは関係性のパターンのみです。

「これら 2 つの未知の動物は、猫、犬、鳥との『距離』が同じですか？」
もし同じであれば、それらはおそらく同じ新しい種です。
異なっていれば、それらは異なる種です。

これは、混乱する推測ゲームを、単純なマッチングゲームに変えます。新しいカテゴリをゼロから作り出そうとする代わりに、コンピュータは、すでに知っている動物との同じ「関係性の署名」を新しい動物が共有しているかどうかを確認するだけです。

結果

この論文は、この「双方向の対話」手法を、車や飛行機の単純な画像から複雑な医療画像まで、さまざまなデータセットでテストしました。

より優れた記憶: コンピュータは、ラベル付きのものと常に比較していたため、ラベルなしの山にある「既知」の動物を記憶する能力が大幅に向上しました。
より優れた発見: 既知の動物を未知をナビゲートするための信頼できる地図として使用したため、「新しい」動物を見つけ、グループ化する能力が向上しました。
効率性: これらは、膨大な追加のコンピュータパワーを必要とすることなく行われました。古い手法よりもわずかにコストがかかるだけでしたが、はるかに賢明でした。

要約すると:
この論文は、「ラベル付きデータとラベルなしデータを他人として扱うのをやめ、手を取り合わせさせよ」と述べています。ラベル付きデータがラベルなしデータの既知部分を導き、既知データを新しい部分を見つけるための地図として使用することで、コンピュータはより速く学習し、誤りを減らすことができます。

技術的概要：一般化カテゴリ発見のための関係性検索

問題定義

本論文は、従来の分類をオープンワールドのシナリオに拡張するタスクである**一般化カテゴリ発見（GCD）**を取り扱います。その目的は、ラベル付きデータ（ $D_L$ ）を用いて既知のクラスを認識すると同時に、ラベルなしデータ（ $D_U$ ）内で新規カテゴリを発見することです。既存の GCD アプローチにおける重要な課題は、ラベル付きデータとラベルなしデータを通常、分離された学習ストリームとして扱う点にあります。ラベル付きデータは教師あり学習を受け、ラベルなしデータは自己教師あり信号に依存します。この分離により、著者らが特定した 2 つの主要な限界が生じます：

意味知識の浪費：既知のクラスに属するラベルなしサンプルは、自己教師あり学習のみに依存しており、同じクラスのラベル付きサンプルが既に捉えている高度に識別可能な特徴を無視しています。
非効率的な発見：カテゴリ発見は、関係性パターンを考慮せずに進行することが多いです。既知のクラスとは異なるものの、同じ新規カテゴリに属するサンプルは、既知のクラスのプロトタイプと一貫した関係性を維持しており、これは信頼性の低い疑似ラベル付けに取って代わられることが多い信号です。

手法：関係性パターン一貫性（RPC）

提案されるフレームワーク**関係性パターン一貫性（RPC）**は、双方向の知識転送を通じてラベル付きデータとラベルなしデータを明示的に結合します。この手法は、表現学習のための SimGCD ベースラインを基盤とし、ラベルなしサンプルが既知（ID）か新規（OOD）のクラスに属するかを識別するために、DebGCD の One-vs-All（OVA）分解を組み込んでいます。

RPC の核心は、2 つのメカニズムから構成されます：

1. 意味転送による既知クラスの保存

ラベルなし既知クラスサンプルにおける意味構造の損失を防ぐため、RPC はラベル付きデータからラベルなしデータへ堅牢なパターンを転送します。

ソフト ID/OOD 分解：OVA 分類器は、サンプルが既知クラスか新規クラスに属する可能性を推定するためのソフト重み（ $w_{old}$ および $w_{new}$ ）を生成します。
信頼度重み付き埋め込み融合：ラベル付きサンプルと高信頼度のラベルなし（ID）サンプルの両方を含むバッチに対して、モデルは融合行列を構築します。この行列は円形シフトを実行し、ラベル付きサンプルからの情報をそれらと対になったラベルなしサンプルに注入します。この融合は $w_{old}$ によって重み付けられ、高信頼度の ID サンプルのみが顕著に影響を受けるようにします。
行動の整合性：フレームワークは、ラベル付きサンプルの拡張誘発行動変化（ $\Delta$ ）と、それらが融合されたラベルなし対応サンプルとの間の整合性を強制します。これにより、ラベルなし既知クラスサンプルは、ラベル付きデータから堅牢な表現を継承します。

2. 関係性マッチングによるカテゴリ発見

新規カテゴリ発見において、RPC は、関係性一貫性を活用することで、不適切なクラスタリングを超えて進みます。

関係性署名：この手法は、同じ新規カテゴリに属するサンプルは、既知クラスのプロトタイプに対して不変の関係性を示すと仮定します。具体的には、同じ新規クラスからの 2 つのサンプルは、すべての既知クラスのプロトタイプに対して類似した距離（類似性パターン）を持つべきです。
パターンマッチング：各サンプルは、既知クラスのプロトタイプとの類似性のベクトル（ $r(x)$ ）として符号化されます。その後、モデルは、新規度スコア（ $w_{new}$ ）で重み付けられた、特徴的に類似するサンプル間のこれらの関係性署名の距離を最小化します。これにより、発見タスクは既知クラス参照枠内での明確に定義されたパターンマッチング問題へと変換されます。

総学習目的関数は、ベースラインの損失（表現と分類器）に、新しい整合性損失（ $L_{align}$ ）と新規発見損失（ $L_{new}$ ）を組み合わせたものです。

主要な貢献

著者は、3 つの主要な貢献を概説しています：

双方向結合：RPC は、ラベル付きデータとラベルなしデータを双方向の知識転送を通じて明示的に結合し、分離された学習ストリームを維持するのではなく、ソフト ID/OOD 分解を活用して標的化された相互作用を可能にする、最初の GCD フレームワークです。
新規メカニズム：
- 既知クラスの意味を保存するための信頼度重み付き埋め込み融合と行動整合性の導入。
- 信頼性の低い疑似ラベルへの依存を回避し、既知クラスのプロトタイプとの不変関係に基づいて新規カテゴリを発見する関係性一貫性学習の開発。
最先端のパフォーマンス：広範な実験により、RPC が汎用および微細な両方のベンチマークで優れたパフォーマンスを達成し、既知（Old）および新規（New）クラスの精度において一貫した改善が見られることが示されました。

実験結果

この手法は、3 つの微細データセット（CUB、Stanford Cars、FGVC-Aircraft）と 3 つの一般データセット（CIFAR-10、CIFAR-100、ImageNet-100）の計 6 つのベンチマークで評価されました。

パフォーマンス：RPC は、ほとんどのベンチマークで最先端の結果を達成しました。特に CUB データセットでは、「All」精度を**67.1%**まで向上させました（以前の最高値である DebGCD の 66.3% に対して）。「Old」精度（73.2% 対 71.8%）および「New」精度（64.8% 対 63.5%）においても大幅な改善が見られました。
アブレーション研究：CUB において埋め込み融合または整合性損失（ $L_{align}$ ）を除去すると、既知クラスの精度が約 3% 低下しました。新規発見損失（ $L_{new}$ ）を除去すると、新規クラスの精度が 3.3% 低下し、両コンポーネントの必要性が確認されました。
効率性：この手法は計算オーバーヘッドを最小限に抑え、SimGCD ベースラインと比較してパラメータ数を 1.40%、FLOPs を 1.82% 増加させるのみです。
可視化：t-SNE 可視化は、RPC がベースライン手法と比較して、より構造化された潜在空間を生み出し、クラス内グループをより密にし、クラス間境界を明確にすることを示しています。これにより、隣接するカテゴリ間の意味的絡み合いが効果的に減少しています。

意義と主張

本論文は、RPC が GCD パラダイムを並列学習（ラベル付きデータとラベルなしデータが別々に処理される）から相互強化へと根本的にシフトさせることを主張しています。既知データと新規データ間の構造化された相互作用を活用することで、このフレームワークは、ラベル付きデータがラベルなし既知クラスの表現学習を導きつつ、同時にラベルなしデータの集合的な関係性署名を用いて新規カテゴリを発見することを可能にします。著者は、このアプローチが、ラベル付きデータとラベルなしデータが構造化された相互作用を通じて互いを相互強化し得るという仮説を実証し、オープンワールド設定においてより堅牢な特徴表現とより正確なカテゴリ発見をもたらすと述べています。