💻 computer science

Learning to Label: A Reinforced Self-Evolving Framework for Semi-supervised Referring Expression Segmentation

本論文は、限られた注釈下での半教師あり参照表現セグメンテーションを改善するため、マルチモーダル大規模言語モデルを意味的・空間的事前知識として活用し、疑似ラベル選択を適応的意思決定プロセスとして定式化する強化学習に基づく自己進化フレームワーク「Learning to Label (L2L)」を提案する。

原著者： Runlong Cao, Ying Zang, Chuanwei Zhou, Tianrun Chen, Tong Zhang, Zhen Cui, Chunyan Xu

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Runlong Cao, Ying Zang, Chuanwei Zhou, Tianrun Chen, Tong Zhang, Zhen Cui, Chunyan Xu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ある写真の中で、あなたが与えた文に基づいて特定の物体を見つけるようにロボットを教えようとしていると想像してください。例えば、「赤い首輪をした犬」や「左側のピザのスライス」などです。このタスクは参照表現セグメンテーションと呼ばれます。ロボットは、その正確な物体の周りに完璧な輪郭を描く必要があります。

通常、ロボットをこれほど上手に教えるためには、人間が手作業でそれらの輪郭を丹念に描いた数千枚の写真が必要です。これは高価で時間がかかります。半教師あり学習は、そのショートカットです。完璧な輪郭が描かれた数枚の写真（ラベル付きデータ）と、輪郭がまったくない大量の写真（ラベルなしデータ）をロボットに与え、ロボットが残り大部分を自力で推測することを期待します。

問題は何かというと、ロボットがラベルなし写真の輪郭を推測しようとする際、しばしば混乱してしまうことです。首輪だけでなく犬全体を丸く囲んでしまったり、似たような物体に気を取られてしまったりします。単にロボットに「よし、自分の推測を信じろ」と言っても、ロボットは自身の誤りから学習してしまい、誤りのサイクルが生まれることがよくあります。

この論文は、Learning to Label (L2L) と呼ばれる新しいフレームワークを紹介しています。これは、賢く自己修正するチューターシステムのようなものです。その仕組みを、以下の 3 つの簡単な部分に分けて説明します。

1. 「スーパー・オブザーバー」（MLLM）

まず、システムは「スーパー・オブザーバー」を導入します。これは、言語と画像の理解に非常に優れているが完璧ではない、大規模な事前学習済み AI（マルチモーダル大規模言語モデル、または MLLM と呼ばれる）です。

アナロジー: 混雑したスタジアムで特定の人物を見つけようとしていると想像してください。あなたは超賢い友人（MLLM）に助けを求めます。友人は「青い帽子をかぶった男性だと思います」と言います。しかし、友人は時折間違えたり、間違った人物を見ていたりするかもしれません。
論文の主張: システムはこのスーパー・オブザーバーを用いて、物体の位置に関する「下書き」を取得します。この下書きを盲目的に信頼するのではなく、単に開始のヒントとして利用します。

2. 「較正ステーション」（SPM）

次に、システムには 2 つの意見があります。スーパー・オブザーバーの下書きと、ロボット自身の推測です。時には一致しますが、時には激しく食い違うこともあります。

アナロジー: あなたと友人がどちらも地図を見ていると想像してください。友人は「左へ曲がれ」と言いますが、あなたは「右へ曲がれ」と言います。どちらか一方を選ぶだけでは、道に迷うかもしれません。代わりに、このシステムは較正ステーションとして機能します。それは、あなたと友人のそれぞれがどの程度確信を持っているかを観察します。友人が 95% 確信しているがあなたが 25% しか確信していない場合、友人の意見に傾きます。しかし、あなたが 98% 確信しているのに友人が 40% しか確信していない場合は、あなたを信頼します。
論文の主張: システムはこれらの 2 つの意見を混合し、各ソースの確信度に基づいて重み付けを行います。これにより、単独のものよりも信頼性の高い「較正された」ガイドが生まれます。

3. 「スマート・フィルター」（RPLE）

これが最もユニークな部分です。通常、コンピュータは、どの推測が学習に使えるほど十分かを決定するために固定されたルールを使用します（例えば、「80% 確信している推測のみを信頼する」など）。

アナロジー: 「80% 正解した課題のみを受け付ける」と言う厳格な教師を想像してください。これは良くありません。なぜなら、難しい問題で 60% しか取れなくても 100% の努力を払った価値がある場合もあれば、簡単な問題がたまたま当たっている場合もあるからです。
論文の主張: 固定されたルールではなく、L2L は強化学習のエージェント（試行錯誤によって学習するビデオゲームのキャラクターのようなもの）を使用します。このエージェントはスマート・フィルターとして機能します。学習プロセスを観察し、「この推測は現在有用か？」と問います。
- ロボットが難しい画像で苦しんでいる場合、フィルターは「少し寛大にして、この推測をロボットが学ぶのに使おう」と言うかもしれません。
- ロボットが自信を持っているが推測がノイズに満ちている場合、フィルターは「いいえ、これを無視する」と言います。
- フィルターは、自身の「厳格さ」を動的に調整することを学習し、良い進歩を遂げたロボットを報酬で励まし、悪いデータから学習することを罰します。

結果：自己進化ループ

システム全体はループとして機能します。

ロボットが推測を行う。
スーパー・オブザーバーがヒントを与える。
較正ステーションがそれらを混合する。
スマート・フィルターが、その混合のうちどの部分がロボットを教えるのに信頼できるかを決定する。
ロボットはフィルタリングされたデータから学習し、向上し、サイクルが繰り返される。

論文の発見:
著者らは、ラベル付きデータが非常に少ない（全画像の 0.1% 程度）状態で、3 つの標準データセット（RefCOCO、RefCOCO+、RefCOCOg）でこれをテストしました。

主張: 彼らの手法（L2L）は、既存の手法を常に上回りました。ほとんどラベル付きデータがなくても、「ゼロショット」手法（学習例を一切使わずにタスクを実行しようとするモデル）よりも性能が優れていました。
教訓: 学習データの選択を固定されたルールではなく「学習の意思決定」として扱い、プロセスを導くためにスーパー・オブザーバーを使用することで、システムははるかに正確かつ信頼性高く、自らをラベル付けすることを学習できます。

要約すると、この論文は、賢く適応的なフィルターと、有用だが不完全な AI アシスタントを用いて、コンピュータに「自らの学習例をどのように選ぶか」を教えることで、はるかに少ない人的労力でより優れたビジョンシステムを構築できることを主張しています。

技術概要：ラベリングの学習（L2L）

問題定義

半教師あり参照表現セグメンテーション（SS-RES）は、少量のラベル付き画像 - テキストペアと大量のラベルなしデータプールを用いて、精密なピクセルレベルの言語グラウンディングを実現することを目的としている。既存の半教師ありセグメンテーション手法は、疑似ラベリングと一貫性正則化に依存しているが、参照の曖昧性、遮蔽、および長距離的文脈推論の必要性により、これらのパラダイムを SS-RES に直接適用することは困難である。これらの要因は、しばしば境界の不確実性と不安定な疑似マスクをもたらす。

現在の手法は、通常、固定された信頼度閾値を用いて疑似ラベルをフィルタリングする。しかし、このヒューリスティックは脆い：過度に厳格な閾値は有益なサンプルを破棄し、緩い閾値は訓練を汚染するノイズのある監督を導入する。さらに、最近の研究では、外部事前知識を生成するためにマルチモーダル大規模言語モデル（MLLM）や基盤モデル（例：SAM）を活用している。しかし、これらの事前知識は常に信頼できるわけではない。MLLM は幻覚を起こしたり、グラウンディングのドリフトに陥ったりする可能性があり、セグメンテーションモデルは過剰セグメンテーションを起こしたり、注意が逸れたりする可能性がある。重要なのは、MLLM の事前知識の信頼度とセグメンテーションモデル自身の予測との間に、サンプル依存の顕著な不一致が生じることが多く、固定閾値戦略を無効化してしまう点である。

手法

著者は、疑似ラベル構築を学習可能な意思決定プロセスとして再定義する、強化された自己進化フレームワーク「Learning to Label（L2L）」を提案する。このフレームワークは、マルチモーダル事前知識、疑似ラベル選択、セグメンテーションネットワークが共進化する閉ループで動作する。アーキテクチャは以下の 3 つの中核コンポーネントで構成される。

1. MLLM を用いた意味・空間事前知識（SPM）

ソフトなセグメンテーション提案を初期化するために、L2L はパラメータを凍結した MLLM を利用して、ラベルなし画像 - テキストペアに対する意味的グラウンディングの手がかりを抽出する。これらの手がかりは、不確実性を保持しつつ、SAM2 に高密度なソフトなセグメンテーション提案（ $P^\dagger_i$ ）を生成させる。

不確実性認識キャリブレーション： 外部事前知識とモデル予測（ $P^w_i$ $P_{i}^{w}$ ）が衝突する可能性があることを認識し、SPM はピクセル適応的重み $\lambda(u)$ $λ (u)$ を用いて、これらをログイト空間で融合する。この重みは以下の基準に基づいて計算される。
- ピクセルレベルの確信度： 予測が曖昧さ（0.5）から離れるにつれて増加する、マージンベースのスコア $C(p)$ 。
- サンプルレベルの合意： 弱い予測と外部事前知識との間の合意を測定する、グローバルな一貫性スコア $W$ 。
融合： 較正された事前知識 $\tilde{P}^\dagger_i$ は、外部事前知識とモデル予測のログイトに重みを付けることで生成される。これにより、モデルが不確実な場合は外部事前知識に依存し、モデルが確信を持っている場合やグローバルな合意が低い場合は事前知識を抑制することが保証される。

2. 自己進化セグメンテーションモジュール（SESM）

SESM は、較正された事前知識を階層的セグメンテーションネットワークに統合する。静的な融合の代わりに、セマンティックおよび構造的ガイダンスを注入するために、ステージ適応的ゲーティング機構を採用する。

二重ガイダンス： このモジュールは、テキストエンコーダからのセマンティックフィールド（ $S$ ）と、ピクセルレベルの事前知識から導出された構造的フィールド（ $G_j$ ）を組み合わせる。
動的ゲーティング： 学習可能なステージ別ゲーティング因子（ $\alpha_j, \beta_j$ ）を介して、高レベルの意味的曖昧さ解消と低レベルの構造的洗練をバランスさせる統合的な条件付け信号 $M_j$ が合成される。
ステージ依存相互作用： 浅いステージでは、空間的対応を維持するために、構造的フィールドは厳密な局所投影を介して適用される。深いステージでは、クロスアテンションを介してグローバルな関係推論が可能になる。
自己進化： 構造的ガイダンスは、モデルの弱い予測が改善するにつれて反復的に更新され、ノイズを漸進的に減少させ、信頼性を高める。

3. 強化された疑似ラベル探索（RPLE）

固定閾値の最適性の欠如に対処するため、RPLE は疑似ラベルの受諾を強化学習（RL）の意思決定プロセスとして定式化する。

状態表現： 状態 $s_t$ には、融合された予測の統計的特徴（平均、標準偏差）、前景/背景/無視ピクセルの割合、およびサンプルレベルの合意スコアが含まれる。
ポリシー探索器： アクターネットワーク（ $\pi_\phi$ ）は、各サンプルに対して適応的な前景および背景の信頼度閾値（ $\tau_{fg}, \tau_{bg}$ ）を出力する。
クリティックと報酬： クリティックネットワーク（ $Q_\phi$ $Q_{ϕ}$ ）は選択された疑似ラベルを評価する。報酬は、以下の 3 つのコンポーネントからなる指示的利得（ $\Delta\Phi_t$ $Δ Φ_{t}$ ）として定義される。
- 分離性利得（ $\Delta M$ ）： 前景と背景の間の対照的な境界を測定する。
- 一貫性利得（ $\Delta K$ ）： モデル予測と較正された事前知識との間の合意を測定する。
- カバレッジ利得（ $\Delta C$ ）： 選択されたピクセルの割合を測定する。
- 不安定な閾値変化を防ぐために、安定性ペナルティが適用される。
最適化： ポリシーは、決定論的ポリシー勾配を介して最適化され、訓練を通じて精度とカバレッジを動的にバランスさせながら、期待累積品質スコアを最大化する。

主要な貢献

Learning to Label フレームワーク： 著者は、疑似ラベル構築を静的な閾値処理から、学習可能でサンプル適応的な意思決定プロセスへと変換する L2L を導入し、スパースな注釈下でのピクセルレベルの監督のより信頼性の高いマイニングを可能にする。
MLLM 駆動の事前知識とキャリブレーション： この研究は、ソフトなセグメンテーションを初期化するための MLLM 駆動の意味・空間事前知識を導入し、マルチモーダル事前知識とモデル予測を融合させることで高有用な監督を適応的に特定する強化された選択機構を提案する。
実証的検証： RefCOCO、RefCOCO+、および RefCOCOg における広範な実験により、さまざまなラベル予算（0.1% から 10%）において、既存の半教師あり手法およびベースライン手法に対して一貫した改善が示された。

実験結果

性能： L2L は、すべてのデータセットおよびラベル予算において最先端の結果を達成する。特に、極めて低ラベル環境（ラベル付きデータ 0.1%）において、L2L はゼロショットの対応手法や既存の半教師ありベースライン（例：RESMatch、SemiRES）を上回る。
アブレーション研究：
- SPM、SESM、または RPLE を個別に除去すると性能が低下し、不確実性認識融合、階層的ガイダンス、および適応的閾値処理の必要性が確認された。
- SESM の重み付け戦略（動的ゲーティング）は、固定重み融合を上回り、セマンティックおよび構造的な手がかりを動的にバランスさせる必要性が実証された。
- RPLE は、閾値値の選択に非常に敏感であることが示された静的な閾値処理を大幅に上回る。
ロバスト性： この手法は、基盤モデルの選択（例：SAM 対 SAM2、異なる MLLM バックボーン）の変動に対してロバストであり、MLLM 事前知識が非 MLLM の教師（例：CARIS、CGFormer）に置き換えられた場合でも有効である。
効率性： L2L によって導入される追加の学習可能パラメータは modest（約 9.3M）であり、RL コンポーネントは軽量であるため、基盤モデルが凍結されたままである限り、推論時のコストはほぼ無視できる。

意義と主張

本論文は、極めて低い注釈コスト下でデータ効率の良い参照セグメンテーションシステムを構築するための堅牢な解決策として L2L を提供するとしている。疑似ラベリングを強化された自己進化プロセスとして扱うことで、このフレームワークは、固定閾値ヒューリスティックの脆さと外部事前知識の信頼性の欠如を効果的に緩和する。著者は、そのアプローチによりセグメンテーションモデルと疑似ラベルの同時最適化が可能となり、ラベルの信頼性が漸進的に向上すると主張している。この研究は、MLLM の推論能力を活用しつつ、その潜在的な幻覚やグラウンディングのドリフトに妨げられない、汎用可能な SS-RES システムへの一歩として提示されている。