技術要約: FARCLUSS

問題提起

半教師あり意味領域分割（Semi-supervised Semantic Segmentation: SSSS）は、少量のラベル付き画像と豊富なラベルなしデータを活用することで、完全教師ありモデルに匹敵する性能を達成することを目指している。しかし、既存の手法には以下の3つの持続的な課題が存在する：

1. 擬似ラベルの不十分な活用: 現在の手法は、厳格な信頼度閾値に依存してハードな擬似ラベルを生成することが多い。これにより、予測確率が曖昧な「不確実な」領域（例：物体の境界や遮蔽された領域）が破棄され、貴重な監督信号が失われ、確証バイアス（confirmation bias）を強化してしまう。
2. クラス不均衡: ロングテールなデータセットにおいて、擬似ラベルは支配的なクラス（例：道路、空）に偏る傾向があり、その結果、マイノリティクラス（例：交通標識、ポール）が十分に表現されず、最適化が不十分になる。
3. 計算効率の低さ: 特徴量の判別性を高めるためにコントラスト学習を用いる手法は、広範なペアワイズ（対比較）のピクセル比較やデュアルネットワーク・アーキテクチャによる高い計算コストを伴うことが多く、スケーラビリティを制限している。

手法

著者らは、標準的なティーチャー・スチューデント（teacher-student）アーキテクチャに基づいた統一フレームワークである FARCLUSS (Fuzzy Adaptive Rebalancing and Contrastive Uncertainty Learning) を提案する。この手法は、上述の課題に対処するために4つの主要なコンポーネントを統合している。

1. ファジー擬似ラベル付け (Fuzzy Pseudo-Labeling)

高い信頼度閾を満たさないピクセルを破棄する代わりに、FARCLUSSは各ピクセルに対して上位 $K$ 個のクラス確率を保持する。

• メカニズム: ティーチャーによって生成された確率マップに対し、上位 $K$ 個のクラスを選択する。これらの確率を正規化することで、ソフトなファジーラベル分布を算出する。
• メリット: これにより、曖昧な領域（例：「歩道」と「道路」の境界）におけるソフトなクラス分布とクラス間の関係性が保持される。これにより、不確実性を負債ではなく、建設的な学習信号へと変換する。

2. 不確実性を考慮した動的重み付け (Uncertainty-Aware Dynamic Weighting)

不確実な予測によって導入されるノイズを軽減するため、本フレームワークは学習中の各ピクセルの影響力を調整する。

• メカニズム: ティーチャーの予測の正規化されたエントロピー ($H$) に基づいて、ピクセルごとの重みが割り当てられる。重みは $W = 1 - H$ と定義される。
• メリット: 不確実性が高い（エントロピーが高い）ピクセルは低い重みを受け取り、確信度の高い予測は増幅される。これはソフトなカリキュラムとして機能し、曖昧な領域を完全に破棄することなく、ノイズの多い領域の重みを下げる。

3. 適応型クラス再均衡化 (Adaptive Class Rebalancing)

擬似ラベルにおける多数派クラスへのバイアスに対処するため、損失関数はバッチごとに動的に調整される。

• メカニズム: クラス重み ($w_c$) は、現在のバッチにおける擬似ラベル付きピクセルの頻度に基づいて算出される。著者らは、中央値ベースの正規化手法 $w_c = \text{median}(F) / (F_c + \epsilon)$ を用いている（ここで $F_c$ はクラス $c$ の頻度）。
• メリット: この堅牢な統計的手法により、逆頻度重み付けによる不安定性や平均ベースの重み付けによる膨張を避けることなく、マイノリティクラスが適切な最適化の焦点を受け取れるようにする。

4. 軽量コントラスト正則化 (Lightweight Contrastive Regularization)

ペアワイズ比較のオーバーヘッドを回避しつつ、特徴量の判別性を高めるために、プロトタイプベースのコントラスト損失を採用する。

• メカニズム: クラス固有のプロトタイプ（重心）は、確信度の高いファジー擬似ラベルを持つピクセルの平均埋め込みとして計算される。この損失は、ピクセルの埋め込みとその対応するクラスプロトタイプ間のコサイン距離を罰する。
• メリット: これにより、$O(N \cdot d)$ の計算量で、クラス内の凝集性とクラス間の分離性を促進する。これは、ReCoのような $O(N^2 \cdot d)$ のコストを要するペアワイズ手法を回避できる。

主な貢献

論文では、その貢献を以下のようにまとめている：

• ファジー擬似ラベル付け: 上位 $K$ 個の確率からソフトなラベル分布を構築し、曖昧さを学習信号として保持する。
• 不確実性を考慮した動的重み付け: 正規化されたエントロピーを用いてピクセルごとの擬似ラベルの影響を調整し、曖昧な領域からのノイズを低減する。
• 適応型再均衡化: マイノリティクラスの学習を改善するために、擬似ラベルの頻度に基づいて損失を動的にスケーリングする（手動のヒューリスティックを必要としない）。
• 軽量コントラスト正則化: プロトタイプベースのコントラスト学習を利用することで、コストの高いペアワイズ演算を避けつつ、特徴のコンパクトさを促進する。

実験結果

ResNet-50およびResNet-101バックボーンを用い、Pascal VOC (ClassicおよびBlended) および Cityscapes データセットに対して広範な実験を行った。

• 性能: FARCLUSSは、様々なラベル付きデータの比率（1/16から1/2）において、最新のSOTA手法（UniMatch、CorrMatch、PS-MTを含む）を一貫して上回っている。
  • Pascal VOC Classic において、ほとんどのスプリットでUniMatchを0.4〜1.2 mIoU上回り、優れたmIoUスコアを達成した。
  • Cityscapes においては、トップクラスの結果（例：1/2比率においてResNet-101で81.0 mIoU）を達成しており、特に過小評価されているクラスや境界領域において顕著な改善を示した。
• 効率性: 本手法はシングルネットワーク設計により、これらの結果を達成しており、CorrMatchの対応マッチングのオーバーヘッドやCPSのデュアルネットワークの複雑さを回避している。また、UniMatchやCW-BASSのような最近の手法と同等のデータ効率を実現している。
• アブレーション研究:
  • ファジーラベル付けを除去すると最大の性能低下（Pascalで-6.2 mIoU）が発生し、情報の豊富な監督信号を保持する役割が確認された。
  • 中央値ベースのクラス再均衡化は、逆数、平均、調和平均の戦略よりも優れた性能を示した。
  • トップ $K$ のファジーラベル付け（$K=2$）は、固定閾値によるフィルタリングよりも優れていることが証明された。これは、100%のピクセルを保持しつつ、ラベル分布を妥当なクラスに限定できるためである。
  • プロトタイプベースのコントラスト損失は、メモリ使用量と訓練時間を大幅に抑えつつ、ペアワイズ手法（ReCo, U2PL）と同等の精度を達成した。

意義と主張

本論文は、FARCLUSSが不確実性を「負債」から「学習資産」へと変える包括的なソリューションであることを主張している。擬似ラベルのノイズ、クラス不均衡、および計算オーバーヘッドを統一されたフレームワーク内で体系的に対処することで、本手法はより情報豊富でバランスの取れた学習を可能にする。

著者らは、彼らのアプローチが特に以下の点で重要であると強調している：

1. 曖昧な領域: ファジーラベル付けとエントロピー重み付けにより、閾値処理手法では通常破棄されてしまう境界領域からの学習が可能になる。
2. マイノリティクラス: 適応型再均衡化メカニズムは、意味領域分割のデータセットに固有のロングテール分布問題に特に対処している。
3. スケーラビリティ: 軽量なコントラスト正則化とシングルネットワーク設計により、精度を損なうことなく大規模なデータセットへ効率的にスケールできる。

結論として、FARCLUSSは、半教師あり意味領域分割のシナリオにおける、不確実性誘導型かつリソース効率の高い学習の新しい方向性を提示している。