技術的概要：玩具ベンチマークを超えて植物病理分類における OOD 検出手法の体系的評価

問題定義

コンピュータビジョンの深層学習システムはベンチマークタスクにおいて驚異的な性能を達成しているが、その実世界での信頼性ある展開は「クローズドワールド」仮定によって阻害されている。ソフトマックスベースの目的関数で最適化された標準的な分類パイプラインは既知のクラス間で確率質量を強制するため、モデルは無関係な入力（分布外データ、OOD データ）に対しても高い確信度を割り当ててしまう。OOD 検出に関する広範な文献が存在する一方で、その大半の手法は、実世界の展開の複雑さを捉えきれていない小規模で視覚的に均質なデータセット（例：CIFAR-10/100）で評価されている。具体的には、これらのベンチマークは、農業のようなドメイン固有の応用で一般的である意味的変動、共変量シフト、および「ニア OOD」ケース（視覚的には類似しているが異なるカテゴリ）を欠いていることが多い。本論文は、自然な分布シフト（例：花、非植物オブジェクト、遮蔽）が蔓延するリンゴの葉の病気を分類する微細なタスクであるPlant Pathology 2021 データセット上で手法を評価することにより、理論的な OOD 検出と実用的な応用の間のギャップに対処する。

手法

本研究は、トレーニング中に OOD データへのアクセスに関する仮定を変化させながら、単純な事後スコアリングから複雑な制約付き最適化に至るまで、6 つの OOD 検出手法を体系的に評価する。実験では、5 クラスのリンゴ病気のサブセット（15,675 枚の画像）で微調整された ResNet-18 バックボーンを使用する。

実験設定

• 分布内（ID）データ: 5 つの単一ラベルの病気クラス（Scab, Healthy, Frog Eye Leaf Spot, Rust, Powdery Mildew）。
• 分布外（OOD）データ: 意味的距離が異なる 3 つの外部データセット：
  • Stanford Cars: 遠方 OOD（視覚的重なりなし）。
  • Describable Textures Dataset (DTD): 遠方 OOD（構造的な違い）。
  • Flowers102: ニア OOD（葉に視覚的に類似しており、重要な失敗モードを表す）。
• 補助データ: トレーニング中にラベル付き OOD データを必要とする手法には ImageNet-O を使用する。ラベルなしの「野生」データ（ID と OOD の混合）は、制約付き最適化手法に使用される。

評価された手法

1. E1: Softmax ベースライン: 標準的な交差エントロピートレーニング。OOD スコアは負の最大ソフトマックス確率とする。
2. E2: 独立二値分類: ソフトマックスヘッドを 5 つの独立したシグモイド出力に置き換え、ソフトマックスのゼロサム競争を排除するためにバイナリ交差エントロピー（BCE）でトレーニングする。
3. E3: 明示的 OOD クラス: ラベル付き ID および OOD データでトレーニングする OOD 用の 6 つ目の出力クラスを追加する。これは近似上限として機能する。
4. E4: アウトリーア露出（OE）: ラベル付き OOD データ（ImageNet-O）に対する均一な予測を促す補助損失を用いてベースライン分類器を微調整する。
5. E5: エネルギーベース OOD 検出:
   • E5a (事後): 再トレーニングなしで、ロジットの自由エネルギー（$E(x) = -T \log \sum e^{f_c(x)/T}$）をスコアリング関数として使用する。
   • E5b (エネルギー微調整): マージンベースのエネルギー成形損失を用いてモデルを微調整し、ID と OOD のエネルギー分布を明示的に分離する。
6. E6: WOODS: クリーンなラベル付き OOD データへのアクセスを仮定せずに、ラベルなしの「野生」データ（ID と OOD の未知の混合）でトレーニングする制約付き最適化フレームワーク。ID 偽警報率と分類精度に関する制約の下で、ID として分類される OOD サンプルの率を最小化する。

主要な結果

評価により、実世界の農業環境における OOD 検出に関するいくつかの重要な洞察が明らかになった：

• 性能の階層: E5b（エネルギー微調整） が、初期トレーニング段階でラベル付き OOD データを必要とせず、すべての OOD セット（挑戦的な Flowers102 ニア OOD セットを含む）において最高 AUROC と最低 FPR95 を達成し、最も強力な実用的手法として浮上した。
• ベースラインの改善:
  • E2（独立 BCE） は OOD データを使用していないにもかかわらず、ソフトマックスベースライン（E1）を大幅に上回った。これは、ソフトマックス正規化を除去することが、低コストで強力な改善であることを示唆している。
  • E5a（事後エネルギー） は E1 に対して即座の改善を提供し、エネルギースコア自体がソフトマックス確率よりも優れた指標であることを確認した。
• ニア OOD の課題: 直感に反し、「遠方 OOD」データセット（Stanford Cars）は、すべての手法において「ニア OOD」データセット（Flowers102）よりも一貫して検出しやすいわけではなかった。これは、知覚的な類似性が必ずしも特徴表現の難易度と相関しないことを浮き彫りにしている。
• 埋め込み空間の分析: 埋め込み空間の定性的分析（5 近傍までのコサイン距離を介して）は、E5b が特徴空間を大幅に再構成し、ID と OOD の分布間の分離を増大させたことを示した（Wasserstein 距離は E1 の 0.02 から E5b の 0.07 に増加）。これは、改善がより適切に較正されたスコアリング関数と再編成された埋め込み空間の両方から生じていることを示唆している。
• 分布内の安定性: すべての手法において、ID テストセット上のバランスの取れた精度は安定しており（0.916–0.944 の範囲）、OOD 対応トレーニングが必ずしもタスク性能を劣化させるわけではないことを示している。

実用的な課題と不安定性

本論文は、制約付き最適化手法を中規模データセット（約 1 万枚の画像）に拡張する際に生じる顕著なトレーニングの不安定性を記録しており、これは既存の文献ではほとんど見られない：

• 学習率の感度: E4、E5b、E6 において、学習率は最も重要なハイパーパラメータである。高い学習率は OOD 損失が早期に支配的になり、分類性能を崩壊させる。
• WOODS の不安定性: WOODS で使用される増大ラグランジュ法（ALM）は非常に敏感であることが判明した。標準的なハイパーパラメータでの初期試行では、ペナルティ重みが無制限に増大し、検証精度が 20% 低下した。安定化には、双対学習率の低下、制約許容値の緩和、およびペナルティ重みへのハードキャップの導入が必要であり、これは元の WOODS 定式化には存在しない修正であった。

意義と主張

著者らは、実世界のドメイン固有データにおいて原理的な OOD 検出は達成可能であると主張するが、標準的なベンチマーク評価は展開時に生じる実用的な課題を捉えきれていないと述べている。

• ベンチマークを超えて: 本研究は、小規模で均質なベンチマークで良好に機能する手法が、ニア OOD 検出やトレーニングの安定性に関して、複雑な農業環境に直接転用されないことを実証している。
• 実用性: エネルギーベースの微調整（E5b）は、高い検出性能と、初期トレーニング中にラベル付き OOD データを必要としないという運用上の制約とのバランスが取れた、堅牢で実用的な解決策として提示される。
• 実装の現実: 本論文は、理論的枠組み（WOODS など）が、中規模データセットで安定して機能するためには、ハイパーパラメータ調整やペナルティのクリッピングなど、データセット固有の慎重なエンジニアリングを必要とする点を強調しており、大規模または合成ベンチマークに焦点を当てた文献ではしばしば見落とされているニュアンスである。

この研究は、標準的なベンチマークを超えて OOD 検出を展開しようとする実務家にとっての参照資料として機能し、OOD 対応トレーニングは可能であるが、実世界の文脈ではトレーニングダイナミクスとハイパーパラメータの安定性に対する厳密な注意を要することを浮き彫りにしている。