Beyond Nearest Neighbor Interpolation in Data Augmentation

技術的概要：データ拡張における最近傍補間を超えて

問題提起
セマンティックセグメンテーションおよび物体検出のための現在の深層学習パイプラインは、モデルの汎化性能を向上させるためにデータ拡張に大きく依存しています。しかし、標準的な幾何学的変換は、未定義のピクセル値を回避するためにカテゴリカルラベル（マスク）に対して**最近傍補間（NNI または NPI）**を、画像データに対しては高次手法（例：バイリニア、バイキュービック）を採用するのが一般的です。著者は、この NNI への依存が以下の 2 つの重大なリスクをもたらすと主張しています：

1. アノテーション誤りの悪化：NNI の丸め関数への依存は、重たい「ジグザグエッジ」アーティファクトを生み出し、クラス境界と物体境界の不一致を招くことで、既存のピクセルレベルのアノテーションの不完全さを悪化させます。
2. 構造的詳細の喪失：NNI は未定義ラベルを回避しますが、高周波の構造的詳細を劣化させるリスクを無視しています。逆に、画像に対して使用される標準的な追加ピクセル補間（EPI）アルゴリズム（バイリニア、バイキュービック）は、ローパスフィルタリング効果をもたらすため、アノテーション領域内の構造的詳細を劣化させる可能性があります。

既存の文献はアノテーションの不確実性やラベルノイズに対処してきましたが、セグメンテーションモデルの性能に対する NNI の具体的な悪影響、またはデータ拡張中にカテゴリカルラベルに EPI アルゴリズムを適用することの潜在的な利益については十分に調査されていません。

手法
著者は、マスクに対する標準的な NNI を EPI アルゴリズムに置き換え、その結果生じる未定義のカテゴリカルラベルを処理するメカニズムを組み合わせる、修正されたデータ拡張パイプラインを提案しています。

• 修正された幾何学的変換：標準的な imwarp 関数を修正し、カテゴリカルマスクの変換を NNI に限定せず、EPI アルゴリズム（バイリニアおよびバイキュービック）の使用を可能にしました。
• 平均ベースのクラスフィルタリング（グローバルフィルタ - GF）：マスクに対して EPI を使用した際に「望ましくない」ピクセル値（未定義ラベル）が生成されるリスクを軽減するため、フィルタリング機構を拡張プロセスに直接統合しました。バイナリセグメンテーションの場合、このグローバルフィルタは、変換されたマスクのピクセル値の平均（$\mu$）を閾値として使用します：
  • ピクセル値 $P(x,y) > \mu$ の場合、前景クラス（255）に設定されます。
  • $P(x,y) \le \mu$ の場合、背景クラス（0）に設定されます。
  • 元の 0 または 255 の値は保持されます。
  • 注記：本論文ではこの実装がバイナリタスクでテストされたことを認めていますが、クラス固有の閾値設定を通じてマルチクラスシナリオへ拡張可能であると示唆しています。
• オフライン拡張パイプライン：補間固有の拡張データセットを生成するためのオフラインパイプラインを実装しました。これにより、ローパスフィルタリング効果の制御された定量的評価が可能となりました。このパイプラインは、元のトレーニング画像ごとに 2 つの拡張コピーを生成しました。
• データセットとモデル：
  • セマンティックセグメンテーション：3 つの医療画像データセット（乳腺組織学、MRI 脳、大腸ポリープ）を用いて、U-Net、SegNet、DeepLabV3+（ResNet50 バックボーン付き）で評価されました。
  • 物体検出：XBAT+ データセット（バッテリー-WEEE 識別）を用いて YOLOv26 で評価されました。
• 評価：性能は、精度（Accuracy）、再現率（Recall）、適合率（Precision）、交差ユニオン比（IoU）、F1 スコア（BF1）、meanBFScore、Dice スコア、および mAP@50 を用いて測定されました。結果は、生スコアとランクベースの合計を分析し、性能差を可視化しました。

主要な貢献

1. マスクに対する NNI の拒否：この研究は、マスク拡張における NNI の慣習的な使用に異議を唱え、それが未定義ラベルに対する唯一の解決策ではなく、アノテーション誤りを悪化させることで性能を低下させる場合が多いことを実証しています。
2. 統合されたフィルタリング機構：未定義クラスを生成することなくカテゴリカルラベルに対して EPI アルゴリズムを安全に使用可能にする、内部の平均ベースのフィルタリング機構（GF）の提案。
3. オフライン拡張フレームワーク：異なる補間手法（NPI 対 EPI）がモデル性能と構造的詳細の保持にどのように影響するかを直接比較可能にする、補間固有のトレーニングデータを生成・保存するオフラインパイプラインの作成。
4. 包括的な実証分析：最適な補間戦略を決定するため、複数のアーキテクチャ（U-Net、SegNet、DeepLabV3+、YOLOv26）および多様なデータセット（医療および産業）にわたる体系的な評価。

実験結果
この研究は、アーキテクチャとタスクによって結果が異なり、複雑だが示唆に富む結果をもたらしました：

• セマンティックセグメンテーション：
  • U-Net と SegNet：BIC_BIC構成（画像とマスクの両方にバイキュービック補間を使用）は、脳と大腸のデータセットにおいて特に、ほとんどの指標（精度、Dice、IoU、meanBFScore）で従来のNEA_NEA（両方に最近傍補間）を上回りました。定性的な結果では、BIC_BIC マスクはよりコンパクトでグランドトゥルースに近いものであったのに対し、NEA_NEA は偽陽性領域を導入していました。
  • DeepLabV3+：結果は決定的ではありませんでした。ランクベースの合計は時折 NEA_NEA を支持しましたが、生スコア表は、ハイブリッド構成（例：NEA_BILまたはNEA_BIC）がしばしば最高の性能を達成したことを示しており、最適な戦略はアーキテクチャに依存することを示唆しています。
• 物体検出（YOLOv26）：
  • バイキュービック（BIC）拡張は、RGBD および HQD の両方のデータセットで最も高いmAP@50と適合率を提供し、より自信に満ちたクリーンな検出を生み出しました。
  • バイリニア（BIL）拡張は、一貫して最も高い再現率を達成し、より多くの物体を検出しましたが、BIC に比べて適合率はわずかに低くなりました。
  • NEAは、mAP と適合率の面で一般的に EPI 手法よりも低い性能を示しました。

意義と主張
本論文は、幾何学的変換における補間アルゴリズムの選択が中立的な前処理ステップではなく、モデル性能に影響を与える重要な要因であると主張しています。

• 性能向上：適切なフィルタリングと組み合わせた場合、NNI を超えて EPI アルゴリズムに移行することで、複数の定量的指標において性能向上が得られることを実証しています。
• 構造的保持：提案されたフレームワークは、アノテーション誤りの悪化の軽減と、アノテーション領域内の高周波構造的詳細の保持に寄与します。
• 文脈依存の最適化：この研究は、「最良の」補間戦略が普遍的ではなく、特定の CNN アーキテクチャとデータセットの特性に依存することを強調しています。例えば、U-Net と SegNet は完全な EPI（BIC_BIC）から大幅に恩恵を受けましたが、DeepLabV3+ はばらついた結果を示し、YOLOv26 は適合率（BIC が有利）と再現率（BIL が有利）の間のトレードオフを示しました。
• 将来の適用性：著者は、提案されたフレームワークが他のモデルアーキテクチャや画像データセットへ拡張可能であると結論付け、データ拡張パイプラインにおいて最近傍補間にデフォルトするのではなく、柔軟な補間選択を推奨しています。