Improving Low-Resolution Face Recognition under Limited Data: How Synthetic Data Generation Can Close the Domain Gap

技術要約：限定的なデータ下における低解像度顔認識の改善

問題提起
監視システムに配備されている顔認識（FR）システムは、顔領域が標準的な112 × 112入力サイズを下回る（例：16〜32ピクセル）低解像度（LR）顔に直面することがよくあります。高解像度（HR）の訓練データは豊富に存在しますが、ラベル付きのネイティブLRデータ、そして極めて重要なことに、ペアとなるネイティブLR/HRデータは不足しています。この不足が、エッジデバイス向けの堅牢なモデルの訓練を妨げています。一般的な回避策は、利用可能なHR顔からLRデータを合成することですが、複雑な合成戦略に投じられた努力が、実際の低解像度データに対する認識精度向上に結びつくかどうかは依然として不明確です。さらに、この設定は、劣化が特定のデモグラフィック・グループに不平等に影響を与える可能性があるという公平性の懸念も提起しています。

手法
著者らは、限定的なLRデータ下における、コンパクトなエッジデバイス指向のバックボーン（EdgeFace-S）に対する合成データ生成戦略の体系的な研究を提示しています。彼らは、3つの「合成の労力」レベルにわたる5つの適応戦略を評価しています。

1. 低労力（補間拡張 / Interpolation Augmentation）： HR顔を特定の解像度（56, 28, 14, または 7 px）にダウンサンプリングし（三次補間または面積補間を使用）、その後112 pxにアップサンプリングするという決定論的な連鎖。モデルは、この拡張されたデータを用いてエンドツーエンドで再学習されます。
2. 中労力（生成的劣化 / Generative Degradation）： 実在的なLR訓練顔を合成するために、Real-ESRGANスタイルの確率的劣化パイプライン（ランダムなブラー、リサイズ、ノイズ、およびJPEG圧縮）を利用します。これには、劣化した画像を直接受け入れるためのネイティブ32 pxステム（標準的なステムを1×1畳み込みに置き換える）の訓練が含まれます。
3. 高労力（学習済み超解像フロントエンド / Learned Super-Resolution Front-End）： 32 pxの入力からHRに近い画像を再構成するために、アイデンティティを考慮した超解像（SR）フロントエンド（ESPCNまたはRRDBアーキテクチャを使用）を事前学習する2段階のアプローチ。続いて、Prepended Domain Transformer (PDT) トランスレータを用いた結合コントラスティブ学習が行われ、これらすべてが凍結された強力なバックボーン（EdgeFace-base）へと入力されます。

本研究では、HR訓練済みのティーチャーがLRのスチューデントを導く知識蒸留（KD）についても評価しています。

評価プロトコル
著者らは、「合成と実データのギャップ（synthetic–real gap）」に対処するため、すべての戦略を2種類の異なるデータタイプで評価しています。

• 合成ベンチマーク： 合成的に劣化させた様々な解像度の標準的な検証セット（LFW, CFP-FP, AgeDB-30）。
• 実ネイティブLR： 2つのアライメント・パイプライン（パディング付きのアライメント済みクロップ、および微分可能な顔アライナー）の下で評価された、実世界の低解像度顔のコレクションであるTinyFace。

主な結果

• 合成と実データのギャップ： 合成ベンチマークにおいて最適なパフォーマンスを示す劣化設定（28 pxの三次ダウン/面積アップ、以下 28 ↓c/↑a と表記）は、実世界のネイティブLRデータ（TinyFace）では性能が悪化し、HR訓練済みのベースラインよりも劣る結果となりました。逆に、より緩やかな合成設定（56 ↓c/↑a）が、実世界のLRデータに対して最も効果的であることが判明しました。
• 労力に対する非単調なリターン： 合成の労力を増やしても、必ずしも結果の向上を保証するわけではありません。
  • コンパクトなバックボーン（EdgeFace-S）において： 単純な補間拡張（56 ↓c/↑a）のみが、ダイレクトフィードのベースラインを上回る唯一の戦略でした。
  • 知識蒸留（Knowledge Distillation）： 合成データでは最大の利得をもたらしましたが、実世界のLRへの転移には失敗しました。
  • 学習済みSRフロントエンド： アイデンティティを考慮した事前学習と結合学習を行っても、学習済みSR+PDTパイプラインは、アライメントされたLR画像を強力な凍結バックボーンに直接入力する手法を上回ることができませんでした。再構成された顔の視覚的な品質は、認識精度の向上には結びつきませんでした。
• 公平性： LR対応の合成は平均的な精度を向上させますが、デモグラフィック・バイアスを系統的に減少させるものではありません。RFWデータセットにおけるアフリカ系、アジア系、コーカサス系、およびインド系のグループ間の誤一致率（FMR）の格差は、訓練解像度に応じて一貫しないか、あるいは悪化します。

意義と結論
本論文は、低解像度顔認識のための生成的メソッドは、合成的な劣化ベンチマークのみに頼るのではなく、実世界のネイティブLRデータおよびダイレクトフィードのベースラインに対して検証されるべきであると結論付けています。著者らは以下の点を主張しています。

1. 最適な設定はドメインによって異なる： 「最良の」合成劣化は、実世界の展開において最良とは限りません。
2. 単純さが勝ることも多い： 再学習可能なコンパクトなモデルについては、低労力の補間拡張が複雑な生成的パイプラインよりも優れています。
3. ベースラインの重要性： 強力なバックボーンにアライメントされた画像を直接入力できる場合、学習済みSRフロントエンドは単独のソリューションとしては有用ではありません。復元パイプラインが有益であると主張するには、それがこのダイレクトフィードのベースラインを上回る必要があります。
4. 公平性の限界： 合成による精度向上は、自動的にデモグラフィック・バイアスを解決するものではありません。

著者らは、実世界のネイティブLRデータでの検証を促すために彼らのパイプラインを公開しており、合成の労力を展開時の制約（コンパクトなバックボーンか、強力なバックボーンか）に合わせることが、実用的なアプリケーションにおいて極めて重要であると強調しています。