💻 computer science

The Second Challenge on Real-World Face Restoration at NTIRE 2026: Methods and Results

NTIRE 2026 における実世界顔復元チャレンジの第 2 回大会は、9 チームが最終的に有効なスコアを記録し、計算資源や学習データの制約なくアイデンティティの整合性を保ちつつ自然でリアルな出力を生成する最先端の手法と結果をレビューしたものである。

原著者： Jingkai Wang, Jue Gong, Zheng Chen, Kai Liu, Jiatong Li, Yulun Zhang, Radu Timofte, Jiachen Tu, Yaokun Shi, Guoyi Xu, Yaoxin Jiang, Jiajia Liu, Yingsi Chen, Yijiao Liu, Hui Li, Yu Wang, Congchao Zhu

公開日 2026-04-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jingkai Wang, Jue Gong, Zheng Chen, Kai Liu, Jiatong Li, Yulun Zhang, Radu Timofte, Jiachen Tu, Yaokun Shi, Guoyi Xu, Yaoxin Jiang, Jiajia Liu, Yingsi Chen, Yijiao Liu, Hui Li, Yu Wang, Congchao Zhu, Alexandru-Gabriel Lefterache, Anamaria Radoi, Chuanyue Yan, Tao Lu, Yanduo Zhang, Kanghui Zhao, Jiaming Wang, Yuqi Li, WenBo Xiong, Yifei Chen, Xian Hu, Wei Deng, Daiguo Zhou, Sujith Roy V, Claudia Jesuraj, Vikas B, Spoorthi LC, Nikhil Akalwadi, Ramesh Ashok Tabib, Uma Mudenagudi, Yuxuan Jiang, Chengxi Zeng, Tianhao Peng, Fan Zhang, David Bull Wei Zhou, Linfeng Li, Hongyu Huang, Hoyoung Lee, SangYun Oh, ChangYoung Jeong, Axi Niu, Jinyang Zhang, Zhenguo Wu, Senyan Qing, Jinqiu Sun, Yanning Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

NTIRE 2026 という国際的な技術大会で行われた「リアルな顔の修復コンテスト」の結果と、その背後にあるアイデアを、わかりやすく解説します。

📸 コンテストの目的：「ボロボロの写真を、魔法のように蘇らせる」

想像してみてください。古くて傷ついた写真や、ピントが甘く、ノイズだらけのスマホ写真に写っている大切な人の顔があります。
このコンテストは、**「AI にそのボロボロな写真を見せ、元の美しい顔（しかも、本人にそっくりな顔）を再生成させる」**という挑戦でした。

ただ綺麗にするだけでなく、「誰の顔か」がわかること（同一性の保持）と、「自然でリアルな肌や質感」があることが、勝利の鍵でした。

🏆 結果：誰が勝ったのか？

96 のチームが参加し、その中から 10 チームが本格的な提出を行いました。最終的に、**「MiPlusCV」**というチームが優勝しました。

彼らの方法は、**「まず大まかに形を整え、その後で細部を魔法のように磨き上げる」**という 2 段階のアプローチでした。

1 段階目： 顔の輪郭や大まかな形を復元する（骨組みを作る）。
2 段階目： 最新の AI 技術を使って、毛穴や肌の質感までリアルに描き足す（肉付けと仕上げ）。

この「大まかに整えてから、細部を磨く」という戦略が、最も高得点をもたらしました。

🧠 参加チームのアイデア：どんな「魔法」が使われた？

優勝チームだけでなく、他のチームもそれぞれユニークな「魔法の杖」を持っていました。主なアプローチを 3 つのタイプに分けて説明します。

1. 「一発勝負の天才」タイプ（拡散モデルの進化）

従来の AI は、画像を修復するために何十回も「ノイズを消す作業」を繰り返す必要があり、時間がかかりました。
しかし、今回の優勝チームや上位チームは、**「1 回の手順で、いきなり完成品を生成する」**という新しい技術（拡散モデルの蒸留技術）を駆使しました。

例え： 料理で言えば、何時間も煮込むのではなく、魔法の鍋で「一瞬で」完璧なシチューが完成するようなものです。

2. 「メーター（計器）を気にする職人」タイプ

AI が作った画像が「綺麗に見えるか」を、人間が評価する基準（メーター）に合わせて微調整するチームもいました。

例え： 絵画を仕上げるとき、画家が「もっと光が当たっているように見せるために、ここを少し明るくしよう」と、評価基準に合わせて筆を動かすようなものです。
優勝チームは、AI が生成した後に、この「評価基準」を AI 自身に学習させて、さらに完璧に仕上げました。

3. 「パーツごとに丁寧に直す」タイプ

顔全体を一度に直すのではなく、「目」「口」「肌」など、部位ごとに必要な処理を変えていました。

例え： 修理屋さんが、車のボディは磨き、エンジンは調整し、タイヤは交換するみたいに、顔のパーツごとに最適な修復方法を選んだのです。
特に「目」や「口」の周りは、本人らしさを守るために慎重に扱い、背景や肌はよりリアルに描き足すといった工夫がなされました。

💡 このコンテストからわかったこと（未来へのヒント）

今回の大会から、AI 画像修復の世界で 3 つの大きなトレンドが見えてきました。

「速くて、高品質」が主流に：
昔は「時間をかければ綺麗になる」のが常識でしたが、今は「一瞬で、かつ超リアル」な生成が可能になりました。
「巨大な AI」をうまく使う：
顔修復専用の小さな AI をゼロから作るよりも、すでに「絵を描くのが得意な巨大な AI（基礎モデル）」を、顔修復用に少しだけ調整して使うのが最強の戦略になっています。
「本人らしさ」と「美しさ」のバランス：
単に綺麗にするだけではダメで、「誰の顔か」がわかるように、骨格や特徴を壊さずに、そこに美しい肌や質感を乗せる技術が重要視されました。

🎉 まとめ

このコンテストは、**「ボロボロの思い出の写真を、AI が魔法のように蘇らせる」**技術が、すでに非常に高いレベルに達していることを示しました。

今後は、古い家族写真の修復や、監視カメラの映像の鮮明化、さらには映画やゲームの制作など、私たちの生活のさまざまな場面で、この「顔の修復魔法」が活躍するようになるでしょう。

優勝チームの MiPlusCV は、**「まず骨組みを作り、最後に魔法で輝かせる」**という、職人のような丁寧さと最新の魔法を組み合わせることで、見事 1 位を獲得しました。

NTIRE 2026 実世界顔復元チャレンジ：技術的概要

本論文は、2026 年 NTIRE（New Trends in Image Restoration and Enhancement）ワークショップで開催された「実世界顔復元（Real-World Face Restoration）」チャレンジの結果、提案された手法、およびその知見を総括したものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義 (Problem)

実世界での低品質顔画像からの高品質復元
この課題の目的は、ぼやけ、ノイズ、圧縮歪み、その他の歪みにより劣化した低品質（LQ）の顔画像から、高品質（HQ）で自然な顔画像を復元することです。

核心課題: 深刻な劣化は視覚情報の多くを失わせるため、本質的に「不適切な問題（ill-posed problem）」です。
要件:
1. 高忠実度と自然さ: 単にクリアにするだけでなく、高価な撮影機器でしか捉えられないような微細な肌質感（テクスチャ）を含め、リアルで自然な外観を再現すること。
2. アイデンティティの維持: 復元された画像が元の人物の顔（アイデンティティ）を保持していること。
制約: モデルサイズや計算量（FLOPs）に制限はなく、計算リソースやトレーニングデータの制約も設けられていません。

2. 評価手法とデータセット (Methodology & Evaluation)

データセット:

トレーニング: FFHQ（7 万枚の高品質顔画像）を推奨。追加データセットの使用も許可。
テスト: 5 つのデータセットから構成される 450 枚の画像（CelebChild-Test, LFW-Test, WIDER-Test, CelebA, WebPhoto-Test）。これらは実世界の複雑な劣化（年齢、色あせ、照明条件など）を含みます。

評価指標:

アイデンティティ検証 (Step 1): 事前学習済みのAdaFaceモデルを用いて、入力 LQ 画像と復元 HQ 画像のアイデンティティ埋め込みの余弦類似度を測定します。閾値（0.3〜0.6、データセットにより異なる）をクリアしないとランキング対象外となります。
画質評価 (Step 2): 参照画像不要（No-Reference）の画質評価指標（IQA）を重み付きで総合評価します。
- 使用指標：CLIPIQA, MANIQA, MUSIQ, Q-Align, NIQE, FID。
- 最終スコア計算式：
  $\text{Score} = \text{CLIPIQA} + \text{MANIQA} + \frac{\text{MUSIQ}}{100} + \frac{\text{QALIGN}}{5} + \max(0, \frac{10-\text{NIQE}}{10}) + \max(0, \frac{100-\text{FID}}{100})$

3. 主要な手法とトレンド (Key Methodologies & Trends)

96 名の登録者から 10 チームが有効なモデルを提出し、そのうち 9 チームが最終ランキングに入りました。上位チームの手法から以下の 5 つの主要トレンドが抽出されました。

ワンステップ/蒸留拡散モデルの支配:
- 従来の多段階拡散モデルに代わり、OSDFaceやZ-Image、SDXL-Turboなどの事前学習済み拡散モデルをベースにした「ワンステップ」または「固定ステップ数」の生成アプローチが上位を席巻しました。これにより、高品質な知覚的品質を効率的に達成しています。
メトリクス指向の微調整 (Metric-Oriented Refinement):
- 強力なベースモデルに加え、CLIPIQA や MUSIQ などの評価指標を直接最適化信号（報酬）として用いたポストトレーニングや、テスト時のピクセル最適化を行う手法が有効でした。
セマンティックおよび構造的ガイダンスの重要性:
- 生成モデル単体では解剖学的な安定性が保てない場合があるため、顔の部位（肌、目、口など）に応じた波長領域での補正や、セマンティックパース（意味的分割）を用いた制御がアイデンティティ維持に不可欠です。
モジュール型マルチステージ設計:
- 単一の巨大モデルではなく、「粗い復元」→「知覚的強化」→「ポスト処理」といったパイプライン設計が主流でした。これにより、強力な生成事前知識を再利用しつつ、タスク固有の微調整を加えることが容易になっています。
基盤モデル（Foundation Model）への適応:
- 従来の顔復元専用ネットワークから、FLUX.2、DiffBIR、SDXLなどの大規模な画像生成基盤モデルを LoRA などで微調整し、顔復元タスクに適応させるパラメータ効率的なアプローチが主流となりました。

上位チームの具体的な手法:

1 位 (MiPlusCV): OSDFace による粗復元と、Z-Image ベースのワンステップ拡散による詳細強化の 2 段階パイプライン。CLIPIQA/MUSIQ による報酬ベースのポストトレーニングを実施。
2 位 (CEVI-KLETech): 3 段階のベースライン（StyleGAN2 + DiffBIR + DINOv2）の間に、セマンティックパースと 2D ハール変換を用いた「周波数ガイド残差補正モジュール」を挿入し、顔部位ごとの高周波補正を最適化。
3 位 (HONORAICamera): Z-Image-Turbo を OMGSR 風のトレーニング戦略で微調整。固定ステップ数（244 ステップ）で生成効率と品質のバランスを最適化。

4. 結果 (Results)

参加状況: 96 名登録、10 チーム提出、9 チームが最終ランキング対象（1 チームはアイデンティティ閾値を満たせず除外）。
勝者: MiPlusCVチームが 1 位を獲得。
知見: 単なる生成能力だけでなく、アイデンティティ制約とメトリクス最適化をどう組み合わせるかが勝敗を分けた。また、ワンステップ拡散モデルの実用性が確立されたことが示されました。

5. 意義と結論 (Significance & Conclusions)

本チャレンジは、実世界顔復元分野における以下の重要な転換点を示しました。

効率化された生成パラダイムへの移行: 高品質な知覚的復元は、高コストな多段階拡散ではなく、蒸留されたワンステップ拡散モデルによって実現可能になった。
ハイブリッドアプローチの必要性: 強力な生成ベースモデル単体では不十分であり、セマンティック、構造的、アイデンティティ保持の制約を組み合わせたハイブリッド設計が必須である。
メトリクス最適化の重要性: 人間の知覚に近い画質を追求するため、評価指標（IQA）を直接最適化プロセスに組み込むことが有効な戦略となった。

本論文は、実世界での顔復元技術が「生成能力」と「制御性（アイデンティティ・構造）」の両立において成熟しつつあることを示しており、今後の研究開発の方向性を指し示す重要なリソースとなっています。