あなたは、親友と一緒に賑やかなコンサートに行った時に撮った、ぼやけて傷だらけの写真を直そうとしているところだと想像してください。あなたは、その写真を再び鮮明でクリアなものにしたいと考えていますが、問題があります。元の写真があまりにも損傷しているため、コンピュータはあなたの友人の目が実際にはどのような見た目なのか、あるいは口の近くに小さなほくろがあるのかどうかさえ分かりません。もしコンピュータがただ推測してしまうと、茶色の瞳なのに青い瞳にしてしまったり、肌をプラスチックのように見えるまで滑らかにしてしまったりするかもしれません。これが、「顔復元（face restoration）」と呼ばれる、コンピュータが損傷した画像を修復しようとするコンピュータサイエンスの一分野の世界です。長年、科学者たちはこれらの写真を鮮明にするためのツールを構築してきましたが、そこには落とし穴があります。多くのツールは「喜ばせよう」としすぎてしまうのです。彼らは、見た目は美しいものの、実物とは異なる新しいディテールを捏造してしまいます。彼らは顔を完璧に見せるかもしれませんが、それはもはや「あなたの友人」ではなく、一般的な、エアブラシ加工された見知らぬ誰かになってしまいます。大きな疑問は、こうです。どうすれば、その人が実際にどのような姿であるかという真実を偽ることなく、壊れた写真を修復できるのでしょうか？

そこで、上海交通大学とvivoの研究者によって開発された、写真修復における「真実の語り手」を目指す新しい手法、HonestFaceが登場します。現在のほとんどの顔復元AIを、物語の続きを求められた際に、キャラクターに合わないハッピーエンドを勝手に作り上げてしまうクリエイティブな作家だと考えてみてください。対照的に、HonestFaceは、事実を捏造することを拒む厳格な歴史家のようです。これは、ぼやけた写真と、同じ人物の鮮明で高品質な写真のコレクション（リファレンス・アルバムのようなもの）を使用して、顔を再構成するという特別な「ワンステップ」プロセスを使用します。推測する代わりに、それは目や肌の質感といった正確なアイデンティティの特徴を良質な写真から注意深く抽出し、それらをぼやけた写真と融合させます。その結果、驚くほど鮮明で自然に見えるだけでなく、最も重要なことに、元の人物に対して「誠実（honest）」であり、滑らかにして消してしまうのではなく、独特のシワ、瞳の色、さらには小さなほこけまでも維持した画像を生成します。

問題点： 「完璧」が「偽物」を意味するとき

顔の復元は、パズルのピースの半分が失われているか、溶けている問題を解こうとするようなものです。写真の品質が低い（LQ）場合、つまり、ぼやけていたり、ノイズがあったり、圧縮されていたりする場合、コンピュータは顔をユニークにする微細なディテールを見失います。既存のツールは、「生成的（generative）」モデルを使用してギャップを埋めようとします。これらは、何百万もの顔を見てきたアーティストであり、自分が知っている知識に基づいて新しい顔を描こうとするものです。

問題は、これらのアーティストが創造的になりすぎることがある点です。彼らは肌を人形のように見えるほど滑らかにしたり、髪の質感を均一にしすぎて、実際の髪の自然で乱れた毛束を失わせたりすることがあります。これは「オーバー・スムージング（過度な平滑化）」と呼ばれます。また、色の変化を引き起こし、肌の色をピンクに寄せすぎたり、目の色を変えてしまったりすることもあります。これらの写真は、鮮明さという意味では「高品質」に見えますが、「誠実さ」のテストには合格しません。つまり、もはや実物とは似ていないのです。彼らは、映画のキャラクターとしては素晴らしいかもしれませんが、群衆の中からあなたの友人を見分けるには不向きな、ジェネリックで完璧な人間になってしまいます。

解決策： 「誠実な」探偵

著者らは、見ているものに対して「誠実」であることでこれらの問題を解決するように設計されたシステム、HonestFaceを提案しています。これはシンプルですが強力なアイデアに基づいています。もし特定の人物のぼやけた写真を直したいのであれば、単に推測するのではなく、その人物の他の鮮明な写真を見て修復のガイドにするべきである、という考えです。

Honest-Faceがどのように機能するかを、その3つの主要な「スーパーパワー」に分けて説明します。

1. アイデンティティの探偵（Identity Embedder）
あなたが画家に対して友人のことを説明しようとしている場面を想像してください。しかし、あなたに見せられるのはぼやけた写真だけです。また、その友人の鮮明な写真のフォルダも持っています。通常のAIなら、ぼやけた写真だけを見て推測するでしょう。しかし、HonestFaceは探偵のように振る舞います。これには2つの特別なツールがあります。

• 特徴発見器（Feature Finder）： 目などの顔の中で最も一貫性のある部分にズームインし、鮮明なリファレンス写真から目の色や瞼の形といった具体的な詳細を掴み取ります。
• アイデンティティ保持器（Identity Keeper）： 顔全体を見て、その人物が誰であるかという「大きな絵」を理解します。
  これらを組み合わせることで、AIに対して「誰を描いているのか」を正確に伝える「プロンプト（指示セット）」を作成し、目や全体の容貌が、単なるランダムな推測ではなく、実物の人物と一致するようにします。

2. スポットライト・ガイド（Masked Face Alignment）
正しいアイデンティティを持っていても、AIは依然としてテクスチャを台無しにする可能性があります。肌を滑らかにしすぎたり、髪を完璧にしすぎたりすることがあります。これを防ぐために、HonestFaceは「スポットライト」技術を使用します。これは、目、口、そしてシワの周囲の肌の質感など、人間の知覚にとって最も重要な顔のパーツを強調するマップ（ヒートマップ）を作成するものです。
これは、最も重要な問題だけを見るテストの採点を行う教師のようなものです。AIは、重要度の低い部分に労力を浪費するのではなく、これらの特定の領域をリアルで質感のあるものにするためにエネルギーを集中させます。これにより、復元された顔がプラスチックのようなエアブラシ仕上げではなく、自然な毛穴、細かいシワ、そして乱れた髪を持つようにします。

3. ワンステップの魔法
通常、これらの高度なAIモデルを使用して写真を修正するには、玉ねぎの皮を一層ずつ剥くように多くのステップが必要であり、時間がかかります。HonestFaceは「ワンステップ拡散モデル（one-step diffusion model）」を使用します。これは、長い時間をかけた複雑な手品を行う代わりに、一瞬で帽子からウサギを取り出すマジシャンのようなものです。ぼやけた写真とリファレンス写真を取り込み、一度の工程で高品質な結果を生み出します。これにより、驚異的な速さを実現しており、画像処理にわずか0.13秒しかかからず、リアルタイムアプリで使用できるほど高速です。

新しい証明： 実世界でのテスト

彼らの手法が実際に機能することを証明するために、研究者たちは単なるコンピュータ生成の質の悪い写真を使用したわけではありません。彼らは、MultiRefCeleb-Testと呼ばれる新しいデータセットを作成しました。これは、400人以上のセレブリティによる9,000枚以上の実世界の写真を集めたものです（論文の図1にあるように、コンサートなどの状況）。これらの写真には、照明の悪さ、モーションブラー、圧縮アーティファクトといった、現実の問題が存在します。

結果は、HonestFaceが他のすべてのトップメソッドを上回ったことを示しました。

• 視覚的品質： 並べて比較すると、HonestFaceはより自然に見える顔を生成しました。他の手法が顔を滑らかなプラスチックのようにしたり、目の色を変えてしまったりする一方で、HonestFaceは肌の質感をリアルに保ち、色彩を正確に維持しました。
• アイデンティティ： 人物のアイデンティティを維持することにおいて、はるかに優れていました。セレブリティのぼやけた写真を用いた場合、他の手法はしばしば別の人やジェネリックなモデルのように見えることがありましたが、HonestFaceは「そのセレブリティ」に見える顔を復元しました。
• 速度： より複雑な作業を行っているにもかかわらず、既存の最も速いワンステップ手法と同等の速度を実現しました。

何を行わないのか（そして何を排除するのか）

論文は、自分たちが「何ではないか」についても明確に述べています。彼らは「滑らかな方が良い」という考えに異議を唱えています。たとえそれらの顔が鮮明に見えたとしても、過度に滑らかな「プラスチックのような」顔を生み出す手法を明確に拒絶しています。また、単一のリファレンス写真に頼ったり、複数の写真を平均化したりする手法にも反対しており、そのようなアプローチでは、真に「誠実な」復元に必要な豊かなディテールを逃してしまうと示唆しています。

著者らは、合成（コンピュータ作成）および実世界のデータセットの両方を用いた広範なテストに基づき、自らの結果に自信を持っています。彼らは、復元された画像がオリジナルにどれだけ近いか（PSNR, SSIM）、そして人間の判定においてどれほど「リアル」に見えるか（LPIPS, MANIQA）といった標準的な指標を用いて成功を測定しました。データによれば、HonestFaceはこれらの領域において以前の手法よりも一貫して高いスコアを獲得しており、顔復元を「高品質」かつ「真実的」なものにする上で、重要な前進であることを示しています。

要約すると、HonestFaceは、「素晴らしく見せつつも、それが間違いなく『あなた』であることを確認しよう」という、新しい写真修正のあり方です。それは、現代のAIのスピードと、美しい写真のために真実を犠牲にすることを拒む、注意深く細部を重視したアプローチを融合させています。