HonestFace: Towards Honest Face Restoration with One-Step Diffusion Model

당신이 가장 친한 친구가 북적이는 콘서트장에서 찍힌, 흐릿하고 긁힌 사진을 복구하려고 노력하고 있다고 상상해 보세요. 당신은 그 사진을 다시 선명하고 깨끗하게 만들고 싶지만, 한 가지 문제가 있습니다. 원본 사진이 너무 손상되어 컴퓨터가 당신의 친구 눈이 실제로 어떻게 생겼는지, 혹은 입 근처에 작은 점이 있는지조차 알 수 없다는 것입니다. 만약 컴퓨터가 그냥 추측해 버린다면, 친구는 갈색 눈인데도 파란 눈으로 만들어버리거나, 피부를 너무 매끄럽게 다듬어 플라스틱처럼 보이게 만들 수도 있습니다. 이것이 바로 '얼굴 복원(face restoration)'의 세계입니다. 이는 기계가 손상된 이미지를 복구하려고 시도하는 컴퓨터 과학의 한 분야입니다. 수년 동안 과학자들은 이 사진들을 선명하게 만드는 도구들을 만들어 왔지만, 함정이 하나 있습니다. 많은 도구가 너무 '지나치게 친절'해서, 보기에는 좋지만 실제 인물과는 맞지 않는 새로운 디테일을 만들어내곤 합니다. 그들은 얼굴을 완벽하게 만들 수는 있지만, 그 결과물은 더 이상 '당신의 친구'가 아니라 일반적이고 보정된 낯선 사람처럼 보이게 만듭니다. 큰 질문은 이것입니다: 어떻게 하면 사람의 실제 모습에 대해 거짓말을 하지 않으면서 부서진 사진을 고칠 수 있을까?

여기, 상하이 교통 대학교와 vivo의 연구진이 개발한, 사진 복구의 '진실 전달자'를 목표로 하는 새로운 방법인 HonestFace가 등장했습니다. 현재 대부분의 얼굴 복원 AI를, 이야기를 완성해 달라는 요청을 받았을 때 캐릭터와 어울리지 않는 행복한 결말을 지어내는 창의적인 작가라고 생각해보세요. 반면, HonestFace는 사실을 지어내기를 거부하는 엄격한 역사학자와 같습니다. 이 방식은 흐릿한 사진과 동일 인물의 선명하고 고품질인 사진들(예: 참조 앨범)을 사용하여 얼굴을 재구성하는 특별한 '원스텝(one-step)' 프로세스를 사용합니다. 단순히 추측하는 대신, 이 방식은 실제 정체성 특징(눈의 정확한 모양이나 피부 질감 등)을 좋은 사진들로부터 신중하게 추출하여 이를 흐릿한 사진과 결합합니다. 그 결과, 복원된 이미지는 믿기지 않을 정도로 선명하고 자연스러우면서도, 무엇보다도 '정직하게' 원래 인물의 모습을 유지합니다. 즉, 피부를 매끄럽게 밀어버려 가짜 플라스틱처럼 만드는 대신, 그 사람만의 고유한 주름, 눈 색깔, 심지어 작은 잡티까지도 그대로 유지합니다.

문제점: "완벽함"이 "가짜"를 의미할 때

얼굴 복원은 마치 절반의 조각이 사라졌거나 녹아버린 퍼즐을 푸는 것과 같습니다. 사진의 품질이 낮으면(LQ)—예를 들어 흐릿하거나, 노이즈가 있거나, 압축되어 있다면—컴퓨터는 얼굴을 독특하게 만드는 미세한 디테일을 놓치게 됩니다. 기존의 도구들은 생성형(generative) 모델을 사용하여 빈 공간을 채우려 노력하는데, 이는 수백만 개의 얼굴을 본 예술가들이 자신이 아는 바를 바탕으로 새로운 얼굴을 그려내는 것과 같습니다.

문제는 이 예술가들이 너무 창의적으로 변한다는 점입니다. 그들은 피부를 너무 매끄럽게 만들어 인형처럼 보이게 하거나, 머리카락 질감을 너무 균일하게 만들어 실제 머리카락의 자연스러운 헝클어진 가닥들을 잃게 만들 수 있습니다. 이를 '과도한 매끄러움(over-smoothing)'이라고 합니다. 때로는 색상을 변경하여 사람의 피부를 너무 분홍빛으로 만들거나 눈 색깔을 다르게 만들기도 합니다. 이런 사진들은 선명도 측면에서는 '고품질'로 보일지 모르지만, '정직성' 테스트에는 실패합니다. 즉, 더 이상 실제 인물처럼 보이지 않는 것입니다. 그들은 영화 속 캐릭터로는 훌륭할지 몰라도, 군중 속에서 당신의 친구를 식별하기에는 부적합한, 일반적이고 완벽한 인간의 모습이 되어버립니다.

해결책: "정직한" 탐정

저자들은 '정직하게' 보이는 것을 목표로 하는 시스템인 HonestFace를 제안합니다. 이 시스템은 다음과 같은 간단하지만 강력한 아이디어에 기반합니다: 만약 특정 인물의 흐릿한 사진을 고치고 싶다면, 단순히 추측하는 것이 아니라 그 사람의 다른 선명한 사진들을 보고 복구를 안내해야 한다는 것입니다.

HonestFace가 어떻게 작동하는지 세 가지 주요 '초능력'으로 나누어 설명하겠습니다.

1. 정체성 탐정 (Identity Embedder)
당신이 화가에게 친구를 설명하려고 하는데, 흐릿한 사진 한 장밖에 보여줄 수 없다고 상상해 보세요. 또한 당신에게는 그 친구의 선명한 사진들이 담긴 폴더가 있습니다. 일반적인 AI는 흐릿한 사진만 보고 추측하겠지만, HonestFace는 탐정처럼 행동합니다. 이 시스템은 두 가지 특별한 도구를 가지고 있습니다:

• 특징 찾기(Feature Finder): 눈과 같이 얼굴에서 가장 일관된 부분에 집중하여, 선명한 참조 사진으로부터 눈 색깔이나 눈꺼풀 모양과 같은 구체적인 디른 디테일을 포착합니다.
• 정체성 유지(Identity Keeper): 얼굴 전체를 살펴보고 그 사람이 누구인지에 대한 '큰 그림'을 이해합니다.
  이 두 가지를 결 조합함으로써, AI에게 누구를 그리고 있는지에 대한 정확한 '프롬프트(지침 세트)'를 제공하여, 눈과 전체적인 모습이 무작위한 추측이 아닌 실제 인물과 일치하도록 보장합니다.

2. 스포트라이트 가이드 (Masked Face Alignment)
올바른 정체성을 갖추더라도, AI는 여전히 질감을 망칠 수 있습니다. 피부를 너무 매끄럽게 만들거나 머리카락을 너무 완벽하게 만들 수 있죠. 이를 해결하기 위해 HonestFace는 '스포트라이트' 기술을 사용합니다. 이 기술은 눈, 입, 그리고 주름 주변의 피부 질감처럼 인간의 지각에 가장 중요한 부분들을 강조하는 지도(히트맵)를 만듭니다.
마치 중요한 문제만 골라 채점하는 선생님처럼, AI는 덜 중요한 부분에 힘을 낭비하는 대신, 이 특정 영역들을 실제처럼 보이고 질감이 느껴지도록 만드는 데 에너지를 집중합니다. 이를 통해 복원된 얼굴이 플라스틱 같은 에어브러시 마무리가 아닌, 자연스러운 모공, 미세한 주름, 헝클어진 머리카락을 갖도록 보장합니다.

3. 원스텝 매직 (The One-Step Magic)
보통 이러한 고급 AI 모델로 사진을 수정하는 것은 양파 껍질을 한 겹씩 벗기는 것처럼 많은 단계가 필요하며 시간이 오래 걸립니다. 하지만 HonestFace는 '원스텝 확산 모델(one-step diffusion model)'을 사용합니다. 이는 긴 시간 동안 복잡한 마술을 부리는 대신, 단 한 번의 손짓으로 모자에서 토끼를 꺼내는 마술사와 같습니다. 흐릿한 사진과 참조 사진을 가져와 단 한 번에 최종 고품질 결과물을 만들어냅니다. 이 덕분에 매우 빨라서 약 0.13초 만에 이미지를 처리할 수 있으며, 이는 실시간 앱에서도 사용하기에 충분한 속도입니다.

새로운 증거: 실제 환경 테스트

연구진은 자신들의 방법이 실제로 작동한다는 것을 증명하기 위해 단순히 컴퓨터로 만든 가짜 나쁜 사진들을 사용하지 않았습니다. 대신 MultiRefCeleb-Test라는 새로운 데이터셋을 만들었습니다. 이는 400명 이상의 유명인들의 실제 사진 9,000여 장을 모은 것으로, 논문의 그림 1에 나온 것처럼 실제 환경(콘서트장 등)에서 촬영되었습니다. 이 사진들은 나쁜 조명, 움직임에 의한 블러(motion blur), 압축 아티팩트와 같은 실제적인 문제들을 가지고 있습니다.

결과에 따르면 HonestFace는 다른 모든 최상위 방법들을 능가했습니다.

• 시각적 품질: 병렬 비교에서 HonestFace는 훨씬 더 자연스러운 얼굴을 만들어냈습니다. 다른 방식들이 얼굴을 매끄러운 플라스틱처럼 만들거나 눈 색깔을 바꾸는 동안, HonestFace는 피부 질감을 현실적으로 유지하고 색상을 정확하게 유지했습니다.
• 정체성: 인물의 정체성을 유지하는 데 훨씬 뛰어났습니다. 유명인의 흐릿한 사진을 사용했을 때, 다른 방식들은 종종 다른 사람이나 일반적인 모델처럼 보이게 했지만, HonestFace는 '그' 유명인처럼 보이는 얼굴을 복원해냈습니다.
• 속도: 더 복잡한 작업을 수행함에도 불구하고, 가장 빠른 기존의 원스텝 방식들과 대등한 속도를 보여주었습니다.

하지 않는 것 (그리고 배제하는 것)

이 논문은 자신들의 방식이 '무엇이 아닌지'에 대해서도 명확히 밝히고 있습니다. 저자들은 "매끄러울수록 좋다"는 생각에 반대합니다. 비록 그 얼굴들이 선명해 보일지라도, 과도하게 매끄러운 '플라스틱' 같은 얼굴을 만들어내는 방식은 명시적으로 거부합니다. 또한 단 하나의 참조 사진에 의존하거나 여러 사진을 평균 내는 방식은 진정한 의미의 '정직한' 복구에 필요한 풍부한 디테일을 놓친다고 주장하며 이를 비판합니다.

저자들은 합성(컴퓨터 생성) 및 실제 환경 데이터셋 모두에서 광범한 테스트를 거쳐 결과에 대한 자신감을 드러냈습니다. 그들은 복원된 이미지가 원본과 얼마나 가까운지(PSNR, SSIM), 그리고 인간 관찰자에게 얼마나 '실제처럼' 보이는지(LPIPS, MANIQA)와 같은 표준 지표를 사용하여 성공 여부를 측정했습니다. 데이터는 HonestFace가 이전 방식들보다 이러한 영역에서 일관되게 높은 점수를 기록했음을 보여주며, 이는 얼굴 복원을 고품질이면서도 진실되게 만드는 데 있어 중요한 진전임을 시사합니다.

요약하자면, HonestFace는 "멋지게 만들되, 여전히 '당신'처럼 보이게 하자"라고 말하는 새로운 사진 복구 방식입니다. 이 방식은 현대 AI의 속도와, 예쁜 그림을 위해 진실을 희생하기를 거부하는 세심하고 디테일 중심적인 접근 방식을 결합했습니다.