BeautyGRPO: Aesthetic Alignment for Face Retouching via Dynamic Path Guidance and Fine-Grained Preference Modeling

이 논문은 기존 방법들의 한계를 극복하고 인간의 미적 선호도와 높은 충실도를 동시에 달성하기 위해, 정교한 선호도 데이터셋과 reward 모델을 구축하고 확률적 드리프트를 보정하는 동적 경로 안내 (DPG) 기법을 도입한 얼굴 보정 강화학습 프레임워크 'BeautyGRPO'를 제안합니다.

핵심

BeautyGRPO: 얼굴 보정 (리터칭) 의 새로운 기준, '자연스러운 아름다움'을 찾아서

이 논문은 **"얼굴을 예쁘게 다듬되, 내 얼굴은 그대로 유지하는 것"**이라는 아주 까다로운 문제를 해결한 새로운 기술, BeautyGRPO를 소개합니다.

기존의 얼굴 보정 기술들은 두 가지 큰 고민거리가 있었습니다.

1. 너무 딱딱함: 컴퓨터가 정해진 대로만 고쳐서 피부가 마치 플라스틱 인형처럼 매끄럽고 비현실적으로 보임.
2. 너무 지저분함: AI 가 임의로 고치다 보니 잡티는 지워졌는데, 얼굴에 이상한 노이즈 (소음) 가 생기거나 얼굴 생김새가 뭉개짐.

이 논문은 이 두 문제를 해결하기 위해 세 가지 핵심 아이디어를 제시합니다.

---

1. "미용사 선생님"을 훈련시켰다 (FRPref-10K 데이터셋)

기존 AI 는 단순히 "원본 사진과 똑같이 찍힌 사진"을 목표로 학습했습니다. 하지만 사람은 "원본과 똑같지 않아도, 더 예쁘고 자연스러우면" 만족합니다.

• 비유: 기존 AI 는 복사기처럼 원본을 그대로 복사하려 했지만, 우리는 명품 미용사처럼 "어떤 점이 예쁜지, 어떤 점이 자연스러운지"를 아는 AI 가 필요합니다.
• 해결책: 연구진은 1 만 장이 넘는 얼굴 사진으로 **'미용사 선생님 (보상 모델)'**을 훈련시켰습니다. 이 선생님은 피부 결, 잡티 제거, 여드름 제거, 얼굴 특징 (점, 주름 등) 보존 등 5 가지 기준을 아주 세밀하게 평가할 수 있습니다.

2. "나침반"을 든 탐험가 (Dynamic Path Guidance, DPG)

AI 가 새로운 보정 방법을 찾아나설 때 (탐험), 너무 자유롭게 돌아다니다가 길을 잃고 엉뚱한 곳 (노이즈가 많은 이상한 얼굴) 으로 갈 수 있습니다.

• 비유: AI 를 등산하는 탐험가라고 상상해 보세요.
  • 기존 방법 (FlowGRPO): 등산가가 "아무 데나 가보자!"라고 하며 산을 뛰어다닙니다. (탐색은 잘되지만, 절벽으로 떨어지거나 엉뚱한 길로 빠질 위험이 큽니다.)
  • 새로운 방법 (BeautyGRPO): 등산가에게 **나침반 (Anchor)**을 줍니다. 나침반은 "이쪽이 안전한 정상 (자연스러운 얼굴) 이야"라고 방향을 잡아줍니다.
  • 핵심: 탐험가는 나침반의 방향을 보며 안전하게 새로운 길을 찾아다닙니다. 너무 멀리 벗어나지 않으면서도, 나침반이 가리키는 방향보다 더 좋은 곳 (더 예쁜 얼굴) 을 발견하면 그곳으로 이동합니다. 이를 **동적 경로 안내 (DPG)**라고 합니다.

3. "사람의 눈"을 가장 잘 따라가는 AI

이 기술은 단순히 "잡티를 지우는 것"이 아니라, **"사람이 보기엔 얼마나 자연스러운가?"**를 최우선으로 합니다.

• 결과:
  • 피부: 잡티는 깔끔하게 지우되, 피부의 자연스러운 결 (기름기, 모공) 은 살려서 인형처럼 보이지 않음.
  • 얼굴 특징: 점 (미인점), 수염, 주름 등 개성을 가진 특징은 지우지 않고 유지함.
  • 선명도: 얼굴이 흐릿하거나 AI 가 만든 듯한 인공적인 흔적이 없음.

---

📝 한 줄 요약

"BeautyGRPO 는 AI 가 얼굴을 고칠 때, '나침반'을 들고 '미용사 선생님'의 눈을 따라가며, 인형처럼 매끄럽지 않으면서도 잡티는 깨끗이 지워진, 가장 자연스러운 얼굴을 찾아내는 기술입니다."

이 기술은 앞으로 스마트폰 카메라의 자동 보정 기능이나 사진 편집 앱에서, 우리가 원하는 '자연스러운 아름다움'을 더 정확하게 구현하는 데 쓰일 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

얼굴 보정 (Face Retouching) 은 여드름, 잡티 등 미세한 결점을 제거하면서도 모반, 주름, 피부 결 등 고유한 얼굴 특징 (Identity) 을 보존하여 전반적인 미적 매력을 향상시키는 복잡한 작업입니다. 기존 방법론들은 다음과 같은 근본적인 한계를 가지고 있습니다.

• 지도 학습 (Supervised Learning) 의 한계: 레이블이 지정된 데이터에 대한 지도 학습은 픽셀 단위의 레이블 모방에 국한됩니다. 이는 인간의 주관적인 미적 선호도를 포착하지 못하며, 결과물이 레이블에는 충실하지만 시각적으로 경직되거나 비자연스러운 보정 효과를 초래할 수 있습니다. 또한, 훈련 데이터의 미적 품질을 뛰어넘는 해를 발견하는 것을 방해합니다.
• 강화 학습 (RL) 의 모순: 텍스트 - 이미지 생성 분야에서 인간 선호도 정렬에 성공한 온라인 강화 학습 (RL) 은 확률적 탐색 (Stochastic Exploration) 을 통해 다양한 해를 찾지만, 얼굴 보정에는 치명적입니다.
  • 신뢰성 vs 탐색의 충돌: RL 의 확률적 노이즈 (SDE 기반) 는 다양성을 증가시키지만, 얼굴 보정에서 필수적인 고충실도 (High-fidelity) 와 정밀도를 해칩니다. 이로 인해 누적된 노이즈가 얼굴 특징을 왜곡하거나 시각적 아티팩트 (Noise artifacts) 를 발생시킵니다.
  • 세밀한 보상 부족: 기존 보상 모델은 전역적인 미적 품질이나 지시 준수에 중점을 두어, 피부 매끄러움, 결점 제거, 텍스처 보존, 정체성 유지 등 얼굴 보정에 필요한 세밀한 지각적 차이를 평가하지 못합니다.

2. 제안 방법론 (Methodology)

저자들은 BeautyGRPO라는 새로운 강화 학습 프레임워크를 제안하여 인간 미적 선호도와 얼굴 보정을 정렬합니다. 주요 구성 요소는 다음과 같습니다.

가. FRPref-10K: 고정밀 선호도 데이터셋 및 보상 모델

• 데이터셋 구축: 피부 매끄러움, 결점 제거, 텍스처 품질, 선명도, 정체성 보존 등 5 가지 핵심 차원을 아우르는 1 만 개의 고해상도 선호도 쌍 (FRPref-10K) 을 구축했습니다.
• 하이브리드 주석 프로세스: 대규모 비전 - 언어 모델 (VLM) 을 활용한 다차원 평가와 인간 전문가의 검증을 결합하여 고품질 데이터를 확보했습니다.
• 전문 보상 모델: 이 데이터셋을 기반으로 미세한 지각적 차이를 평가할 수 있는 전문 보상 모델을 학습시켰습니다. 이 모델은 3 단계 (구조적 추론 초기화, 일관성 필터링을 통한 자기 학습, GRPO 를 통한 강건성 향상) 훈련 전략을 사용하여 인간의 미적 판단과 높은 정합성을 보입니다.

나. 동적 경로 안내 (Dynamic Path Guidance, DPG)

RL 의 '탐색 (Exploration)'과 얼굴 보정의 '신뢰성 (Fidelity)' 사이의 갈등을 해결하기 위해 DPG 를 도입했습니다.

• 원리: 기존 FlowGRPO 의 확률적 SDE(Stochastic Differential Equation) 샘플링 경로가 고충실도 매니폴드 (Manifold) 에서 벗어나 노이즈 아티팩트를 생성하는 문제를 해결합니다.
• 작동 방식:
  1. 앵커 (Anchor) 설정: FRPref-10K 에서 높은 선호도를 가진 이미지를 '안정성 앵커'로 설정합니다. (이 앵커는 SFT 와 달리 학습 목표가 아닌, 샘플링 과정의 안정화 기준점으로만 사용됩니다.)
  2. 동적 경로 재계획: 각 샘플링 시간 단계 (timestep) 에서 현재 상태와 앵커를 연결하는 이상적인 ODE 경로를 동적으로 계산합니다.
  3. 가이드된 보정: 확률적 노이즈와 앵커 기반 보정 벡터를 선형적으로 혼합하여, 초기 단계에서는 앵커에 가까운 경로를 유지하며 구조적 편향을 방지하고, 후기 단계에서는 노이즈를 통해 미세한 탐색을 허용합니다.
• 효과: 이는 무작위적인 노이즈 누적을 방지하면서도 RL 이 훈련 데이터의 품질을 뛰어넘는 더 나은 보정 결과를 발견할 수 있도록 균형을 맞춥니다.

3. 주요 기여 (Key Contributions)

1. FRPref-10K 데이터셋 및 전문 보상 모델: 얼굴 보정의 다차원적 미적 선호도를 정밀하게 평가할 수 있는 대규모 데이터셋과 이를 기반으로 한 고품질 보상 모델을 최초로 구축했습니다.
2. BeautyGRPO 프레임워크: 동적 경로 안내 (DPG) 를 탑재한 강화 학습 프레임워크를 제안하여, 얼굴 보정 작업에서 탐색과 고충실도 샘플링 사이의 균형을 성공적으로 달성했습니다.
3. 성능 입증: 기존 전문 얼굴 보정 모델 및 범용 이미지 편집 모델, 다른 RL 전략들보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 정량적 평가: FFHQR 및 In-the-wild 데이터셋에서 NIQE, NIMA, MUSIQ, MANIQA 등 무참조 (No-reference) 미적 및 지각적 품질 지표에서 모든 베이스라인 (RetouchFormer, NanoBanana, FlowGRPO 등) 을 압도적으로 상회했습니다.
• 정성적 평가:
  • 결점 제거: 잡티와 여드름을 깨끗하게 제거하면서도 피부 결을 자연스럽게 유지합니다.
  • 정체성 보존: 기존 모델들이 흔히 저지르는 모반 삭제, 피부 과매끄러움 (Plastic-like texture), 얼굴 형태 왜곡 등의 문제를 해결하여 자연스러운 외모를 유지합니다.
• 사용자 선호도 조사: 100 명의 참가자를 대상으로 한 사용자 연구에서 BeautyGRPO 는 다른 모든 방법론 대비 압도적인 승률 (63.25%) 을 기록하며 인간 미적 선호도와 가장 잘 정렬됨을 입증했습니다.

5. 의의 및 의의 (Significance)

이 논문은 얼굴 보정 분야에서 강화 학습 (RL) 의 잠재력을 고충실도 이미지 생성 작업에 성공적으로 적용한 사례입니다.

• 기술적 혁신: RL 의 확률적 탐색이 가져오는 노이즈 문제를 '동적 경로 안내 (DPG)'라는 새로운 메커니즘으로 해결함으로써, RL 이 단순히 데이터를 모방하는 것을 넘어 인간의 미적 기준을 충족하는 창의적이고 고품질의 보정 결과를 생성할 수 있음을 증명했습니다.
• 실용적 가치: 스마트폰 카메라 및 소셜 미디어 등 일상적인 디지털 포토리터칭 수요가 급증하는 시점에서, 자연스럽고 개인화된 고품질 보정 솔루션을 제공할 수 있는 새로운 표준을 제시합니다.
• 데이터 중심 접근: 단순한 픽셀 매칭이 아닌, 인간의 세밀한 미적 판단을 반영한 데이터셋과 보상 모델의 중요성을 강조하여 향후 이미지 편집 및 생성 AI 연구 방향에 중요한 시사점을 제공합니다.