Pro-Pose: Unpaired Full-Body Portrait Synthesis via Canonical UV Maps
이 논문은 짝지어진 데이터가 없는 환경에서도 UV 맵을 활용한 정규화 공간 변환과 다중 이미지 미세 조정을 통해, 복잡한 의상과 자세를 제거하면서도 신원 정보를 보존하는 고품질 전신 초상화 생성을 가능하게 하는 'Pro-Pose' 방법을 제안합니다.
원저자:Sandeep Mishra, Yasamin Jafarian, Andreas Lugmayr, Yingwei Li, Varsha Ramakrishnan, Srivatsan Varadharajan, Alan C. Bovik, Ira Kemelmacher-Shlizerman
원저자: Sandeep Mishra, Yasamin Jafarian, Andreas Lugmayr, Yingwei Li, Varsha Ramakrishnan, Srivatsan Varadharajan, Alan C. Bovik, Ira Kemelmacher-Shlizerman
우리가 스마트폰으로 찍은 사진은 보통 배경이 지저분하고, 조명이 안 좋으며, 옷차림도 제각각입니다. 그런데 만약 이 사진을 바탕으로 "옷을 입히거나, 자세를 바꾸거나, 다른 옷으로 갈아입히는 (Virtual Try-On)" 작업을 하고 싶다면? 기존 기술들은 큰 문제에 부딪힙니다.
기존 기술의 한계: 원래 사진의 복잡한 옷차림이나 배경 때문에, 새로운 옷을 입히려고 하면 옷이 겹치거나 몸의 형태가 망가집니다. 마치 복잡한 장난감 위에 새로운 장난감을 얹으려다 서로 부딪혀서 망가뜨리는 상황과 비슷합니다.
데이터 부족: 같은 사람이 다양한 옷과 자세로 찍힌 '완벽한 사진 쌍'은 현실에 거의 없습니다. (비유하자면, 같은 사람이 100 가지 옷을 입고 100 가지 자세로 찍힌 사진이 있는 도서관은 존재하지 않습니다.)
2. 해결책: "Pro-Pose 의 마법, '표준화 된 아바타'"
Pro-Pose 는 이 문제를 해결하기 위해 두 가지 핵심 아이디어를 사용합니다.
① "옷을 벗기고, 표준 옷을 입히자" (Canonical UV Maps)
이 기술은 먼저 사진 속 사람을 검은색 민소매와 짧은 반바지만 입은 상태로 변환합니다.
비유: 마치 미술관에 가보세요. 모든 작품은 복잡한 배경 없이 하얀 벽에 걸려 있습니다. Pro-Pose 는 사람이라는 '작품'을 복잡한 옷과 배경이라는 '장식'에서 해방시켜, **검은색 기본 옷 (캔버스)**만 입힌 상태로 만듭니다.
효과: 이렇게 하면 얼굴, 피부, 몸매라는 '본질'만 남고, 옷이라는 '방해 요소'는 사라집니다. 이제 이 깨끗한 캔버스 위에 새로운 옷을 입히면 (Virtual Try-On), 옷이 몸에 딱 맞게 자연스럽게 그려집니다.
② "다른 사람의 사진을 빌려와서 학습하자" (Donor-based UV Reposing)
여기서 가장 흥미로운 부분이 나옵니다. 같은 사람의 다양한 자세 사진이 없는데, 어떻게 자세를 바꾸는 법을 배울까요?
문제: 단순히 사진 속 사람을 회전시키려 하면, "어디가 보이고 어디가 가려져 있는지"가 자세와 너무 밀접하게 연결되어 있어, AI 가 단순히 "보이는 부분을 복사해서 붙이는" 식으로만 학습합니다.
해결 (Donor): Pro-Pose 는 **완전히 다른 사람 (Donor)**의 사진에서 '가려진 부분 (오염)'을 가져와서 원본 사진에 씌웁니다.
비유:가위질 놀이를 생각해보세요.
기존 방식: "이 사람이 팔을 들었으니, 팔이 보이는 부분만 복사해서 붙여라." (AI 는 지능이 아니라 단순 복사만 합니다.)
Pro-Pose 방식: "이 사람의 팔을 다른 사람의 팔 모양으로 가려버려라." (AI 는 "아! 팔이 가려졌구나. 그럼 내가 3 차원적으로 팔이 어떻게 생겼는지 상상해서 채워야겠다!"라고 배우게 됩니다.)
이렇게 **의도적으로 가려진 부분 (Donor Mask)**을 만들어주면, AI 는 단순히 복사하는 게 아니라 사람의 몸이 3 차원적으로 어떻게 움직이는지를 진짜로 이해하게 됩니다.
3. 결과: "나만의 디지털 트윈"
이 과정을 거치면 다음과 같은 놀라운 일이 일어납니다.
얼굴과 몸매는 그대로: 사진 속 사람의 얼굴 특징, 피부 질감, 몸매는 완벽하게 유지됩니다. (기존 기술들은 자세를 바꾸면 얼굴이 변하거나 뭉개지는 경우가 많았죠.)
자유로운 자세 변경: 원한다면 팔을 뻗거나, 다리를 꼬거나, 심지어 뒤돌아서는 자세로 바꿀 수 있습니다.
옷 입히기 (Virtual Try-On) 의 혁명: 이 깔끔한 아바타에 새로운 옷을 입히면, 옷이 몸에 자연스럽게 밀착됩니다. 마치 옷을 입은 인형에 옷을 입히는 것처럼 정확합니다.
4. 요약: 왜 이것이 중요한가요?
이 기술은 "나쁜 조건에서 찍은 나쁜 사진"을 "스튜디오에서 찍은 완벽한 디지털 아바타"로 바꿔줍니다.
일상적인 예시: 당신이 해변에서 찍은 흐릿한 사진을 가지고, 쇼핑몰에서 새 옷을 입어보고 싶다면?
과거: 옷이 몸에 안 맞거나, 배경이 섞여 엉망이 됩니다.
Pro-Pose: 먼저 당신을 검은 옷을 입은 깔끔한 아바타로 변환한 뒤, 그 아바타에 새 옷을 입힙니다. 결과는 스튜디오에서 찍은 것처럼 완벽합니다.
이 논문은 결국 데이터가 부족해도, 똑똑한 학습 방법 (Donor Reposing) 과 표준화 (Canonical UV) 를 통해 누구나 고품질의 디지털 아바타를 만들 수 있게 했다는 점에서 매우 획기적인 성과입니다.
1. 문제 정의 (Problem Statement)
기존의 인물 이미지 합성 (Reposing) 및 가상 의류 착용 (Virtual Try-On, VTO) 기술은 다음과 같은 한계를 가지고 있습니다:
데이터 부족 및 과적합 (Overfitting): 기존 방법들 (MCLD, LEFFA 등) 은 소규모의 쌍을 이루는 (paired) 데이터셋 (예: DeepFashion, 약 100 명의 인물) 에 의존합니다. 이로 인해 학습된 모델은 새로운 인물 (unseen identities) 에 대해 일반화되지 못하고, 학습 데이터의 인물 특징을 기억해 내는 '과적합' 현상이 발생합니다.
자세와 외관의 결합 (Pose-Appearance Coupling): 단일 이미지에서 새로운 자세로 변환할 때, 의류의 가림 (occlusion) 경계가 원래 자세 정보를 유출하여 모델이 기하학적 변환을 학습하는 대신 단순히 픽셀을 복사해오는 (copy-paste) 식의 학습을 하게 만듭니다.
다운스트림 작업의 어려움: 가상 의류 착용 (VTO) 과 같은 작업은 원본 이미지의 복잡한 옷차림과 배경으로 인해 기하학적 간섭을 받아 실패율이 높습니다.
이 논문은 단일 이미지 (in-the-wild photo) 로부터 신원 (identity) 을 보존하면서 임의의 자세로 변환 가능한 고품질 아바타를 생성하고, 이를 표준화된 의류 (Base Clothing) 로 변환하여 VTO 등 다운스트림 작업에 활용하는 것을 목표로 합니다.
2. 방법론 (Methodology)
Pro-Pose 는 **정규화된 UV 공간 (Canonical UV Space)**에서 작동하는 자기지도 학습 (Self-Supervised) 프레임워크를 제안합니다.
2.1. 정규화된 UV 공간 및 Donor 기반 UV 재포즈 (Donor-based UV Reposing)
UV 공간 전환: 이미지를 3D SMPL-X 메쉬에 매핑된 UV 텍스처 공간으로 변환합니다. 이를 통해 자세 (Pose) 와 외관 (Texture) 을 이론적으로 분리합니다.
자세 누출 (Pose Leakage) 문제: 단일 뷰에서 추출한 부분적인 텍스처는 가림 (occlusion) 경계를 통해 원래 자세 정보를 그대로 드러내어, 모델이 기하학적 학습을 회피하고 경계선을 따라 픽셀을 복사하도록 만듭니다.
Donor 기반 UV 재포즈 해결책:
무작위 '도너 (Donor)' 이미지 (다른 인물, 다른 자세) 의 가림 마스크를 원본 UV 텍스처에 적용합니다.
이는 원본 텍스처의 가시성 패턴을 인위적으로 변경하여, 모델이 원래 자세의 경계선에 의존하지 않고 **기하학적 인페인팅 (Geometric Inpainting)**을 통해 새로운 자세를 학습하도록 강제합니다.
이 과정은 이미지 공간의 렌더링 없이 UV 공간에서 직접 수행되어 계산 효율성이 높습니다.
2.2. 하이브리드 학습 전략 (Hybrid Training Strategy)
쌍을 이루는 데이터 (Paired Data): DeepFashion 과 같은 소규모 데이터셋을 사용하여 SMPL-X 타겟 자세, 부분 UV 텍스처, 얼굴 크롭을 조건으로 학습합니다.
비쌍을 이루는 데이터 (Unpaired Data): 대규모의 단일 이미지 (FFHQ, 상업용 이미지 등) 를 활용합니다.
자기지도 학습: 입력 이미지를 타겟으로 사용하되, Donor 기반 재포즈를 적용하여 가림 마스크를 변경합니다.
조건 드롭아웃: 얼굴 크롭 조건을 제거하여 모델이 얼굴 정보를 픽셀 복사 없이 위상된 텍스처 (warped texture) 만으로부터 신원을 재구성하도록 학습시킵니다.
Base Clothing (BC) 데이터셋: Gemini 2.5 Flash Image 를 활용하여 모든 학습 데이터를 검은색 탱크톱과 반바지로 표준화합니다. 이는 의류 변형을 제거하고 기하학적 구조 학습에 집중하게 합니다.
2.3. 생성 모델 아키텍처
Flow Matching: Latent Rectified Flow 모델을 기반으로 하며, Flux.1 transformer 백본을 사용합니다.
조건부 생성: 타겟 자세 (SMPL-X), 부분 UV 텍스처, (선택적) 얼굴 크롭을 조건으로 입력받아 고해상도 이미지를 생성합니다.
2.4. 테스트 시간 개인화 (Test-Time Personalization)
소수의 참조 이미지 (Few-shot) 를 사용하여 LoRA (Low-Rank Adaptation) 레이어를 미세 조정 (Fine-tuning) 합니다.
이를 통해 극단적인 자세 변화에서도 신원 일관성을 크게 향상시킵니다.
3. 주요 기여 (Key Contributions)
확장 가능한 하이브리드 학습 프레임워크: 소량의 쌍을 이루는 데이터와 방대한 비쌍을 이루는 데이터를 통합하여 기존 벤치마크의 신원 다양성 부족 문제를 해결했습니다.
Donor 기반 UV 재포즈 메커니즘: 자세와 텍스처 간의 결합을 줄이고, 경계 기반의 자세 누출을 방지하여 비쌍 데이터로부터 효과적으로 학습할 수 있게 했습니다.
Base Clothing (BC) 데이터셋 구축: Gemini 를 활용하여 일관된 시각적 조건 (검은색 의류) 을 가진 대규모 데이터셋을 생성했습니다.
테스트 시간 적응 메커니즘: Few-shot 미세 조정을 통해 특정 대상의 신원 보존 능력을 극대화했습니다.
다운스트림 응용 (Virtual Try-On): 표준화된 아바타를 생성함으로써 기존 VTO 모델이 원본 의류의 기하학적 간섭 없이 의류를 입히는 성능을 획기적으로 개선했습니다.
4. 실험 결과 (Results)
정량적 평가: DeepFashion (도메인 내) 및 WPose (도메인 외, in-the-wild) 데이터셋에서 SOTA 모델들 (MCLD, LEFFA, UniHuman, Gemini 2.5 Flash 등) 을 압도적으로 능가했습니다.
신원 보존 (FaceSim): 자세 변화가 클수록 기존 모델들은 신원이 급격히 떨어지는 반면, Pro-Pose 는 Ground Truth 와 유사한 수준의 일관성을 유지했습니다. (자세 변화가 90 도 이상일 때 실패율 13.5% vs 타 모델 97% 이상).
화질 및 구조: PSNR, SSIM, LPIPS, HPSv3 등 모든 메트릭에서 최상위 성능을 기록했습니다.
정성적 평가:
얼굴 특징, 수염, 몸매 등 신원 관련 디테일을 자세가 바뀌어도 왜곡 없이 유지했습니다.
극단적인 자세에서도 기하학적 오류가 적고 자연스러운 결과를 생성했습니다.
다운스트림 성능: Pro-Pose 로 생성된 '클린 캔버스' 아바타에 VTO 를 적용했을 때, 원본 이미지에 직접 적용하는 것보다 훨씬 정확하고 자연스러운 의류 착용 결과를 보여주었습니다.
추가 기능: UV 텍스처에 직접 수정 (예: 문신 추가) 을 가하면, 재포즈된 결과에도 기하학적으로 일관되게 적용되는 '직접 텍스처 편집' 기능을 발견했습니다.
5. 의의 및 결론 (Significance)
Pro-Pose 는 단일 이미지로부터 고품질의 제어 가능한 디지털 아바타를 생성하는 데 있어 중요한 전환점을 제시합니다.
데이터 효율성: 대규모 쌍을 이루는 데이터 없이도, 비쌍 데이터와 자기지도 학습을 결합하여 일반화 성능을 극대화했습니다.
실용성: 생성된 표준화된 아바타는 단순한 디지털 휴머니티를 넘어, 가상 의류 착용 (VTO), 메타버스 아바타 생성 등 다양한 산업 응용 분야에서 **중간 표현 (Intermediate Representation)**으로서 핵심적인 역할을 할 수 있습니다.
신원 보존: 복잡한 의류와 배경을 제거하고 인물의 본질적인 특징 (얼굴, 몸매, 피부 질감) 만을 보존하는 기술적 해법을 제시하여, 디지털 신원 관리 및 개인화 서비스의 기반을 마련했습니다.
이 연구는 제한된 데이터 환경에서도 고품질의 3D 인식적 2D 합성을 가능하게 하여, 향후 생성형 AI 기반의 디지털 휴먼 기술 발전에 중요한 기여를 할 것으로 기대됩니다.