💻 computer science

Beyond Facial Consistency: Personalized Person Image Generation with Holistic Identity Preservation

이 논문은 개인화된 인물 이미지 생성에서 얼굴의 충실도와 전반적인 외형 일관성 사이의 절충 문제를 해결하기 위해 동적 균형 스케일링(Dynamic Balancing Scaling, DBS) 전략으로 강화된 이중 분기 프레임워크를 소개하며, 이와 함께 총체적인 정체성 평가를 위한 Pexels-100 벤치마크를 공개한다.

원저자: Yuxuan Xiao, Shanshan Zhang, Jian Yang, Shengcai Liao

게시일 2026-07-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuxuan Xiao, Shanshan Zhang, Jian Yang, Shengcai Liao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 영화 스튜디오의 감독이라고 상상해 보세요. 하지만 배우를 고용하는 대신, 당신에게는 당신이 묘사하는 어떤 캐릭터든 불러낼 수 있는 마법의 카메라가 있습니다. 당신은 당신의 절친한 친구와 똑같이 생긴—그 특유의 미소, 눈매, 개성 있는 코까지도—우주복을 입고 화성에 있거나, 혹은 중세 시대의 숲에서 용을 타고 있는 영웅을 원합니다. 이것이 바로 '개인화된 이미지 생성(personalized image generation)'의 꿈입니다. 오랫동안 AI 아티스트들은 두 가지 좌절스러운 선택지 중 하나를 골라야 했습니다. 캐릭터의 얼굴은 친구와 똑같이 만들되 옷차로 무엇을 입었는지나 체형은 잊어버리거나, 혹은 완벽한 의상과 포즈를 입히되 결국 낯선 사람의 얼굴을 얻게 되는 것이었습니다. 그것은 마치 케이크를 굽는데 프로스팅(크림)을 완벽하게 만들거나 스펀지 시트를 완벽하게 만들 수는 있지만, 동시에 둘 다 완벽하게 할 수는 없는 것과 같았습니다. 이 논문은 인공지능의 바로 그 구체적인 영역을 파고들어, AI에게 새로운 상황에 놓아달라고 요청했을 때 한 사람의 '전체적인 모습(whole self)'—즉, 얼굴뿐만 아니라 의상과 분위기 전체—를 어떻게 일관되게 유지할 것인가라는 까다로운 문제를 다룹니다.

샤오 위쉬안(Yuxuan Xiao)과 동료들이 이끄는 연구진은 어느 한 쪽의 편을 드는 것을 그만두기로 했습니다. 그들은 먼저 '나이브 듀얼 브랜치(Naive Dual-Branch)' 시스템을 구축했는데, 이는 본질적으로 AI를 위한 2차선 고속도로와 같습니다. 한 차선은 큰 그림(옷, 체형, 헤어스타일)에 집중하고, 다른 차선은 얼굴의 아주 세밀한 부분까지 확대하여 봅니다. 그들은 이 2차선 방식이 좋은 시작이었지만, 다소 혼란스러웠다는 것을 발견했습니다. '얼굴 차선'은 너무 빠르게 달려서 자동차 전체를 장악해 버리는 반면, '외형 차선'은 백미러 속에서 길을 잃고 있었습니다. 그 결과는 어땠을까요? 얼굴은 훌륭했지만, 옷은 때때로 이상한 것으로 변형되거나 체형이 찌그러지기도 했습니다.

이 교통 체증을 해결하기 위해, 팀은 **동적 균형 스케일링(Dynamic Balancing Scaling, DBS)**이라는 영리한 교통 제어 시스템을 발명했습니다. 이것은 마치 오케스트라의 스마트한 지휘자와 같습니다. 지휘자는 두 가지 주요 기술을 사용합니다. 첫째, 그들은 **적응형 시간 게이팅(Adaptive Temporal Gating)**을 사용하는데, 이는 곡의 흐름에 따라 얼굴과 몸이라는 연주자들의 볼륨을 조절하는 디머 스위치와 같습니다. 프로세스 초기에는 지휘자가 정체성을 설정하기 위해 얼굴이 안정적이고 신뢰할 수 있는 선율을 연주하도록 허용할 수 있지만, 곡이 진행됨에 따라 몸과 옷이 묻히지 않도록 부드럽게 볼륨을 높여줍니다. 둘째, 그들은 **영역 인식 최적화(Region-Aware Optimization)**를 도입했습니다. AI가 그림을 그리고 있다고 가정할 때, 보통은 캔버스 전체에 동일한 붓 압력을 가합니다. 이 새로운 기술은 AI에게 "이봐, 얼굴을 그릴 때는 매우 주의 깊고 정밀하게 그려야 하지만, 옷과 배경에도 똑같은 주의를 기울이는 것을 잊지 마"라고 말해줍니다. 이를 통해 AI가 눈에만 집착하느라 셔츠를 무시하는 일이 없도록 보장합니다.

팀은 이들이 직접 만든 Pexels-100이라는 맞춤형 벤치마크를 통해 새로운 방법을 테스트했습니다. 이 벤치마크는 다양한 장면 속에서도 사람의 정체성을 얼마나 잘 유지하는지 확인하기 위해 100개의 서로 다른 전신 이미지를 포함하고 있습니다. 결과는 유망했습니다. 그들의 방식은 다른 오픈 소스 도구들보다 훨씬 더 나은 균형을 잡으며, 얼굴을 알아볼 수 있게 유지하면서도 옷과 몸이 제대로 보이도록 만들었습니다. 실제로 그들의 접근 방식은 성능이 매우 뛰어나서 일부 값비싼 폐쇄형 상용 시스템과도 견줄 만했습니다. 하지만 저자들은 이것이 아직 모든 문제를 해결하는 마법 지팡이는 아니라는 점을 주의 깊게 언급합니다. 만약 AI에게 복잡한 체조 공중제비를 돌거나 정교한 손 동작을 하는 사람을 그리라고 요청한다면, 기초가 되는 AI 모델이 여전히 까다로운 물리적 구조를 다루는 데 어려움을 겪고 있기 때문에 이미지가 여전히 약간 흔들리거나 왜곡될 수 있습니다. 하지만 대부분의 일상적인 시나리오에서, 이 새로운 '지휘자'는 AI가 마침내 조화롭게 노래하며, 단지 얼굴뿐만 아니라 그 사람 전체가 자기 자신처럼 보이도록 돕습니다.

기술 요약: 얼굴 일관성을 넘어: 전체론적 정체성 보존을 통한 개인화된 인물 이미지 생성

문제 정의
개인화된 인물 이미지 생성은 참조 이미지와 텍스트 프롬프트를 기반으로 사용자의 정체성에 부합하는 이미지를 합성하는 것을 목표로 합니다. 현재의 방법들은 근본적인 트레이드오프(trade-off)에 직면해 있습니다. 즉, 일반적으로 주체 일관성(전역적 외형, 의상, 체형 보존) 또는 얼굴 일관성(국소적 얼굴 구조 및 세부 사항 보존) 중 하나를 강조하며, 두 가지를 동시에 달una하는 경우는 드뭅니다. 기존 방식들은 이를 결합하려고 시도할 때 불안정성을 겪는 경우가 많으며, 이는 얼굴의 정체성은 유지되지만 전체적인 외형이 훼손되거나, 그 반대의 상황으로 이어집니다. 이러한 불균형은 서로 다른 정체성 브랜치의 이질적인 표현 공간과 주입 메커즘으로 인해 발생하며, 이로 인해 디노이징(denoising) 과정에서 조화롭지 못한 상호작용과 얼굴 브랜치의 지속적인 과도한 지배 현상이 나타납니다.

방법론
저자들은 FLUX.1-dev 확산 트랜스포머 백본을 기반으로 한 통합 프레임워크를 제안하며, Naive Dual-Branch (NDB) 베이스라인을 도입하고 이를 Dynamic Balancing Scaling (DBS) 미세 조정 전략으로 정교화합니다.

Naive Dual-Branch (NDB) 베이스라인:
본 프레임워크는 두 개의 구별된 컨디셔닝 경로를 통합합니다:

외형 브랜치(Appearance Branch): InstantCharacter [23]를 기반으로 하며, Q-Former를 통해 투영되고 크로스 어텐션(cross-attention)을 통해 주입되는 융합된 DINOv2 및 SigLIP 특징을 사용하여 전역적 정체성 단서(헤어스타일, 신체 비율, 의상)를 포착합니다.
얼굴 브랜치(Face Branch): InfiniteYou [10]를 기반으로 하며, 사전 학습된 얼굴 인코더를 사용하여 미세한 얼굴 기하학 및 질감에 집중하고, ControlNet 스타일의 잔차 경로(residual pathway)를 통해 주입됩니다.
이러한 결합은 유망한 결과를 보여주지만, 얼굴 브랜치가 생성을 지배하여 외형의 불일치를 초래하는 불안정성을 보입니다.

Dynamic Balancing Scaling (DBS):
두 브랜치를 조정하고 얼굴 브랜치의 지배력을 완화하기 위해, DBS는 두 가지 상호 보완적인 구성 요소를 도입합니다:

적응형 시간 게이팅 (Adaptive Temporal Gating, ATG): 디노이징 궤적 전체에 걸쳐 외형 브랜치와 얼굴 브랜치의 기여 강도를 동적으로 조절하는 시간 인식 메커니즘입니다. 얼굴 브랜치는 안정적인 참조 앵커 역할을 수행하며, 외형 브랜치의 기여도는 이 앵커에 비해 점진적으로 완화됩니다. 이는 초기 학습 단계에서의 불안정한 최적화를 방지하고, 서로 다른 타임스텝(timestep)에 걸쳐 균형 잡힌 가이드를 보장합니다.
영역 인식 최적화 (Region-Aware Optimization, RAO): 공간적 불균형을 해결하기 위해 설계된 손실 함수입니다. 얼굴 영역은 작고 외형 영역은 크기 때문에, 표준적인 전역 평균 제곱 오차(MSE)는 특정 영역을 효과적으로 최적화하지 못하는 균등한 감독을 제공합니다. RAO는 디노이징 오차를 얼굴( $L_f$ ), 외형( $L_a$ ), 전역( $L_g$ )의 세 가지 영역 목표로 분해합니다. 이는 지수 이동 평균(EMA) 참조값에 비해 성능이 저하될 때만 활성화되는 참조 가이드 기반의 파레토 스타일(Pareto-style) 집계 방식을 채택하며, 전역 손실은 지속적인 배경 목표로 남습니다. 이는 단일 브랜치가 최적화 궤적을 지배하도록 허용하지 않으면서 영역 특유의 정체성 단서를 보호합니다.

주요 기여

Naive Dual-Branch (NDB) 방법: 전체론적 정체성 일관성을 해결하기 위해 공유된 생성 프레임워크 내에서 외형과 국소적 얼굴 특징을 명시적으로 별도로 모델링하는 것을 제안했습니다.
Dynamic Balancing Scaling (DBS): 적응형 시간 게이팅(ATG)과 영역 인식 최적화(RAO)로 구성된 미세 조정 전략입니다. 이 전략은 NDB 베이스라인의 강한 신호 지배로 인해 발생하는 불충분한 전체론적 일관성 유지를 완화하여, 얼굴 충실도와 외형 일관성 사이의 더 나은 트레이드오프를 달성합니다.
Pexels-100 벤치마크: 전신 이미지와 텍스트 프롬프트를 활용하여 얼굴 및 외형 차원 전반의 성능을 평가함으로써, 개인화된 인물 이미지 생성의 전체론적 정체성 일관성을 평가하기 위한 최초의 테스트 벤치마크를 구축했습니다.

실험 결과
본 방법은 Face Similarity (Arcface), Person Re-identification (ReID), DINOv2 점수, CLIP-T를 포함한 지표를 사용하여 Pexels-100 벤치마크에서 평가되었습니다.

정량적 성능: 제안된 방법은 전체론적 정체성 일관성 측면에서 기존의 오픈 소스 베이스라인(예: InstantCharacter, InfiniteYou, UNO, Kontext)을 능가합니다. 구체적으로, Face Score 0.7875와 DINOv2 점수 0.3202를 달성하여 대부분의 오픈 소스 모델을 앞서며 폐쇄형 상용 시스템(예: GPT-Image-2)과 경쟁할 만한 수준을 유지합니다.
정성적 성능: 시각적 비교를 통해 일부 방법들이 얼굴 유사성이나 의상 일관성 중 하나에는 뛰어나지만, 제안된 방법은 다양한 시나리오에서 얼굴 정체성과 전체적인 외형 일관성을 모두 보존하며 더 유리한 균형을 유지함을 입증했습니다.
절제 연구 (Ablation Studies): 실험을 통해 ATG와 RAO 모두 성능 향상에 기여함을 확인했습니다. 전체 DBS 모델은 최상의 전체론적 일관성을 달성하여, 두 구성 요소가 중복되는 것이 아니라 상호 보완적임을 검증했습니다.

의의 및 주장
본 논문은 전체론적 정체성 모델링을 위한 제어 가능한 기본 프레임워크를 제공한다고 주장합니다. 얼굴 충실도와 외형 일관성 사이의 내재된 트레이드오프를 해결함으로써, 제안된 방법은 기존의 오픈 소스 솔루션에 비해 더 안정적이고 해석 가능한 개인화된 인물 생성 접근 방식을 제공합니다. 저자들은 본 방식이 단순히 얼굴 유사성을 극대화하는 것이 아니라, 전체 정체성 표현의 *일관성(coherence)*을 개선하는 것을 목표로 한다고 강조합니다. 비록 이 방법이 백본의 근본적인 특징 학습을 변경하지 않는 게이팅 기반 조절에 의존한다는 점(복잡한 포즈나 손과 같은 미세한 구조에 대한 성능 제한)이 있으나, 확산 기반 이미지 생성에서 전역 및 국소 정체성 제약을 통합하는 데 있어 중요한 진전을 이루었습니다.

유사한 논문