CogPortrait: Fine-Grained Eye-Region Control in Portrait Animation via Hierarchical Agent Planning

기술 요약: CogPortrait

문제 정의
기존 초상화 애니메이션 방법들은 입력의 세밀함과 운동 정확도 사이, 특히 눈 영역의 세밀한 조작과 관련하여 상당한 트레이드오프에 직면해 있습니다. 현재 접근 방식은 일반적으로 두 가지 범주로 나뉩니다:

1. 고수준 레이블 기반 방법: 이러한 방법들은 감정 레이블이나 거친 텍스트 프롬프트와 같은 간단한 입력을 수용합니다. 사용자 친화적이지만, '분노'와 같은 거시적 의미 수준에서 작동하여 비대칭적인 깜빡임, 시선 회피, 또는 졸음과 사고와 같은 인지 상태와 같은 미묘하고 불규칙한 안구 역동성을 포착하지 못합니다.
2. 운동 기반 방법: 이러한 방법들은 얼굴 키 포인트, 행동 단위 (AUs), 또는 구동 비디오와 같은 정밀한 신호를 활용합니다. 더 높은 충실도를 제공하지만, 사용자에게 운동 신호의 수동 구축을 요구하여 무거운 입력 부담을 부과합니다. 또한, 데이터 부족과 훈련 세트에서의 대표성 부재로 인해 큰 각도의 머리 움직임과 같은 불규칙한 패턴에 종종 어려움을 겪습니다.

이 연구가 해결하는 핵심 과제는 수동적인 운동 수준의 입력 없이 고수준 의미론적 레이블로부터 눈 영역 역동성 (시선, 눈꺼풀, 깜빡임, 눈썹) 과 머리 자세에 대한 직접적이고 세밀한 제어를 달성하는 것입니다.

방법론
저자들은 고수준 레이블을 실행 가능한 얼굴 키 포인트로 컴파일하고 이후 고품질 초상화 애니메이션을 생성하도록 설계된 2 단계 프레임워크인 CogPortrait를 제안합니다.

• 1 단계: 계층적 에이전트 계획 (레이블 - 키 포인트 변환)
  텍스트에서 운동 신호를 직접 회귀시키는 것 (종종 과도하게 평활화된 궤적을 초래함) 대신, 저자들은 구조화된 체인 - 오브 - 생각 (CoT) 멀티모달 대규모 언어 모델 (MLLM) 에이전트 시스템을 사용하여 고수준 레이블을 시간적 이벤트로 분해하고 행동 원형을 검색합니다.

  • 계획 에이전트: 대상 레이블 (예: '인지적 노력') 과 선택적 세밀한 지시를 시간적으로 구조화된 이벤트 시퀀스로 분해하여 타임스탬프, 프레임 범위 및 지역적 제약을 지정합니다.
  • 구성 에이전트: 큐레이션된 원형 라이브러리에서 행동 원형을 검색하고 조립합니다. 이 라이브러리는 진정한 시간적 역동성을 보장하기 위해 실제 세계의 얼굴 행동 데이터 (AU 강도, 시선, 머리 자세) 를 포함합니다. 에이전트는 단계별 이벤트를 이러한 원형에 매칭하여 대상 지속 시간에 맞게 잘라내고 재조정합니다.
  • 비평 에이전트: 의미론적 일관성과 생리학적 타당성을 강제합니다. 깜빡임 지속 시간, 깜빡임 간격, AU 공활성화, 그리고 시선 - 머리 조율에 관한 규칙에 대해 시퀀스를 검증합니다. 불일치를 수정하기 위해 구성 또는 계획 에이전트에게 수정 신호를 보낼 수 있습니다.
  • 매핑 계층: FLAME 메쉬 변형과 강체 회전을 사용하여 정제된 제어 시퀀스 (AU, 시선, 머리 자세) 를 62 개의 특정 얼굴 키 포인트 (눈꺼풀, 눈썹, 동공, 홍채) 로 투영합니다.

• 2 단계: DiT 기반 비디오 생성
  Wan2.2 를 기반으로 한 확산 트랜스포머 (DiT) 백본은 참조 초상화, 구동 오디오, 텍스트 프롬프트, 그리고 생성된 얼굴 키 포인트에 조건부적으로 최종 비디오를 합성합니다.

  • 동적 분류기 없는 가이드 (CFG): 균일한 배경에서 흔히 발생하는 글로벌 색상 변화와 약한 고주파수 안구 운동을 해결하기 위해, 저자들은 동적 CFG 전략을 도입합니다. 이는 시간적 재가중 (전체 외관을 수정하기 위해 탈노이즈 초기에 강한 가이드, 후기에는 약한 가이드) 과 공간적 재가중 (배경에 대한 기본 가이드를 유지하면서 눈 영역에 가이드를 집중시키는 가우시안 맵) 을 포함합니다.
  • KTO 기반 정제: 훈련 데이터에서 대표성이 부족한 '경계 사례' (예: 비대칭 눈썹 제어, 큰 각도 머리 회전 중 정체성 저하) 를 처리하기 위해, 모델은 카네만 - 트버스키 최적화 (KTO) 를 사용하여 정제됩니다. 이는 제어 정확도와 정체성 일관성에 대한 인간의 선호도와 모델을 정렬하기 위해 큐레이션된 바람직한 (실제) 과 바람직하지 않은 (모델 생성 실패) 샘플을 사용하며, 쌍을 이룬 선호도 데이터가 필요하지 않습니다.

주요 기여

1. CogPortrait 프레임워크: 계층적 에이전트 계획, 원형 검색, 그리고 제약 강화를 통해 고수준 의미론적 레이블을 세밀한 눈 영역 얼굴 키 포인트로 변환하는 새로운 2 단계 파이프라인.
2. 향상된 생성 전략: 지역적 제어 가능성과 글로벌 시각적 품질의 균형을 맞추기 위해 눈 영역 인식 재가중이 포함된 동적 CFG 도입, 그리고 긴 꼬리와 불규칙한 운동 패턴에 대한 성능 개선을 위한 KTO 기반 정제.
3. EMH 벤치마크: 6 가지 기본 감정과 6 가지 '감정을 넘어선' 상태 (예: 인지적 노력, 졸음, 사회적 참여) 를 다루는 새로운 평가 벤치마크. 세밀한 눈 영역 및 머리 운동 제어를 특히 평가하기 위해 활성화 정확도인 AU-F1과 시간적 궤적 충실도인 AU-Temp라는 두 가지 AU 수준 지표를 도입함.

결과
HDTF 데이터셋과 새로운 EMH 벤치마크에서 광범위한 실험이 수행되었습니다:

• HDTF 성능: CogPortrait는 시각적 품질 (FID: 16.68, FVD: 32.90), 정체성 일관성 (ID-Sim: 0.9214), 그리고 립 싱크에서 최첨단 성능을 달성했습니다. 특히, 두 번째로 좋은 방법 대비 38% 의 상대적 개선을 나타내는 가장 낮은 Eye-LMD (0.0107) 를 달성하여 우수한 눈 영역 제어를 확인했습니다.
• EMH 벤치마크 성능: EMH 벤치마크에서 전체 파이프라인 (Ours Full) 은 AU-F1 0.9017 및 AU-Temp 0.7397 을 달성했습니다. 이는 오디오 기반 및 레이블 기반 베이스라인 (예: Sonic, FLOAT, EDTalk) 을 크게 상회했으며, 실제 운동 입력을 사용하지 않았음에도 운동 기반 방법 (HunyuanPortrait) 과 경쟁력 있는 성능을 보였습니다.
• 절대 실험:
  • 에이전트 기반 계획을 제거하고 직접 레이블 - 키 포인트 매핑에 의존한 경우 시간적 역동성이 저하되었습니다 (AU-Temp 가 0.5676 으로 하락).
  • 동적 CFG 를 제거한 경우 글로벌 색상 변화가 발생하고 정체성 일관성이 감소했습니다.
  • KTO 정제를 제거한 경우 비대칭 눈썹 움직임 및 큰 각도 머리 회전과 같은 경계 사례에서 오류율이 높아졌습니다 (Eye-LMD 0.0377 대 0.0311) 그리고 정체성 일관성이 낮아졌습니다 (ID-Sim 0.9089 대 0.9394).

의의
이 논문은 CogPortrait가 초상화 애니메이션에서 고수준 의미론적 의도와 저수준 운동 실행 사이의 간극을 성공적으로 메웠다고 주장합니다. 계층적 에이전트 계획과 원형 라이브러리를 활용함으로써, 이전에는 수동 구동 신호 없이는 제어하기 어려웠던 사고와 졸음과 같은 복잡한 '감정을 넘어선' 상태의 생성을 가능하게 합니다. 이 연구는 고수준 레이블로부터 직접 세밀한 눈 영역 제어를 달성하면서도 우수한 시각적 품질과 정체성 일관성을 유지할 수 있음을 보여주어, 가상 현실, 인간 - 컴퓨터 상호작용, 영화 제작 등 응용 분야에서 초상화 애니메이션의 표현 범위를 확장합니다.