기술 요약: Loki – 디퓨전 기반 초상화 애니메이션을 위한 아키텍처가 아닌 표현 (Representation)

문제 정의

초상화 애니메이션은 단일 참조 이미지의 정체성을 유지하면서 드라이버 비디오 클립의 얼굴 표정과 머리 자세를 해당 이미지에 전달하는 것을 목표로 합니다. 실제적인 과제는 드라이버와 참조가 서로 다른 개인인 크로스-아이덴티티 리엔액트먼트 (cross-identity reenactment) 에 있습니다.

현재 최첨단 디퓨전 기반 시스템들은 정체성, 표정, 자세를 위한 별도의 훈련된 모듈을 적층하여 이를 해결합니다. 이러한 시스템들은 일반적으로 RGB 신호(또는 오디오) 에 조건을 부여합니다. 본 논문은 RGB 가 모든 픽셀에서 정체성, 자세, 표정을 근본적으로 얽히게 (entangle) 한다고 주장합니다. 결과적으로 이러한 적층 모듈에 의해 수행되는 분리 (disentanglement) 는 구조적이기보다는 통계적이며, 이로 인해 드라이버의 정체성이 출력으로 유출되거나 정교한 표정 세부 사항이 일반적인 사전 지식 (prior) 으로 약화되는 등의 문제가 발생합니다. furthermore, 이러한 복잡한 아키텍처는 방대한 훈련 데이터셋과 상당한 매개변수 수를 요구합니다.

방법론: Loki

Loki 는 아키텍처의 복잡성에서 표현의 선택 (representational choice) 으로 패러다임을 전환합니다. RGB 로부터 특징을 분리하는 것을 학습하는 대신, Loki 는 정체성, 표정, 자세 축이 구성상 독립적인 매개변수 얼굴 모델 (FLAME) 에 디퓨전 백본을 조건으로 부여합니다.

1. 드라이버 경로 (표정 및 자세)

Loki 는 FLAME 매개변수를 공간적 드라이버 맵으로 래스터화하여 표정과 머리 자세를 위한 조건 신호로 활용합니다. 이 맵은 두 가지 고유한 채널 그룹으로 구성됩니다:

• 위치 인코딩 (42 채널): FLAME 메쉬 정점의 표준 템플릿 공간 좌표를 삼각함수 위치 인코딩을 사용하여 인코딩합니다. 이는 각 픽셀에서 얼굴의 어떤 점이 보이는지 식별합니다. 결정적으로, 이러한 값은 템플릿 공간에서 파생되므로 정체성 불변 (identity-invariant) 입니다. 즉, 동일한 해부학적 지점 (예: 코 끝) 은 개인의 정체성과 관계없이 항상 동일한 인코딩을 생성합니다.
• 표정 변형 (3 채널): 중립적인 표정에 대한 메쉬 정점의 3 차원 변위 벡터 ($\Delta x, \Delta y, \Delta z$) 를 인코딩합니다. 이는 얼굴이 어떻게 움직였는지 (예: 입꼬리 늘어짐, 턱 떨어짐) 를 포착합니다. FLAME 의 표정 기저가 정체성 기저와 직교하므로, 이러한 변형은 정체성이나 자세가 아닌 오직 표정 계수에만 의존합니다.

이 드라이버 맵은 경량 인코더에 의해 다운샘플링되어 생성 UNet 에 주입됩니다. 맵이 구성상 정체성 정보를 포함하지 않기 때문에, 모델은 정체성을 표정으로부터 분리하는 것을 학습할 필요가 없습니다.

2. 정체성 경로

정체성은 디퓨전 백본의 자체 사전 훈련된 특징을 통해 별도로 라우팅됩니다. 프리즈된 Stable Diffusion 2.1 UNet 복사본이 참조 이미지를 처리하며, 그 자기 주의 (self-attention) 특징이 키 - 값 주입 (key-value injection) 을 통해 생성 UNet 에 주입됩니다. 이는 별도의 훈련된 정체성 어댑터나 손실 함수 없이 백본의 기존 생성 사전 지식을 활용하여 정체성을 유지합니다.

3. 매개변수 대체를 통한 크로스 - 아이덴티티 추론

특정 훈련 데이터 없이 크로스 - 아이덴티티 리엔액트먼트를 가능하게 하는 핵심 메커니즘은 매개변수 대체 (parametric substitution) 입니다. 추론 중 시스템은 다음을 사용하여 드라이버 맵을 구성합니다:

• 참조의 정체성 모양 ($\vec{\beta}_{ref}$) 과 카메라.
• 드라이버의 표정 ($\vec{\psi}_{drv}$) 과 자세 ($\vec{\theta}_{drv}$).

위치 인코딩 채널이 정체성 불변이고 변형 채널이 표정에만 의존하기 때문에, 결과적인 드라이버 맵은 모델이 동일 - 아이덴티티 훈련 동안 본 것과 구조적으로 동일하며, 단지 다른 얼굴 기하학 위에 배치된 것입니다. 생성 UNet 은 훈련된 것과 동일한 순전파 (forward pass) 를 수행하여, 드라이버의 움직임을 참조의 모양으로 효과적으로 전달합니다.

주요 기여

1. 분리된 매개변수 조건 부여: 표정, 자세, 정체성을 위한 별도의 훈련된 모듈이 필요 없는 프레임워크입니다. 래스터화된 FLAME 표현을 사용하여 표정과 자세는 단일 공간 신호를 통해 전달되고, 정체성은 백본의 사전 지식이 처리합니다. 이는 추론 매개변수를 주요 디퓨전 베이스라인 대비 약 43% 감소시킵니다.
2. 훈련 효율성: 이 모델은 1,496 배 적은 비디오 데이터 (베이스라인의 수천 시간 대비 약 1.7 시간) 로 훈련되며, 크로스 - 아이덴티티 쌍이 필요 없는 순수한 매개변수 대체를 통해 크로스 - 아이덴티티 능력을 달성합니다.
3. 새로운 평가 지표: 본 논문은 기존 지표들이 모션 추적을 측정하지 못하는 격차를 해소하기 위해, 드라이버에 대한 충실도를 직접 측정하는 매개변수 얼굴 모델에 기반한 두 가지 지표를 도입합니다:
   • 머리 자세 추종 (HPF): 드라이버와 생성된 머리 회전 궤적 사이의 측지선 (geodesic) 각 거리를 측정합니다.
   • 표정 추종 (HEF): 드라이버의 표정을 대상의 자세와 모양에 대체했을 때의 표정 변형 맵의 픽셀 단위 차이를 측정합니다.

결과

크로스 - 아이덴티티 리엔액트먼트에 대해 HDTF 데이터셋에서 평가됨:

• 모션 충실도: Loki 는 제안된 HPF 및 HEF 지표에서 선도하거나 공동 선두를 차지합니다. HEF 는 0.0828(낮을수록 좋음) 을 달성하여 HunyuanPortrait(0.0850) 와 같은 비주얼 기반 베이스라인을 능가하고 오디오 기반 방법 (0.11–0.12) 보다 훨씬 우수한 성능을 보입니다.
• 정성적 성능: Loki 는 베이스라인보다 더 높은 충실도로 큰 머리 회전, 넓은 입 벌림, 비대칭 표정을 재현합니다. 베이스라인들은 머리를 과소 회전시키거나 표정 진폭을 중간 정도의 사전 지식으로 약화시키는 경향이 있습니다.
• 자원 효율성: Loki 는 1.77B 매개변수로 10,649 클립 (약 1.7 시간) 으로 훈련되는 반면, 주요 베이스라인들은 2.18B~3.11B 매개변수로 166,000 개 이상의 클립 (최대 2,543 시간) 으로 훈련됩니다.
• 애블레이션 연구: 래스터화 (원시 벡터 사용) 나 위치 인코딩 채널을 제거하면 크로스 - 아이덴티티 성능이 크게 저하되어, 공간적 유도 편향과 정체성 불변 좌표계가 결정적임을 확인시켜 줍니다.

의의 및 한계

본 논문은 최근 초상화 애니메이션 시스템의 아키텍처적 복잡성이 독립적인 축을 가진 매개변수 모델에 조건을 부여하는 표현적 선택으로 대체될 수 있다고 주장합니다. 이 접근법은 크로스 - 아이덴티티 리엔액트먼트가 학습된 능력이 아닌 계수 대체로서 자연스럽게 나타나도록 합니다.

그러나 저자들은 시스템의 한계에 대해 겸손하게 언급합니다:

• FLAME 의존성: 조건 부여는 기반 FLAME 피팅의 충실도에 의해 제한됩니다. 모델의 기저 밖의 표정, 가려진 얼굴, 또는 피팅 실패는 드라이버 맵으로 직접 전파됩니다.
• 픽셀 지표: 시스템은 RGB 조건 부여 베이스라인에 비해 전통적인 픽셀 정렬 지표 (PSNR, SSIM, LPIPS) 에서 낮은 순위를 기록합니다. 저자들은 픽셀 지표가 기준 프레임 (ground-truth framing) 을 보존하는 시스템을 보상하는 반면, Loki 의 충실한 드라이버 추종은 픽셀 지표가 패널티를 부과하는 자세 및 표정 변형을 도입하기 때문이라고 귀인합니다.
• 향후 작업: 정체성 얽힘을 다시 도입하지 않고 픽셀 지표의 격차를 해소하는 것이 향후 연구 방향으로 식별되었습니다.