기술 요약: Identity-Consistent Expression Fields (ICEF)

문제 정의

본 논문은 얼굴 표정 합성을 위한 **퓨샷 동적 뉴럴 방사 휘도장(few-shot dynamic Neural Radiance Fields, NeRF)**의 결정적인 한계를 다룹니다. 기존 방식(예: FDNeRF)은 적은 수의 이미지로부터 3D 얼굴을 성공적으로 재구성하고 표정 편집을 가능하게 하지만, 일반적으로 타겟 표정 파라미터에 따라 조건화된 **단일 학습된 특징 볼륨(single learned feature volume)**을 워핑(warping)하는 방식에 의존합니다.

저자들은 이러한 접근 방식이 표정 파라즘에 의해 구동될 때(즉, 외삽(extrapolation) 시), 정체성 고유의 세부 사항(피부 질감 및 미세한 기하학적 구조 등)을 보존하기 위한 명시적인 제약 조건이 부족하다는 점을 관찰했습니다. 결과적으로, 워핑된 특징 볼륨은 의도한 표정 변화와 함께 정체성 고유의 속성까지 의도치 않게 변화시키는 "드리프트(drift)" 현상을 일으킵니다. 이는 특히 새로운 표정으로 외삽할 때 아티팩트와 정체성 일관성 상실을 초래합니다.

방법론: ICEF 프레임워크

제안된 Identity-Consistent Expression Fields (ICEF) 프레임워크는 명시적 분리, 타겟팅된 정규화 도구, 그리고 신뢰도 가중 워핑 전략이라는 세 가지 핵심 메커니즘을 통해 이 문제를 해결합니다.

1. 정적-동적 분리 (Static-Dynamic Disentanglement)

하나의 얽힌(entangled) 특징 볼륨을 워핑하는 기존 방식과 달리, ICEF는 방사 휘도장을 두 개의 별개 구성 요소로 분해합니다:

• 정적 캐노니컬 필드 ($F_{static}$): 중립(캐노니컬) 공간에서 정체성 고유의 외형과 기하 구조를 인코딩합니다. 결정적으로, 이 필드는 변형된 좌표와 시선 방향만을 수신하며, 원시 표정 파라미터를 직접 받지 않으므로 정체성 세부 사항이 표정에 의해 직접 조절되지 않도록 보장합니다.
• 동적 변형 필드 ($D_\phi$): 표정 파라미터($\beta_{exp}$)를 기반으로 관측 공간의 점들을 캐노니컬 공간으로 매핑합니다. 모든 표정 의존적 변화는 이 명시적인 변형 필드를 통해서만 흐르도록 강제됩니다.

렌더링 방정식은 다음과 같이 정의됩니다:
$$c(x, d), \sigma(x) = F_{static}(D_\phi(x, \beta_{exp}), d)$$

2. 정체성 보존 정규화 도구 (Identity-Preservation Regularizer)

변형 필드가 정체성 고유 영역을 변경하는 것을 방지하기 위해, ICEF는 거친 얼굴 영역 마스크($M(x)$)를 기반으로 한 정규화 항($L_{id}$)을 도입합니다.

• 메커니즘: 투영된 안면 랜드마크로부터 유도된 이 마스크는 표정 관련성이 높은 영역(입, 눈, 눈썹)과 표정 관련성이 낮은 영역(눈썹에서 떨어진 이마 피부, 볼, 콧등)을 식서별합니다.
• 제약 조건: 정규화 도구는 저관련 영역에서의 변형 크기를 처벌합니다:
  $$L_{id} = \mathbb{E}_x [(1 - M(x)) \cdot \|D_\phi(x, \beta_{exp}) - x\|^2]$$
  이는 네트워크가 비표정 영역의 정체성 고유 캐노니컬 기하 구조와 외형을 효과적으로 변하지 않은 상태로 유지하도록 유도합니다.

3. 신뢰도 가중 워핑 (Confidence-Weighted Warping)

학습 분포에서 멀리 떨어진 표정으로 외삽할 때 발생하는 아티팩트를 완화하기 위해, ICEF는 신뢰도 가중 블렌딩 메커니즘을 채택합니다:

• 외삽 거리 ($\delta$): 타겟 표정과 관측된 퓨샷 표정 사이의 최소 거리로 계산됩니다.
• 신뢰도 가중치 ($\kappa(\delta)$): $\exp(-\delta/\lambda)$로 정의되며, 타겟 표정이 학습 데이터에서 멀어질수록 감소합니다.
• 블렌딩: 최종 변형은 전체 용량을 가진 학습된 네트워크($D_\phi$)와 용량이 낮고 매끄러운 선형 베이스라인($D_{lin}$, 1차 테일러 근사)의 블렌드입니다:
  $$D_{final} = \kappa(\delta) \cdot D_\phi + (1 - \kappa(\delta)) \cdot D_{lin}$$
  이를 통해 멀리 외삽된 표정에 대해서는 모델이 공격적이고 신뢰도가 낮은 워핑을 피하기 위해 더 매끄럽고 안전한 선형 변형에 더 많이 의존하도록 보장합니다.

주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

1. 명시적 분리: 단일 특징 볼륨 워핑 방식과 대조되는, 퓨샷 동적 NeRF를 위한 정적-정체성/동적-표정 분리.
2. 정체성 보존 정규화 도구: 표정 관련 영역으로 표정 조건부 변형을 제한하여, 외삽 중 발생하는 정체성 드리프트를 직접적으로 해결하는 제약 조건.
3. 신뢰도 가중 워핑: 타겟 표정과 관측된 퓨샷 분포 사이의 근접성에 따라 변형 용량을 조절하는 적응형 메커니즘.
4. 평가 프로토콜: 외삽 거리에 따라 계층화된 평가를 수행하며, 표준 렌더링 품질 지표(PSNR, SSIM, LPIPS)와 함께 정체성 일관성 지표(안면 인식 임베딩 유사도)를 측정하는 새로운 프로토콜.

결과 및 평가 주장

본 논문은 수치적 결과가 포함된 완전한 경험적 연구를 제시하기보다는 평가 프레임워크를 제안합니다. 그러나 다음과 같은 구체적인 성능 기대치를 명시합니다:

• 원거리 외삽 단계 (Far-Extrapolation Tier): 저자들은 ICEF의 이점이 이 단계에서 가장 두드러질 것으로 예상합니다. 신뢰도 가중 메커니즘은 학습된 네트워크에 대한 의존도를 줄이고 더 매끄러운 선형 폴백(fallback)을 선호하게 만들며, 정규화 도구는 변형을 엄격히 제한하여 베이스라인보다 정체성을 더 잘 보존할 것으로 기대됩니다.
• 근거리 외삽 단계 (Near-Extrapolation Tier): 베이스라인 방법들이 이미 근처의 학습 표정에 의해 충분히 지원되므로, 성능 차이는 미미할 것으로 예상됩니다.
• 지표: 평가는 외삽 거리에 따른 정체성 드리프트를 정량화하도록 설계되었으며, 명시적 분리가 도전적인 퓨샷 원거리 외삽 환경에서 정체성 보존을 개선한다는 가설을 세우고 있습니다.

의의 및 한계

의의:
ICEF는 기존 퓨샷 동적 NeRF 방법에서 관찰되는 "정체성 드리프트(identity-drift)" 실패 모드를 해결하는 것을 목표로 합니다. 정체성 외형을 표정 변형으로부터 명시적으로 분리하고 외삽을 위한 안전장치를 도입함으로써, 이 프레임워크는 제한된 데이터로부터 일관된 정체성을 유지하면서 새로운 표정을 렌더링하는 특정 과제를 목표로 합니다.

한계:
저자들은 정규화를 위해 사용된 안면 영역 마스크($M(x)$)가 학습되거나 정체성 특화된 세그멘테이션이 아니라, 랜드마크로부터 유도된 **거칠고 고정된 사전 지식(coarse, fixed prior)**임을 인정합니다. 따라서 모든 얼굴 구조에 대해 표정 관련 영역을 완벽하게 포착하지 못할 수 있습니다. 본 논문은 $M(x)$를 모델과 함께 공동 학습하거나 정체성 특화 기하 구조에 조건화하는 것이 향후 개선을 위한 자연스러운 방향임을 시사합니다.