기술 요약: EgoRelight

문제 정의

본 논문은 헤드마운트 디스플레이 (HMD) 의 제한된 시점으로부터만 완전한 신체의 사실적이고 재조명이 가능한 디지털 아바타를 생성하는 과제를 다룹니다. 혼합 현실 (MR) 텔레프레즌스는 가상 인간이 실제 또는 가상 환경과 구별할 수 없을 정도로 자연스럽게 융합되는 몰입형 경험을 약속하지만, 기존 솔루션들은 다음 세 가지 핵심 요구사항을 동시에 포괄적으로 해결하지 못합니다:

1. 정확한 모션 및 기하학적 캡처: 심각한 자기 가림과 제한된 시야를 겪는 단일 HMD 로부터 사용자의 전체 신체 모션과 의상 역학을 충실히 캡처하는 것.
2. 재조명이 가능한 외관: "내장된" 조명에 의존하는 대신, 새로운 임의의 조명 조건 하에서 사실적인 차폐 (확산 및 정반사) 를 합성하는 것.
3. 환경 조명 추정: 아바타를 물리적 세계에 원활하게 통합하기 위해 HMD 로부터 고동적 범위 (HDR) 환경 맵을 복원하는 것.

현재 접근 방식들은 주로 모션 캡처에 초점을 맞추거나 재조명 기능이 없거나, 휴대성이 없는 복잡한 스튜디오 설정 (예: 라이트스테이지) 을 필요로 하는 재조명을 요구하는 등, 이러한 문제들을 분리된 과제로 취급합니다.

방법론

EgoRelight 는 자기관측 인식 (Egocentric Perception), 재조명이 가능한 아바타 모델링, 테스트 시간 환경 맵 캡처의 세 가지 주요 단계로 작동하는 포괄적인 프레임워크입니다.

1. 자기관측 인식 및 기하학적 복원

아바타를 구동하기 위해 시스템은 HMD 의 스테레오 하향 카메라에서 밀집된 기하학적 신호를 추출합니다:

• 자세 추정: 스테레오 이미지와 헤드 자세로부터 희소 3D 키포인트를 예측하기 위해 FRAME 네트워크의 수정된 버전이 사용됩니다. 이어지는 역운동학 (IK) 솔버는 PCA 모델을 활용하여 손 제스처를 제한하고 시간적 일관성을 보장하며, 시간적으로 타당한 골격 모션을 최적화합니다.
• 깊이 추정: DepthAnythingV2 기반의 개인별 깊이 추정기가 스테레오 입력으로부터 측정 깊이 맵을 예측하도록 미세 조정됩니다. 이러한 맵은 3D 포인트 클라우드로 역투영됩니다.
• 깊이 조건부 애니메이션: 테스트 시간 최적화 대신 시스템은 순방향 "AnimationNet"을 사용합니다. 이 네트워크는 골격 모션과 역투영된 깊이 포인트 클라우드를 조건부 신호로 받습니다. 이는 임베디드 그래프 변형 파라미터와 정점별 오프셋을 계층적으로 예측하여 개인화된 매개변수 메시 템플릿을 변형시켜, 가시적인 정면 신체 기하학의 정밀한 복원을 보장합니다.

2. 재조명이 가능한 아바타 외관 모델링

아바타의 외관은 변형된 메시 (기하학용) 와 메시의 UV 공간에서 매개변수화된 3D 가우시안 원시들의 레이어 (고충실도 텍스처용) 로 구성된 2 층 표현을 사용하여 모델링됩니다. 렌더링 파이프라인은 학습 효율성과 물리적 정확도를 향상시키기 위해 확산 및 정반사 차폐를 분리합니다:

• 기하학 리프팅: GeoLiftingNet은 시간적 메시 시퀀스를 처리하여 고주파수 법선 맵과 평탄 조명 알베도 텍스처를 생성하여 기하학과 재료 간의 모호성을 해결합니다.
• 확산 및 정반사 분리:
  • 확산: DiffuseNet(CNN) 은 알베도, 그림자 맵, 그리고 법선 맵을 기반으로 뷰 독립적 확산 차폐와 가우시안 파라미터 (색상, 크기, 회전) 를 예측합니다.
  • 정반사: SpecularNet은 들어오는 조명 방향의 치환 불변성을 처리하기 위해 교차 주의 (cross-attention) 메커니즘을 활용합니다. 이는 Blinn-Phong 중요도 점수에 기반한 상위 k 개의 광선을 샘플링하여 6D 광선 정보 (조명 방향, 뷰 방향, 반벡터, 가시성) 를 인코딩합니다. 이를 통해 모델은 제한적인 분석적 BRDF 사전 지식 없이 복잡한 정반사 광 수송을 학습할 수 있습니다.
• 학습: 모델은 331 개의 프로그래밍 가능한 조명을 가진 라이트스테이지에서 캡처된 데이터로 훈련되며, 실제 HDR 이미지를 대상으로 광도적 감독을 받습니다.

3. 저렴한 HDR 환경 맵 캡처

혼합 현실 텔레프레즌스를 가능하게 하기 위해 시스템은 HMD 의 전방 카메라를 사용하여 사용자의 현재 환경 조명을 추정합니다:

• 스캔 및 인페인팅: 20 개의 샘플 프레임으로부터 360 도 LDR 파노라마가 재구성되고, 관찰되지 않은 영역을 채우기 위해 확산 모델을 사용하여 인페인팅됩니다.
• 역렌더링 보정: LDR 스캔이 학습 데이터의 HDR 색상 공간과 일치하지 않으므로, 시스템은 테스트 시간 역렌더링 과정을 수행합니다. 사전 훈련된 재조명이 가능한 아바타를 HMD 의 하향 시점에 렌더링하고, 관찰된 아바타 외관과 일치하도록 색상 보정 (이득) 및 감마 파라미터를 최적화합니다. 이는 LDR 환경 맵을 사실적인 재조명에 필요한 HDR 공간에 효과적으로 정렬시킵니다.

주요 기여

1. EgoRelight 프레임워크: 단일 HMD 만을 사용하여 정밀한 자기관측 전체 신체 모션 캡처, 사실적인 가상 인간 재조명, 그리고 환경 조명 복원을 포괄적으로 지원하는 최초의 시스템.
2. 깊이 조건부 메시 추적: 순방향 애니메이션 네트워크의 조건부 신호로 스테레오 깊이 맵을 활용하는 새로운 방법으로, 고비용의 테스트 시간 최적화 없이 고충실도 기하학적 복원을 달성합니다.
3. 모션 기반 재조명이 가능한 아바타: 확산 및 정반사 차폐를 분리하고, 분석적 BRDF 에 의존하지 않고 미시 조명 조건에 일반화하기 위해 특수한 광선 샘플링 및 교차 주의 전략을 활용하는 엔드 투 엔드 학습 외관 모델.
4. 야외 HDR 캡처: LDR 자기관측 카메라로부터 HDR 환경 맵을 캡처하고 색상 보정하는 저렴한 기술로, 물리적 환경에 아바타를 원활하게 통합할 수 있게 합니다.

실험 결과

저자들은 커스텀 라이트스테이지 데이터셋과 야외 테스트 시퀀스를 사용하여 네 명의 피험자에 대해 EgoRelight 를 평가했습니다.

• 기하학적 재구성: 깊이 조건부 아바타는 점 - 표면 거리 측면에서 (효율성 측면에서 EgoAvatar 와 같은 최적화 기반 방법을 포함하여) 최첨단 베이스라인을 능가했으며, 특히 가시적인 정면 표면에서 두드러졌습니다.
• 재조명 품질: 정량적 지표 (PSNR, SSIM, LPIPS, FID) 는 EgoRelight 가 경쟁 재조명이 가능한 아바타 방법 (예: Relighting4D, MeshAvatar) 과 재조명이 불가능한 베이스라인보다 현저히 우수함을 보여주었습니다. 정성적 결과는 고주파수 세부 사항 (주름, 머리카락) 의 우수한 보존과 새로운 조명 하에서의 정확한 색상 톤 매칭을 입증했습니다.
• 애블레이션 연구: 기하학 리프팅 네트워크, 확산/정반사 분리, 또는 교차 주의 메커니즘과 같은 구성 요소를 제거하면 주름 세부 사항 손실, 수렴 실패, 또는 비현실적인 금속성 하이라이트와 같은 눈에 띄는 저하가 발생했습니다.
• 조명 추정: 제안된 HDR 캡처 파이프라인은 올바른 조명 방향을 포착하지 못하거나 얼굴 세부 사항을 파괴하는 경우가 많은 이미지 기반 조화 도구 (예: IC-Light, Photoshop) 에 비해 더 자연스러운 차폐와 색상 일관성을 생성했습니다.

중요성 및 주장

본 논문은 EgoRelight 가 몰입형 혼합 현실 텔레프레즌스의 비전을 향한 중요한 단계라고 주장합니다. 성능 캡처, 재조명, 그리고 환경 추정을 단일 HMD 기반 파이프라인으로 통합함으로써, 스튜디오 기반 시스템의 한계와 기존 자기관측 아바타의 사실성 부족을 극복합니다. 저자들은 이 작업을 차세대 화상 회의 및 사회적 텔레프레즌스를 위한 기초 단계로 위치시키며, 사용자가 일관되고 물리적으로 타당한 조명과 함께 어떤 물리적 또는 가상 환경에도 디지털 트윈을 원활하게 삽입할 수 있게 한다고 설명합니다. 이 작업은 실시간 성능 (IK 제외 시 현재 프레임당 약 200ms) 과 훈련을 위한 개인별 라이트스테이지 데이터 의존성에 대한 한계를 인정하며, 범용 사전 지식과 실시간 최적화에 대한 향후 연구를 제안합니다.