Revisiting an Old Perspective Projection for Monocular 3D Morphable Models Regression

이 논문은 헤드마운트 카메라로 촬영된 근접 얼굴 영상에서 발생하는 원근 왜곡을 효과적으로 포착하면서도 기존 정사영 모델의 안정성을 유지하기 위해, 3D 모퍼블 모델 회귀를 위한 새로운 축소 파라미터가 포함된 의사 원근 카메라 모델을 제안합니다.

핵심

거울 속의 나, 왜 코가 작아 보일까?

"단일 카메라 3D 얼굴 모델"의 새로운 시선 (Revisiting an Old Perspective)

이 논문은 우리가 스마트폰으로 셀카를 찍거나, 헤드마운트 카메라 (머리에 쓰는 카메라) 로 영상을 찍을 때 발생하는 **'코가 작아 보이는 문제'**를 해결하기 위해 고안된 새로운 기술을 소개합니다.

간단히 말해, **"2D 사진 속 얼굴을 3D 로 재현할 때, 왜 코가 납작해지고 턱선이 공중에 뜰까?"**라는 질문에 대한 해답입니다.

---

1. 문제 상황: "원근감"을 잊어버린 카메라

우리가 사진을 찍을 때, 카메라는 **원근감 (Perspective)**을 가지고 있습니다.

• 비유: 손가락을 코 앞에 대고 한쪽 눈을 감으면 손가락이 코보다 훨씬 커 보입니다. 이것이 원근감입니다. 코는 얼굴에서 가장 튀어나온 부분이라 카메라에 가장 가깝기 때문에, 실제보다 더 크게 보입니다.

하지만 기존에 쓰이던 3D 얼굴 모델링 기술 (3DMM) 은 이 원근감을 무시하고 **등각 투영 (Orthographic Projection)**이라는 방식을 썼습니다.

• 비유: 마치 현미경이나 투명 유리판을 통해 얼굴을 보는 것과 같습니다. 거리가 멀어지거나 가까워지더라도 크기가 변하지 않고, 모든 부분이 똑같은 비율로 평평하게 비춰집니다.

그 결과 어떤 일이 생길까요?

• 코가 작아집니다: 실제로는 코가 튀어나와서 커야 하는데, 평평하게 처리되니 작게 재현됩니다.
• 턱선이 뜹니다: 얼굴 윤곽이 실제보다 더 넓게 퍼져 보이는 '뇌가 커지는 (Expanding Brain)' 현상이 발생합니다.

2. 해결책: "스마트한 축소 버튼" 추가하기

저자들은 기존 기술의 뼈대는 그대로 두되, **새로운 '축소 파라미터 (Shrinkage Parameter, ρ)'**라는 버튼을 하나 추가했습니다.

• 비유: 기존 3D 모델이 평평한 종이라면, 이 새로운 기술은 종이의 중앙을 살짝 들어 올리는 것과 같습니다.
• 작동 원리:
  • 이 'ρ (로우)'라는 숫자가 0이면, 기존처럼 평평한 원근감이 없는 상태입니다.
  • 이 숫자가 커질수록, 코처럼 카메라에 가까운 부분은 더 크게, 귀처럼 먼 부분은 더 작게 표현됩니다. 마치 망원경과 광각렌즈의 중간 같은 효과를 내는 것입니다.

이 방식의 가장 큰 장점은 기존에 훈련된 모델 (Orthogonal Projection 사용) 을 버리지 않고도, 이 '축소 버튼'만 추가해서 미세 조정 (Fine-tuning) 이 가능하다는 점입니다. 마치 오래된 자동차에 최신 내비게이션을 달아서 성능을 높이는 것과 같습니다.

3. 실험: "머리에 달린 카메라"로 증명하다

이 기술이 얼마나 효과적인지 확인하기 위해, 저자들은 **헤드마운트 카메라 (HMC)**로 찍은 100 만 장의 사진을 직접 만들었습니다.

• 상황: 카메라가 얼굴에서 불과 15~30cm 거리까지 다가와 찍은 사진들입니다. 이럴 때는 원근감이 극단적으로 강하게 나타납니다.
• 결과:
  • 기존 모델: 코가 작아지고 턱선이 비현실적으로 넓어졌습니다.
  • 새로운 모델: 코의 크기가 자연스럽게 표현되었고, 얼굴 윤곽도 실제와 비슷해졌습니다.

사람들이 직접 투표한 결과 (Perception Study) 에서도, 새로운 모델이 만든 3D 얼굴이 실제 사진과 가장 닮았다는 평가를 받았습니다.

4. 왜 기존 방식은 안 됐을까? (유사한 문제)

논문은 왜 단순히 '원근감'을 계산하는 기존 방식을 바로 적용하지 않았는지 설명합니다.

• 비유: 카메라의 **초점 거리 (f)**와 **피사체와의 거리 (z)**는 서로 얽혀 있습니다. 얼굴이 작게 보인 이유가 "얼굴이 멀리 있어서"일 수도 있고, "렌즈가 좁아서"일 수도 있습니다. 이 두 가지를 동시에 맞추는 것은 매우 어렵습니다.
• 해결: 그래서 저자들은 복잡한 거리 계산을 하지 않고, **"얼굴이 얼마나 왜곡되어 보이는가?"**를 직접 조절하는 'ρ'라는 하나의 숫자만 학습하게 했습니다. 이렇게 하면 기존 모델의 안정성을 해치지 않으면서도 원근감 효과를 자연스럽게 얻을 수 있습니다.

5. 결론: 셀카와 헤드캠을 위한 혁신

이 연구는 **"가까운 거리에서 찍은 얼굴 사진 (셀카, 헤드캠 영상) 을 3D 로 만들 때, 코가 작아지는 실수를 막아준다"**는 것을 증명했습니다.

• 기존: 멀리서 찍은 사진 (스튜디오) 에는 좋았지만, 가까이서 찍은 사진에는 코가 납작해짐.
• 새로운 기술: **ρ (축소 파라미터)**를 추가하여, 코가 튀어나온 것처럼 자연스럽게 표현됨.

이 기술은 영화 제작, 메타버스 아바타, 게임 캐릭터 제작 등 가까운 거리에서 얼굴을 정교하게 재현해야 하는 모든 분야에 큰 도움이 될 것입니다. 마치 2D 평면 그림에 입체감을 불어넣어, 우리가 보는 거울 속의 모습을 더 사실적으로 만들어주는 마법 같은 기술이라고 할 수 있습니다.

기술 요약

논문 요약: 단안 3D 모퍼블 모델 (3DMM) 회귀를 위한 투영법 재검토

1. 문제 정의 (Problem)

• 배경: 3D 모퍼블 모델 (3DMM) 을 영상에 피팅 (Fitting) 하는 것은 콘텐츠 제작의 핵심 기술이며, 최근 딥러닝 기반의 회귀 (Regression) 방식이 빠르고 정확한 결과를 보여주고 있습니다.
• 현황: 대부분의 기존 회귀 기반 방법들은 정사영 (Orthographic Projection) 을 사용합니다. 이는 초점 거리 ($f$) 와 물체까지의 거리 ($t_z$) 간의 모호성을 제거하여 학습을 안정화시키기 위함입니다.
• 문제점: 정사영은 원근 왜곡 (Perspective Distortion) 을 무시합니다. 이로 인해 근접 촬영 (Close-up) 된 얼굴 이미지 (예: 헤드마운트 카메라, 셀카) 에서 다음과 같은 아티팩트가 발생합니다.
  • 코의 축소: 코는 얼굴에서 가장 튀어나온 부분 (거리 $t_z$ 가 짧음) 이지만, 정사영을 사용하면 실제보다 작게 재구성됩니다.
  • '확장된 뇌' (Expanding Brain) 효과: 얼굴 윤곽선이 바깥쪽으로 비틀어져 이마 부분이 불필요하게 넓어 보이는 왜곡이 발생합니다.
• 핵심 질문: 기존에 정사영으로 훈련된 모델을 수정하지 않고, 근접 촬영에서 발생하는 원근 왜곡 효과를 어떻게 효과적으로 포착할 수 있을까요?

2. 방법론 (Methodology)

2.1. 새로운 카메라 모델: 의사 원근 투영 (Pseudo-Perspective Projection)

• 저자들은 기존 정사영 방정식에 수축 파라미터 (Shrinkage Parameter, $\rho$) 를 추가하여 새로운 투영 모델을 제안했습니다.
• 수식:
  $$\begin{pmatrix} u \\ v \end{pmatrix} = \begin{pmatrix} S\frac {v_x}{1+\rho v_z}\\ S\frac {v_y}{1+\rho v_z} \end{pmatrix}$$
  • 여기서 $\rho = 0$이면 정사영과 동일하며, $\rho$가 증가할수록 원근 투영의 특성을 띠게 됩니다.
  • 이 파라미터는 초점 거리 ($f$) 와 물체 거리 ($v_z$) 의 균형을 나타내며, 전체 물체의 크기를 크게 변화시키지 않으면서 원근 왜곡 효과만 분리하여 제어할 수 있습니다.
• 장점: 기존 정사영 기반 모델의 안정성을 유지하면서, $\rho$ 파라미터를 학습함으로써 원근 왜곡을 자연스럽게 보정할 수 있습니다.

2.2. 파인튜닝 전략 (Finetuning Strategy)

• 데이터셋 (HMC1M): 헤드마운트 카메라로 촬영된 100 만 장의 근접 얼굴 이미지 (HMC1M) 를 자체적으로 구축하여 사용했습니다. 이 데이터는 기존 데이터셋 (MEAD, FFHQ 등) 보다 훨씬 강한 원근 왜곡을 포함합니다.
• 학습 과정:
  1. 기존 모델 (SMIRK 등) 에 선형 레이어와 시그모이드 활성화 함수를 추가하여 $\rho$를 회귀하도록 설계합니다.
  2. 사전 지식 (Prior): HMC1M 에 대해서는 $\rho_{prior} = 4.0$으로, 다른 데이터셋 (MEAD, CelebA 등) 에 대해서는 $\rho_{prior} = 0.0$으로 설정하여 각 데이터셋의 특성에 맞는 수축 정도를 학습하도록 유도합니다.
  3. 마스크 기법: 코와 얼굴 윤곽선 주변의 모호성을 해결하기 위해, 학습 시 코 주변과 윤곽선 픽셀을 마스킹하여 렌더러가 잘못된 영역에 과도하게 적응하는 것을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 카메라 모델: 기존 정사영을 확장하여 원근 왜곡 효과를 포착할 수 있는 '수축 파라미터 ($\rho$)'를 도입했습니다.
2. 하위 호환성 있는 파인튜닝: 기존에 정사영으로 훈련된 모델 (SMIRK, EMOCA, DECA 등) 을 별도의 재학습 없이도 새로운 카메라 모델로 전환할 수 있는 파인튜닝 기법을 제시했습니다.
3. HMC1M 데이터셋: 헤드마운트 카메라로 촬영된 100 만 장의 근접 얼굴 이미지 데이터셋을 공개 및 활용하여 모델의 성능을 검증했습니다.

4. 실험 결과 (Results)

4.1. 정량적 평가

• 2D 랜드마크 재구성: HMC1M 데이터셋에서 제안된 방법 ('Ours') 이 기존 모델 (SMIRK, SMIRK retrained) 보다 랜드마크 재구성 오차가 가장 낮았습니다. 특히 턱선 (Jawline) 과 얼굴 전체 영역에서 우수한 성능을 보였습니다.
• 3D 메쉬 재구성 (NoW 데이터셋): 셀카 (Selfie) 하위 집합에서 제안된 방법이 기존 모델보다 현저히 낮은 재구성 오차를 보였습니다. 이는 셀카와 같이 원근 왜곡이 강한 이미지에서 제안된 모델이 더 정확한 3D 기하학을 복원함을 의미합니다.

4.2. 정성적 평가

• 시각적 비교: 헤드마운트 카메라 이미지에서 기존 모델은 코가 작아지거나 턱선이 비현실적으로 파여 보이는 (Hollow cheeks) 오류를 보인 반면, 제안된 방법은 코의 크기와 얼굴 윤곽을 자연스럽게 재구성했습니다.
• 퍼셉션 연구 (Perception Study): 아마존 메커니컬 터크를 통한 인간 평가에서, 제안된 방법이 생성한 3D 메쉬가 실제 이미지와 가장 잘 일치한다는 응답이 44.4% 로 가장 높았습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 근접 촬영의 해결: 이 연구는 헤드마운트 카메라나 셀카와 같이 근접 촬영된 얼굴 이미지에서 발생하는 원근 왜곡 문제를 효과적으로 해결합니다.
• 실용성: 기존에 정사영으로 훈련된 모델들을 별도의 복잡한 구조 변경 없이, 간단한 파라미터 추가와 파인튜닝만으로 근접 촬영 환경에 최적화할 수 있음을 입증했습니다.
• 한계 및 통찰: 자연계 (In-the-wild) 의 일반적인 이미지 (FFHQ, CelebA) 는 대부분 정사영에 가까워 큰 성능 향상이 나타나지 않았으나, 이는 데이터셋의 촬영 거리가 멀기 때문임을 분석했습니다. 반면, MEAD 데이터셋과 같이 중간 정도의 원근 왜곡이 있는 경우에도 성능이 개선되어, 원근 왜곡 보정이 다양한 시나리오에서 중요함을 시사합니다.

요약하자면, 이 논문은 3DMM 회귀 모델의 안정성을 해치지 않으면서 근접 촬영의 원근 왜곡을 보정할 수 있는 경량화된 '수축 파라미터' 기반의 카메라 모델을 제안하여, 헤드마운트 카메라 및 셀카 기반의 3D 얼굴 재구성 품질을 획기적으로 향상시켰습니다.