기술 요약: 인간 얼굴의 스케치로부터 3D 모델 생성

문제 정의

인간 얼굴의 2D 선 스케치로부터 3D 모델을 생성하는 것은 컴퓨터 그래픽스 분야에서 중요한 과제입니다. 기존 방법들은 추상적인 스케치에서 3D 형태를 생성하거나 윤곽 매칭을 기반으로 모델을 변형할 수 있지만, 얼굴 표정의 구체적인 복잡성에는 종종 어려움을 겪습니다. 얼굴 표정은 얼굴의 윤곽을 크게 변화시켜 중립적인 얼굴에는 존재하지 않는 특징 (주름, 주름살) 을 만들어냅니다. 또한, 기존 데이터셋은 종종 성별이나 인종 편향을 겪으며, 많은 접근 방식은 정밀한 해부학적 움직임 대신 모호한 감정 범주 (예: "행복" 또는 "슬픔") 에 의존하여 만화 같은 결과물이나 사실성 부족을 초래합니다. 해결된 핵심 문제는 간단한 손으로 그린 스케치로부터 특정 표정을 포함한 사실적인 3D 얼굴 모델을 정확하게 재구성하는 방법입니다.

방법론

제안된 접근법은 표현 감지를 위한 합성곱 신경망 (CNN), 초기 재구성을 위한 매개변수 기반 3D 얼굴 모델, 그리고 세밀한 변형을 위한 액티브 스네이크 윤곽 (Active Snake Contours) 의 세 가지 구성 요소를 결합합니다. 워크플로우는 다음과 같은 세 가지 주요 단계로 진행됩니다:

1. 데이터셋 생성 및 표현 감지 (딥러닝)

스케치 내의 표현을 인식하도록 시스템을 훈련시키기 위해, 저자들은 3D 모델과 해당 스케치로 구성된 21,000 쌍 이상의 커스텀 데이터셋을 생성했습니다.

• 생성: 매개변수 기반 얼굴 모델인 "Valley Girl"과 Suggestive Contours 렌더링을 사용하여, 저자들은 얼굴 동작 (FACS Action Units), 머리 회전, 얼굴 특징 (눈 크기, 모양), 성별, 인종 등을 포함하는 53 개의 매개변수를 무작위화했습니다. 이는 무작위 변형을 가진 편향 없는 데이터셋을 보장했습니다.
• 훈련: 저자들은 스케치에서 특정 FACS Action Units(AU) 를 감지하기 위해 12 개의 별도 합성곱 신경망 (CNN) 을 훈련시켰습니다. 각 CNN 은 추가된 합성곱, 최대 풀링, 소프트맥스 계층을 갖춘 미세 조정된 GoogLeNet 아키텍처였습니다. 작업은 frontalis, brow furrow, smile, squint, grimace와 같은 AU 에 대한 활성 대 비활성 이진 분류였습니다.
• 입력 처리: 새로운 입력 스케치의 경우, 이러한 훈련된 CNN 들이 활성 AU 를 감지하여 그림에 포함된 표현을 효과적으로 디코딩합니다.

2. 매개변수 모델 초기화

활성 AU 가 감지되면, 시스템은 이 표현을 "Valley Girl" 매개변수 기반 3D 모델에 복제합니다. Valley Girl 은 Autodesk Maya 에서 개발된 생리학적 정확도를 갖춘 모델로, 얼굴 근육이 FACS AU 매개변수로 제어되는 블렌드셰이프 (blendshapes) 를 사용하여 모델링됩니다. 이 단계는 올바른 표현을 가진 3D 모델을 생성하지만, 특정 스케치에 비해 기하학적 비율이 정확하지 않을 수 있습니다.

3. 윤곽 매칭 및 변형 (액티브 스네이크 윤곽)

매개변수 모델을 입력 스케치의 특정 특징과 정렬하기 위해, 시스템은 액티브 스네이크 윤곽을 사용합니다.

• 프로세스: 입력 스케치와 표현이 매칭된 Valley Girl 모델의 회색조 렌더링을 (사용자 입력을 통해) 정렬하고 크기 조절합니다. 스케치는 이진화되고 윤곽이 추출됩니다.
• 스네이크 매핑: 이러한 윤곽은 "스네이크"(변형 가능한 모델) 역할을 하여 3D 모델 렌더링에 매핑됩니다. 스네이크는 내부 에너지 (부드러움) 와 외부 에너지 (가장자리와 밝기와 같은 이미지 힘) 로 구성된 에너지 함수를 최소화합니다.
• 변환: 시스템은 스케치 위의 스네이크 위치와 모델 렌더링 위의 위치 사이의 델타 (변위) 를 계산합니다. 과도한 보정을 피하기 위해 이러한 델타는 대상 정점별로 평균화됩니다. 매핑 오류를 방지하기 위해 큰 델타는 폐기됩니다.
• 적용: 계산된 변환은 "Soft Select" 변형을 사용하여 3D 모델 정점에 적용됩니다. 이를 통해 모델이 변형되어 매개변수 기반 베이스와 스케치의 특정 윤곽 사이의 간격을 메우고, 매개변수 모델만으로는 생성할 수 없는 특징을 처리할 수 있습니다.

주요 기여

이 논문은 해당 분야에 세 가지 주요 기여를 식별합니다:

1. 합성 데이터셋 생성: Valley Girl 을 사용하여 대규모 무작위화된 3D 모델/스케치 쌍 데이터셋을 생성했습니다. 실제 사진에서 파생된 데이터셋 (인구통계학적 편향을 포함할 수 있음) 과 달리, 이 데이터셋은 성별, 인종, 표현의 무작위화를 보장하여 딥러닝을 위한 강력한 훈련 환경을 제공합니다.
2. 스케치에서의 FACS AU 감지: 이 작업은 CNN 이 손으로 그린 얼굴 스케치에서 직접 FACS Action Units 를 감지하도록 훈련된 문헌상 최초의 사례입니다. 이는 거친 감정 분류를 넘어 정밀한 해부학적 표현 인식으로 나아갑니다.
3. 하이브리드 생성 파이프라인: 표현을 위한 딥러닝, 절차적 모델링 (Valley Girl), 윤곽 매칭 (액티브 스네이크) 의 독창적인 결합을 통해 3D 모델을 생성합니다. 이 접근법은 매개변수 모델에서 표현을 재현한 후 스케치의 특정 윤곽과 일치하도록 기하학적 변형을 수행할 수 있게 합니다.

결과

시스템은 합성 데이터셋에서 생성된 하나와 세 개의 손으로 그린 스케치를 포함한 네 가지 예시를 사용하여 평가되었습니다.

• 표현 감지: CNN 들은 스케치에서 활성 AU 를 성공적으로 감지했습니다. 일부 오탐지 (예: "grimaceL"만 존재할 때 "grimace"를 감지하거나, 입술 함몰을 "sneer"로 오해하는 경우) 가 발생했지만, 감지된 표현은 일반적으로 정확하여 매개변수 모델을 구동하기에 충분했습니다.
• 변형: 액티브 스네이크 윤곽은 스케치 윤곽을 3D 모델에 성공적으로 매핑했습니다. 결과적으로 생성된 "픽셀 델타"는 스케치의 특정 기하학에 맞게 모델을 변형할 수 있게 했습니다.
• 최종 출력: 최종 3D 모델은 사실적이고 입력 스케치와 충분히 일치하는 것으로 설명되었습니다. 시스템은 미소, 찡그림, 그리고 눈살 찌푸림과 비웃음과 같은 복잡한 조합을 포함한 다양한 표현을 성공적으로 처리했습니다.
• 성능: Macbook Pro 에서 평균 처리 시간은 모델당 약 35.56 초였습니다 (AU 감지 23.33 초, 스네이크 처리 4.10 초, 변환 적용 8.13 초).

중요성 및 주장

이 논문은 이 작업을 전문 예술가와 초보자 모두를 위한 3D 얼굴 모델링을 촉진하는 한 걸음으로 위치시킵니다.

• 표현 감지의 독창성: 저자들은 스케치에서 FACS AU 를 감지하는 시도가 이전에 시도된 바 없다고 주장하며, 광범위한 감정 범주나 사진 기반 데이터셋에 의존하는 방법과 구별됩니다.
• 순수 딥러닝의 한계 극복: CNN 과 윤곽 매칭을 결합함으로써, 저자들은 훈련 분포에 존재하지 않는 새로운 특징이나 특정 윤곽 세부 사항에 어려움을 겪는 순수 딥러닝 기반 접근법 (DeepSketch2Face 와 같은) 의 한계를 해결합니다. 액티브 스네이크의 사용은 매개변수 모델에 매핑되지 않는 윤곽을 식별하고 처리할 수 있게 하여, 현재 구현에서 이러한 특정 윤곽을 제외하더라도 "새로운 특징" 문제 (예: 흉터나 비정상적인 주름) 를 해결할 수 있는 길을 제공합니다.
• 실용적 유용성: 이 방법은 사용자가 캐릭터 디자인을 빠르게 프로토타이핑하거나 스케치를 3D 렌더링으로 시각화할 수 있게 하여, 2D 컨셉 아트와 3D 제작 자산 간의 간극을 메워줍니다.

저자들은 시스템의 현재 능력에 대해 겸손하게 남아 있으며, 완전히 새로운 특징 (예: 세 번째 눈) 을 생성할 수 없는 점과 초기 정렬을 위한 사용자 입력에 대한 의존성과 같은 한계를 인정합니다. 향후 작업은 데이터셋 확장, 상호작용을 위한 UI 개선, 비대칭성과 새로운 윤곽 처리의 정교화를 포함할 수 있다고 제안합니다.