💻 computer science

OccFace: Unified Occlusion-Aware Facial Landmark Detection with Per-Point Visibility

OccFace는 인간 및 스타일화된 캐릭터를 포함한 다양한 얼굴에 대해 랜드마크 좌표와 개별 점의 가시성(visibility)을 동시에 예측함으로써, 폐쇄(occlusion) 상황에서도 강건한 얼굴 랜드마크 검출을 수행하는 통합 프레임워크입니다.

원저자: Xinhao Xiang, Zhengxin Li, Saurav Dhakad, Theo Bancroft, Jiawei Zhang, Weiyang Li

게시일 2026-02-12

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xinhao Xiang, Zhengxin Li, Saurav Dhakad, Theo Bancroft, Jiawei Zhang, Weiyang Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제 상황: "눈 가리고 아웅" 하는 인공지능

우리가 스마트폰으로 얼굴 인식을 하거나, 게임 캐릭터를 내 얼굴처럼 움직이게 만들 때 인공지능은 얼굴의 주요 지점(눈꼬리, 입술 끝, 코끝 등)을 점으로 찍어서 파악합니다. 이걸 **'랜드마크(Landmark)'**라고 해요.

그런데 지금까지의 인공지능은 두 가지 큰 어려움이 있었습니다.

"가려짐(Occlusion)의 문제": 손으로 입을 가리거나, 안경을 쓰거나, 머리카락이 얼굴을 가리면 인공지능은 당황해서 점을 엉뚱한 곳에 찍어버립니다.
"고개 돌리기(Self-occlusion)의 문제": 고개를 옆으로 확 돌리면, 반대쪽 눈이나 귀는 내 얼굴 뒤로 숨어버리죠? 기존 인공지능은 "안 보이는 건 안 보인다고" 말하는 대신, 억지로 보이지 않는 곳에 점을 찍으려다 보니 얼굴이 일그러져 보였습니다.

2. 해결책: OccFace (똑똑한 관찰자)

이 논문에서 만든 **'OccFace'**는 마치 **"눈치가 아주 빠른 탐정"**과 같습니다. 이 탐정은 두 가지 특별한 능력을 갖췄어요.

① "전체적인 윤곽을 보는 눈" (100개의 정밀한 지도)

기존 인공지능이 얼굴의 큰 특징만 대충 짚었다면, OccFace는 100개의 아주 세밀한 점을 찍습니다. 귀의 모양, 입 안쪽, 눈동자 위치까지 아주 꼼꼼하게 지도를 그려놓은 거죠. 지도가 정밀하니, 일부가 가려져도 "아, 이 정도 모양이면 여기가 눈이겠구나!"라고 훨씬 잘 추측할 수 있습니다.

② "보이는 것과 안 보이는 것을 구분하는 능력" (가시성 예측)

이게 이 논문의 핵심입니다! OccFace는 점을 찍을 때 단순히 위치만 찾는 게 아니라, **"이 점은 지금 눈에 보이는가? 아니면 가려졌는가?"**를 스스로 판단합니다.

동네 탐정 모드 (Local Branch): "어? 지금 손이 입을 가렸네? 그럼 입술 점은 '안 보임'이라고 표시해야지!" (가까운 곳의 방해물을 감지)
전체 맥락 모드 (Context Branch): "고개가 오른쪽으로 많이 돌아갔네? 그럼 왼쪽 귀랑 왼쪽 눈은 당연히 안 보이겠군!" (얼굴의 각도를 보고 전체적인 상황을 파악)

이 두 가지 모드를 적절히 섞어서, **"여기는 가려졌으니까 점을 찍어도 믿지 마세요!"**라고 우리에게 알려주는 것이죠.

3. 결과: "흔들림 없는 캐릭터 애니메이션"

이 기술이 적용되면 어떤 일이 벌어질까요?

여러분이 게임 캐릭터를 내 얼굴처럼 움직이게 만든다고 상상해 보세요. 기존 기술을 쓰면, 손으로 입을 가리는 순간 캐릭터의 입이 괴물처럼 일그러지거나 덜덜 떨리는 현상이 생깁니다.

하지만 OccFace를 쓰면, 인공지능이 **"지금 입은 가려져서 안 보여!"**라고 똑똑하게 판단하기 때문에, 가려진 부분은 억지로 움직이지 않고 자연스럽게 유지합니다. 덕분에 캐릭터의 움직임이 훨씬 부드럽고 진짜 사람처럼 자연스러워집니다.

💡 요약하자면!

기존 AI: "어? 가려졌네? 에라 모르겠다, 대충 여기쯤 찍자!" (결과: 얼굴 일그러짐)
OccFace: "음, 손에 가려졌군. 이 점은 '안 보임' 상태야. 그러니까 억지로 찍지 말고 주변 모양을 보고 자연스럽게 넘어가자!" (결과: 매끄럽고 정확한 인식)

1. 문제 정의 (Problem Statement)

기존의 얼굴 랜드마크 검출 기술은 주로 실제 사람의 얼굴에 특화되어 있으며, 다음과 같은 한계점을 가집니다:

도메인의 제한: 스타일화된 아바타, 게임 캐릭터, 로봇, 동물형 캐릭터 등 '인간형(human-like)' 얼굴의 다양한 기하학적 구조와 렌더링 스타일을 포괄하지 못함.
폐쇄(Occlusion) 대응 부족: 외부 물체(손, 머리카락 등)에 의한 폐쇄뿐만 아니라, 큰 머리 회전(Head Pose)으로 인해 발생하는 자기 폐쇄(Self-occlusion) 상황에서 랜드마크가 밀리거나 부정확하게 예측됨.
가시성(Visibility) 정보의 부재: 기존 모델들은 랜드마크 위치만 예측할 뿐, 해당 점이 실제로 보이는지(visible) 아니면 가려졌는지(occluded)에 대한 정보를 명시적으로 제공하지 않아 후속 작업(애니메이션 등)에서 활용하기 어려움.

2. 제안 방법론 (Methodology)

본 논문은 폐쇄에 강건하고 가시성을 명시적으로 예측하는 OccFace 프레임워크를 제안합니다.

(1) 통합 100포인트 레이아웃 (Unified 100-point Layout)

기존의 29/68/98포인트 레이아웃은 스타일화된 캐릭터의 세밀한 구조를 표현하기에 부족합니다. 이를 해결하기 위해 눈의 동공/홍채, 입 내부 구조, 귀 윤곽 등을 포함하는 더 조밀하고 표현력이 풍부한 100포인트 레이아웃을 도입했습니다.

(2) OccFace 모델 구조

Heatmap 기반 백본: Stacked Hourglass 구조를 사용하여 랜드마크 히트맵을 예측합니다.
기하학적 보조 맵 (Geometric Maps): 위치 예측의 안정성을 높이기 위해 점(Point) 맵과 에지(Edge) 맵을 추가로 예측하여 히트맵의 응답을 재가중(reweight)합니다.
폐쇄 예측 모듈 (Occlusion Prediction Module): 각 랜드마크의 가시성 확률( $\hat{v}$ $\overset{v}{^}$ )을 예측하기 위해 두 가지 경로를 결합합니다.
- Local Branch: 각 점 주변의 국소적 증거를 통해 외부 폐쇄를 감지.
- Cross-landmark Context Branch: 랜드마크 간의 상관관계를 통해 머리 회전에 따른 자기 폐쇄를 감지.
- Gated Fusion: 학습 가능한 게이트를 통해 국소 정보와 문맥 정보를 최적으로 결합합니다.

(3) 학습 및 평가 전략

Landmark-aware Masking: 수동 라벨링의 부족을 보완하기 위해, 마스크를 씌운 후 히트맵과의 중첩도를 계산하여 가시성 정보를 생성하는 의사 라벨링(Pseudo-labeling) 기법을 사용합니다.
Occlusion-aware Metrics: 단순히 전체 오차(NME)만 측정하는 것이 아니라, **보이는 점(NMEvis)**과 **가려진 점(NMEocc)**의 오차를 분리하여 측정하고, 가시성 예측 성능을 위해 Occ AP, F1, ROC-AUC 등을 도입했습니다.

3. 주요 기여 (Key Contributions)

최초의 범용적 접근: 외부 폐쇄와 회전에 의한 자기 폐쇄를 모두 고려하여 인간형 얼굴의 가시성을 예측하는 최초의 연구입니다.
OccFace 프레임워크: 국소적 증거와 교차 랜드마크 문맥을 결합하여 좌표와 가시성을 동시에 예측하는 통합 모델을 제안했습니다.
Genie-Face 데이터셋 구축: 다양한 도메인(아바타, 동물, 로봇 등)과 100포인트 레이아웃, 가시성 주석이 포함된 대규모 데이터셋을 구축했습니다.
평가 생태계 구축: 폐쇄 상황을 정밀하게 평가할 수 있는 새로운 지표와 학습 레시피를 제안했습니다.

4. 실험 결과 (Results)

랜드마크 정확도: 기존 벤치마크(COFW, 300W, WFLW)에서 경쟁력 있는 성능을 보였으며, 특히 새로운 Genie-Face 데이터셋에서 기존 모델(ORFormer 등) 대비 압도적인 성능 향상을 기록했습니다.
폐쇄 강건성: 가려진 영역(NMEocc)에서의 오차를 크게 줄이면서도, 보이는 영역(NMEvis)의 정확도는 유지했습니다.
가시성 예측: 제안된 가시성 예측 지표(Occ AP, ROC-AUC 등)에서 다른 베이스라인보다 월등히 높은 성능을 보였습니다.
애니메이션 적용: 예측된 가시성 정보를 활용하여 3D 아바타 애니메이션을 구동했을 때, 기존 방식보다 훨씬 부드럽고 떨림(jitter)이 적은 결과를 얻었습니다.

5. 의의 (Significance)

이 논문은 얼굴 랜드마크 검출의 범위를 실제 인간을 넘어 메타버스, 게임, 로봇 공학 등 광범위한 디지털 휴먼 분야로 확장시켰습니다. 특히 가시성 정보를 명시적으로 제공함으로써, 랜드마크 검출 결과가 단순히 "어디에 있는가"를 넘어 "그 점을 믿을 수 있는가"에 대한 답을 제공하여 후속 그래픽스 및 애니메이션 파이프라인의 안정성을 획기적으로 높였다는 점에서 큰 의의가 있습니다.