An Empirical Study of Handcrafted Feature Learning and Convolutional Neural Networks for Facial Expression Recognition

기술 요약: 안면 표정 인식(FER)을 위한 수작업 특징 학습과 합성곱 신경망(CNN)의 경험적 연구

문제 정의
안면 표정 인식(Facial Expression Recognition, FER)은 인간-컴퓨터 상호작용, 정신 건강 모니터링, 행동 분석 분야에서 응용되는 핵심적인 컴퓨터 비전 과제이다. 현대적 시스템들은 계층적 특징을 자동으로 학습하는 능력 덕분에 합성곱 신경망(CNN)에 주로 의존하고 있지만, HOG(Histogram of Oriented Gradients) 및 LBP(Local Binary Patterns)와 같은 고전적인 수작업 특징 기술자(handcrafted feature descriptors) 또한 베이스라인으로서 여전히 유효하다. 본 연구가 다루는 핵심 과제는 수작업 특징을 고전적 머신러닝 분류기와 결합했을 때, 제어된 실험실 환경에서 제약이 없는 실제 환경으로 전환될 때 경량 딥러닝 모델과 경쟁 가능한 성능을 달낼 수 있는지 여부를 결정하는 것이다.

연구 방법론
본 연구는 세 가지 서로 다른 복잡도를 가진 세 가지 데이터셋에 대해 세 가지 별개의 파이프라인을 체계적으로 비교 평가하였다:

1. HOG + SVM: HOG를 사용하여 기울기 기반 구조적 특징(에지 방향, 얼굴 윤곽)을 추출하고, 선형 서포트 벡터 머신(SVM)을 통해 분류하는 파이프라인.
2. LBP + 로지스틱 회귀: LBP를 통해 국소적 질감 패턴을 포착하고, 로지스틱 회귀를 사용하여 분류하는 파이프라인.
3. 경량 CNN: 배치 정규화(Batch Normalization), 맥스 풀링(MaxPooling), 드롭아웃(Dropout)을 포함하는 세 개의 합성곱 블록과 완전 연결 계층(fully connected layers) 및 Softmax 출력으로 구성된 커스텀 딥러닝 아키텍처로, Adam 옵티마이저를 사용하여 엔드투엔드(end-to-end) 방식으로 학습됨.

데이터셋
성능은 다음의 세 가지 난이도 수준을 나타내는 데이터셋에서 평가되었다:

• FER-2013: 조명, 포즈, 폐쇄(occlusion), 이미지 품질의 상당한 변화가 특징인 제약이 없는 실제 환경의 데이터셋 (~35,000장).
• CK+ (Extended Cohn-Kanade): 잘 정렬된 얼굴과 과장된 표정을 가진, 제어된 실험실 환경의 데이터셋.
• KDEF (Karolinska Directed Emotional Faces): 70명의 피험자를 대상으로 한 정면 이미지로 구성되었으며, CK+와 FER-2013 사이의 중간 단계 난이도를 나타내는 제약된 데이터셋.

주요 결과
분류 정확도로 측정된 실험 결과는 데이터셋의 복잡성에 따라 뚜렷한 성능 패턴을 보였다:

• CNN 성능: CNN은 모든 데이터셋에서 전반적으로 가장 우수한 성능을 달성했다. FER-2013에서 51.6%, KDEF에서 72.4%, CK+에서 96.9%의 정확도를 기록했다. CNN은 특히 제약이 없는 FER-2013 데이터셋에서 포즈 변화, 조명 변화 및 배경 노이즈에 대한 탁월한 강건성을 입증했다.
• HOG + SVM 성능: 이 접근 방식은 제어된 데이터셋에서 매우 뛰어난 성능을 보였으나, CK+에서 98.4%, KDEF에서 58.2%를 달성했다. 그러나 FER-2013에서는 성능이 44.0%로 급격히 떨어졌으며, 이는 기울기 기반의 구조적 기술자가 실제 환경의 가변성 하에서 일반화하는 데 어려움을 겪음을 시사한다.
• LBP + 로지스틱 회귀 성능: 이 파이프라인은 모든 데이터셋에서 가장 낮은 성능을 보였다 (FER-2013에서 25.0%, KDEF에서 14.7%, CK+에서 25.0%). 본 연구는 이러한 실패의 원인을 감정 식별에 필요한 얼굴 구성 요소(예: 눈, 입, 눈썹) 간의 전역적 공간 관계를 포착하지 못하는 질감 중심 표현의 한계로 돌렸다.

의의 및 기여
본 연구의 주요 기여는 데이터셋의 복잡성이 특징 표현의 선택 자체보다 인식 성능에 더 깊은 영향을 미친다는 점을 입증한 데 있다. 연구는 다음과 같은 몇 가지 핵심 사항을 강조한다:

1. 수작업 특징의 한계: HOG는 제어된 환경에서 강력한 베이스라인으로 남아 있으나, 제약이 없는 실제 응용 분야에 필요한 일반화 능력이 부족하다. 질감에만 의존하는 LBP는 견고한 FER를 수행하기에 불충분함이 증명되었다.
2. 학습된 표현의 우월성: CNN은 추출과 분류를 위해 공동 최적화된 계층적 특징을 자동으로 학습함으로써 고전적 방법보다 우수한 성능을 보인다. 이러한 엔드투엔드 학습은 복잡한 포즈 및 조명 변화를 더 잘 처리할 수 있게 한다.
3. 평가 맥락: 본 논문은 제어된 데이터셋(예: CK+)에서의 높은 정확도가 실제 환경에서의 효용성을 보장하지 않는다는 점을 강조한다. CK+와 FER-2013 사이에서 관찰된 상당한 성능 격차는 실제적인 실용성을 평가하기 위해 제약이 없는 데이터셋에서 FER 시스템을 평가해야 할 필요성을 뒷받침한다.

한계 및 향 향후 연구 방향
저자들은 CK+ 및 KDEF 데이터셋의 상대적으로 작은 규모, 전이 학습(transfer learning) 또는 사전 학습된 아키텍처의 부재, 그레이스케일 이미지만 사용한 점, 그리고 정적 이미지에 집중한 점을 한계로 인정한다. 향-후 연구로는 ResNet이나 Vision Transformer와 같은 아키텍처를 활용한 전이 학습, 수작업 특징과 학습된 특징을 결합한 하이브리드 접근 방식, 비디오 기반 인식, 그리고 의사결정 영역을 시각화하기 위한 설명 가능한 AI(XAI) 기법의 활용을 제안한다.