Design and Evaluation of a Lightweight Real-Time Facial Expression Recognition System: A PyTorch Mini-Xception Implementation Trained on FERPlus.

사람의 얼굴을 관찰하고 그가 무엇을 느끼고 있는지 이해할 수 있는 컴퓨터를 상상해 보십시오. 이것이 바로 얼굴 표정 인식(facial expression recognition)의 목표입니다. 이는 우리 근육의 미세한 움직임을 행복, 슬픔, 또는 분노와 같은 구체적인 감정으로 번역하려고 시로하는 과학 분야입니다. 수십 년 동안 연구자들은 이를 수행하기 위해 복잡한 디지털 두뇌를 구축해 왔지만, 이러한 시스템은 종를 실행하는 데 거대하고 비싼 컴퓨터를 필요로 하는 경우가 많습니다. 이러한 무거운 시스템은 웹캠을 통해 실시간으로 스트리밍되는 비디오 피드처럼 실시간으로 작동해야 할 때 어려움을 겪습니다. 과제는 표정을 정확하게 인식할 만큼 똑똑하면서도, 지연되거나 멈추지 않고 일반적인 일상용 컴퓨터에서 실행될 수 있을 만큼 가벼운 시스템을 만드는 것이었습니다.

데반잔 차크라보티(Debanjan-Chakraborty)라는 연구자는 이 문제를 해결하기 위해 이 작업에 특화된 작고 효율적인 버전의 디지털 두뇌를 설계했습니다. 이 분야에서 흔히 쓰이는 거대하고 에너지를 많이 소비하는 모델 대신, 차크라보티는 '미니-엑셉션(Mini-Xception)'이라는 작고 효율적인 구조를 구축했습니다. 이 모델은 사람들이 일곱 가지 서로 다른 감정을 보여주는 수천 장의 얼굴 이미지가 담긴 FERPlus 데이터셋을 통해 학습되었습니다. 그러나 이 데이터셋에는 까다로운 장애물이 있었습니다. 바로 데이터의 불균형이 심하다는 점이었습니다. 행복하거나 무표정한 사람의 사진은 수천 장이었지만, 혐오나 공포를 나타내는 사진은 매우 적었습니다. 만약 컴퓨터가 이렇게 치우친 컬렉션으로부터 학습한다면, 희귀한 감정들을 완전히 무시하고 대부분의 경우에 맞기 위해 거의 모든 것에 대해 "행복"이나 "무표정"이라고 추측하게 됩니다.

이를 해결하기 위해 연구자는 컴퓨터가 희귀한 감정에 주의를 기울이도록 가르치는 다양한 방법들을 테스트했습니다. 불균형을 무시해 보기도 하고, 희귀한 감정에 최대치의 중요성을 부여해 보기도 했으며, 희고 적절한 수준의 가중치를 주는 중간 지점의 접근 방식도 시도했습니다. 결과는 중간 지점의 접근 방식이 가장 효과적이었습니다. 희귀한 감정에 과하게 반응하지 않으면서도 딱 적당한 가치를 부여하도록 학습 과정을 조정함으로써, 시스템은 일곱 가지 모든 감정을 높은 균형감으로 인식할 수 있게 되었습니다. 최종 모델은 조정 가능한 설정값이 57,000개 미만일 정도로 믿기지 않을 만큼 작았는데, 이는 수백만 개의 설정을 가진 일반적인 시스템과 비교하면 매우 작은 수치입니다. 이 작은 크기 덕분에 모델 전체의 저장 용량은 1메가바이트 미만이었으며, 이는 표준 장비에서도 쉽게 휴대하고 실행할 수 있게 해주었습니다.

하지만 진정한 시험대는 이 작은 시스템이 라이브 비디오 스트림을 따라갈 수 있는지 여부였습니다. 연구자는 웹캠을 사용하여 실시간으로 얼굴을 감지한 다음 즉시 표정을 분류하는 시스템을 설정했습니다. 그는 이를 고성능 노트북인 애플 M1 프로(Apple M1 Pro) 컴퓨터에서 테스트했습니다. 그 결과, 시스템은 인간의 눈이 연속적인 움직임으로 인지할 수 있을 만큼 매끄러운 초당 약 30프레임의 속도로 비디오를 처리할 수 있음을 발견했습니다. 얼굴을 포착하는 것부터 감정을 이름 붙이는 것까지의 전체 과정은 6밀리초도 걸리지 않았습니다. 놀랍게도 연구자는 이 특정 작업, 즉 개별 비디오 프레임을 하나씩 처리하는 작업에 있어서는 컴퓨터의 메인 프로세서가 전문 그래픽 칩보다 더 빠르다는 것을 발견했습니다. 이는 그래픽 칩이 대규모 데이터 배치에는 강력하지만, 각 개별 프레임마다 시작할 때 약간의 지연 시간이 발생하는 반면, 메인 프로세서는 작고 빠른 작업을 더 효율적으로 처리하기 때문입니다.

또한 이 시스템에는 얼굴 감지를 위한 안전장치가 포함되었습니다. 기본적으로는 현대적이고 빠른 방법을 사용하여 비디오에서 얼굴을 찾지만, 해당 방법이 실패할 경우 비디오 피드가 끊기지 않도록 즉시 오래되었지만 신뢰할 수 있는 기술로 전환할 수 있습니다. 출력 결과가 자연스럽게 보이도록 시스템은 결과를 부드럽게 처리하여, 감정 레이블이 프레임 사이에서 급격하게 변하지 않고 인간의 표정처럼 점진적으로 변화하도록 만들었습니다. 이 연구는 가볍고 세심하게 조정된 시스템이 거대한 슈퍼컴퓨터 없이도 실시간으로 얼굴 표정을 인식할 수 있음을 확인해 주었습니다.

그럼에도 불구하고 연구자는 이 시스템이 할 수 없는 부분에 대해서도 주의 깊게 언급했습니다. 컴퓨터는 얼굴의 물리적 형태만을 볼 뿐, 그 사람의 진정한 내면의 감정은 알지 못합니다. 미소는 진정한 기쁨일 수도 있고, 예의 바른 가면일 수도 있는데, 시스템은 그 차이를 구별할 수 없습니다. 또한, 이 시스템은 저해상도 이미지로 학습되었기 때문에 의료 상태를 진단하거나 민감한 상황에서 인간의 판단을 대체할 수 없습니다. 이것은 가시적인 단서를 인식하기 위한 도구이지, 인간의 영혼을 들여다보는 창이 아닙니다. 이 연구는 적절한 설계가 뒷받받아진다면 강력한 인공지능을 노트북에 들어갈 정도로 축소할 수 있으며, 거대한 하드웨어 없이도 일상적인 기술에서 실시간 감정 인식을 가능하게 한다는 것을 입증합니다.