Sparse Attention to Emotion: Efficient Facial Emotion Recognition via Token Reduction

친구의 얼굴을 보고 그가 무엇을 느끼고 있는지 추측하려고 한다고 상상해 보세요. 당신은 행복한지 화가 났는지 알기 위해 피부의 모공 하나하나를 스캔하거나 속눈썹 개수를 셀 필요가 없습니다. 그저 미소의 곡선이나 눈가의 주름 같은 핵심적인 단서들을 포착하기만 하면 됩니다. 이것이 바로 컴퓨터 과학 분야에서 기계가 인간의 감정을 읽는 법을 배우는 **안면 감정 인식(Facial Emotion Recognition, FER)**의 핵심입니다. 이를 위해 현대의 컴퓨터들은 **비전 트랜스포머(Vision Transformer)**라는 강력한 도구를 자주 사용합니다. 비전 트랜스포머를 수백 개의 작은 퍼즐 조각(이를 "토큰"이라고 부릅니다)으로 사진을 나누고, 전체 그림을 이해하기 위해 모든 조각을 한꺼번에 살펴보려고 노력하는 매우 체계적인 탐정이라고 생각해보세요. 이 방식은 매우 똑똑하지만, 치명적인 결함이 있습니다. 모든 조각을 하나하나 보는 것은 엄청난 양의 뇌 용량과 시간을 소모하며, 이로 인해 스마트폰이나 로봇 같은 작은 기기에서 실행하기에는 너무 무겁고 느리다는 점입니다.

이 지점에서 파리 8 대학교의 연구진인 아야 마넬 지투니(Aya Manel Zitouni), 아이샤 제나크리(Aicha Zenakhri), 카림 하룬(Karim Haroun), 그리고 라르비 부비르(Larbi Boubchir)의 새로운 연구가 등장합니다. 그들은 단순하지만 대담한 질문을 던졌습니다. 컴퓨터가 감정을 맞추기 위해 정말 얼굴 전체를 다 봐야 할까, 아니면 가장 중요한 부분들만 봐도 충분할까? 그들의 대답은 명확한 "예, 적게 보고도 충분히 해낼 수 있다"였습니다. 그들은 **희소 주의 집중 감정(Sparse Attention to Emotion, SAE)**이라는 새로운 방법론을 개발했습니다. SAE는 모든 얼굴 조각을 억지로 쳐다보는 대신, 눈, 입, 그리고 볼의 일부와 같이 "주연 배우" 역할을 하는 부분만을 남기고 나머지 지루하고 중요하지 않은 부분들을 빠르게 잘라내는 똑똑한 편집자처럼 작동합니다. 놀랍게도, 그들이 이미지 조각의 90%를 버렸음에도 불구하고, 컴퓨터는 여데 모델들과 거의 비슷하게 감정을 맞혔으며, 훨씬 적은 노력으로 이를 수행해냈습니다.

문제점: 과하게 생각하는 사람 (The Over-Thinker)

당신이 미스터리를 풀려고 하는데, 중요한 몇 가지 단서만 찾는 대신 500페이지짜리 백과사전의 모든 페이지를 다 읽기로 결정했다고 상상해 보세요. 답을 찾을 수는 있겠지만, 당신은 기진맥진할 것이고 시간도 엄청 오래 걸릴 것입니다. 이것이 현재의 얼굴 인식 모델들이 하는 방식입니다. 그들은 얼굴을 작은 사각형(토큰)들의 거대한 격자로 취급하고, 모든 사각형과 다른 모든 사각형 사이의 관계를 분석하려고 시도합니다. 수학적으로 이는 "이차 복잡도(quadratic complexity)"를 생성하는데, 이는 사진이 커질수록 컴퓨터가 해야 하는 작업량이 폭발적으로 늘어난다는 것을 의미하는 멋진 표현입니다. 이 때문에 이러한 모델들은 우리가 휴대폰이나 웨어러블 기기처럼 일상에서 사용하는 "에지(edge)" 기기에서 실행하기에는 너무 무겁습니다.

해결책: 똑똑한 편집자

LIASD 연구소에서 근무하는 이 논문의 연구진은 감정을 판단할 때 얼굴의 모든 부분이 동일한 가치를 지니지는 않는다는 가설을 세웠습니다. 그들은 눈이나 입과 같은 특정 영역이 슬픔, 기쁨, 혹은 분노를 구별하는 데 필요한 "판별 정보(discriminative information)"를 담고 있는 반면, 나머지 피부는 그저 배경 소음에 불과하다고 믿었습니다.

이를 테스트하기 위해 그들은 **희소 주의 집중 감정(SAE)**이라는 모델을 구축했습니다. 이 모델이 어떻게 작동하는지 간단한 비유를 통해 설명하겠습니다:

1. 초기 스캔: 모델은 먼저 얼굴을 보고, 기존의 무거운 모델들처럼 얼굴을 토큰으로 나눕니다.
2. 성적표: 그 다음, ([CLS] 토큰이라 불리는) "똑똑한 질문"을 던져 얼굴의 어느 부분이 실제로 감정에 중요한지를 파악합니다. 그리고 모든 토큰에 점수를 부여합니다.
3. 대규모 제거: 이것이 마법 같은 부분입니다. 모델은 점수를 확인하고 이렇게 말합니다. "좋아, 우리는 상위 10%(또는 30%, 60%)의 토큰만 있으면 돼." 모델은 높은 점수를 받은 것들(보통 눈과 입)은 남겨두고 나머지는 버립니다.
4. 병합 기술: 하지만 잠깐, 그냥 삭제해버리면 구멍이 뚫려 버립니다! 만약 퍼즐 조각의 90%를 버린다면 그림이 무너질 것입니다. 그래서 SAE는 버려진 조각들을 모두 가져와 하나의 "융합된(fused)" 토큰으로 섞은 뒤, 그 하나의 토큰을 다시 혼합물에 추가합니다. 이는 마치 지루한 배경 장면들을 하나의 작은 공으로 뭉친 뒤, 메인 그림 옆에 테이프로 붙여놓는 것과 같습니다. 이제 당신은 중요한 디테일과 함께 나머지 부분에 대한 아주 작은 요약본을 갖게 되지만, 무거운 계산은 중요한 부분에 대해서만 수행하게 됩니다.

결과: 적은 노력, 동일한 지능

연구팀은 놀람, 공포, 혐오, 분노, 중립, 슬픔, 행복의 7가지 서로 다른 감정을 보여주는 실제 인물 사진이 담긴 방대한 데이터셋인 RAF-DB를 사용하여 이 아이디어를 테스트했습니다. 그들은 자신들의 새로운 "똑똑한 편집자"를 기존의 가장 뛰어난 방법들과 비교했습니다.

결과는 놀라울 정도로 효과적이었습니다. 연구진은 다음과 같은 사실을 발견했습니다:

• 토큰의 90%를 유지했을 때 (10%만 제거): 모델은 기존의 무거운 모델들과 대등한 성능을 보였습니다.
• 토큰의 60%를 유지했을 때 (40% 제거): 정확도가 **91.17%**에 달했으며, 최근의 트랜스포머 기반 방식들과 높은 경쟁력을 유지했습니다.
• 토킨의 30%를 유지했을 때 (70% 제거): 모델은 **91.00%**의 정확도로 여전히 강력한 모습을 보였습니다.
• 단 10%의 토큰만 유지했을 때 (90% 제거): 이미지 데이터의 90%를 버렸음에도 불구하고, 모델은 여전히 **91.13%**의 정확도를 달랐습니다.

이를 맥락적으로 이해하자면, 가장 진보된 기존 방식들(S2D* 또는 BTN 등)은 보통 약 **92.57%**의 정점을 찍는 정확도에 도달합니다. SAE의 최고 점수인 **91.17%**는 가장 무거운 모델들의 절대적인 정점보다는 약간 낮지만, 그 대가는 엄청납니다. 최대 **90%**의 토큰을 버림으로써, SAE는 계산 비용을 최대 **90%**까지 줄였습니다.

이 논문은 감정을 인식하기 위해 "완전한 얼굴 정보"가 필요하다는 생각에 명시적으로 반박합니다. 그들은 "전체 그림"을 보는 방식이 비효fer적이며, 특정 판별 영역에 집중하는 것이 단순한 지름길이 아니라 더 똑똑한 방식임을 보여줍니다.

이것이 왜 중요한가

이 발견의 아름다움은 이를 실행하기 위해 슈퍼컴퓨터가 필요하지 않다는 점에 있습니다. 90%의 데이터를 버려도 정확도를 크게 잃지 않는다는 것을 증명함으로써, 연구진은 안면 감정 인식을 "에지(edge)" 환경에 적합하도록 가볍게 만드는 길을 제시했습니다. 이는 미래의 앱들이 배터리를 소모하거나 클라우드 연결을 필요로 하지 않고도, 여러분의 스마트폰, 스마트워치, 심지어 작은 로봇에서 즉각적으로 여러분의 기분을 이해할 수 있음을 의미합니다.

저자들은 그들의 방법론인 **희소 주의 집중 감정(Sparse Attention to Emotion)**이 견고하고 효율적인 솔루션이라고 결론짓습니다. 이는 감정을 읽는 특정한 작업에 있어서는 '적은 것이 곧 많은 것(less is more)'일 수 있음을 시사합니다. 컴퓨터가 소음은 무시하고 신호에 집중하게 함으로써, 우리는 인간의 감정을 이해하는 더 빠르고, 저렴하며, 접근성이 높은 기술을 구축할 수 있습니다.