A Shared Latent for Partially-Labeled Multi-Task Facial Affect Recognition

로봇에게 얼굴을 보고 인간의 감정을 이해하는 법을 가르치는 과정을 상상해 보십시오. 이것은 단순히 미소나 찌푸림을 포착하는 것에 관한 것이 아닙니다. 이는 동시에 일어나는 복잡한 세 부분의 퍼즐을 해독하는 것에 관한 것입니다. 첫째, 사람의 기분이 얼마나 긍정적인지 혹은 부정적인지, 그리고 그 감정의 강도가 어느 정도인지를 측정하는 연속적인 척도인 '무드 미터(mood meter)'가 있습니다. 둘째, '분노'나 '놀람'과 같이 구체적인 감정에 이름을 붙이려는 '라벨 북(label book)'이 있습니다. 셋데, 우리가 감정을 숨기려 할 때조차 일어나는 얼굴 근육의 미세하고 불수의적인 움직임을 추적하는 '머슬 맵(muscle map)'이 있습니다.

까다로운 점은 현실 세계에서 우리는 완벽한 교과서적인 사례를 거의 접할 수 없다는 것입니다. 때로는 비디오 클립에 무드 수치는 있지만 근육 데이터는 없을 수도 있고, 다른 경우에는 근육 맵은 있지만 감정 라벨은 없을 수도 있습니다. 이는 마치 대부분의 조각이 빠져 있고, 가지고 있는 조각들조차 서로 다른 상자에 흩어져 있는 퍼즐을 맞추는 것과 같습니다. 대부분의 컴퓨터 프로그램은 이 누락된 조각들을 무시하거나 그것들이 무엇일지 추측하는 방식으로 처리하지만, 이 논문은 대담한 질문을 던집니다. "만약 우리가 빈틈을 무시하는 대신, 그 빈 조각들을 사용하여 전체 그림을 채우는 데 도움을 준다면 어떨까?" 저자들은 하나의 감정에 대한 부분적인 단서가 다른 감정들을 이해하는 데 도움이 될 수 있다는 것을 컴퓨터에게 가르치는 새로운 방법을 제안하며, 엉망이고 불완전한 데이터셋을 강력한 학습 도구로 탈바꿈시킵라.

---

누락된 조각들의 퍼즐

연구진은 그들이 "부분적으로 라벨링된 멀티태스크 학습(partially-labeled multi-task learning)"이라고 부르는 문제에 도전했습니다. 이것은 마치 한 명의 학생에게 선생님이 세 가지 다른 질문을 던지는 교실과 같습니다: "그 학생은 어떻게 느끼는가?" (무드), "그 학생은 무엇을 말하고 있는가?" (표정), 그리고 "어떤 근육이 움직이고 있는가?" (액션 유닛). 완벽한 세상이라면 모든 학생이 세 가지 질문에 모두 답할 것입니다. 하지만 현실 세계에서(구체적으로 s-Aff-Wild2라는 데이터셋에서), 세 가지 질문 모두에 답하는 학생은 약 37%에 불과합니다. 나머지는 단 하나 또는 두 개의 질문에만 답합니다.

전통적으로 이러한 문제를 다루는 컴퓨터 프로그램은 특정 학생에 대해 답할 수 없는 질문들을 단순히 버려버립니다. 만약 어떤 학생이 '무드' 질문에만 답했다면, 프로그램은 그 학생에 대해 '표정'과 '근육' 질문을 완전히 무시할 것입니다. 저자들은 이것이 낭비라고 생각했습니다. 그들은 설령 학생이 단 하나의 질문에만 답하더라도, 그 답변이 여전히 그 학생의 전반적인 성격에 대해 선생님에게 무언가를 알려준다고 주장했습니다.

마법 같은 "공유된 비밀"

이를 해결하기 위해 팀은 **"공유된 잠재 공간(Shared Latent)"**이라는 영리한 트릭을 발명했습니다. 모든 학생이 어떤 질문에 답하기 전에 반드시 작성해야 하는, 비밀스럽고 보이지 않는 공책을 상상해 보십시오. 이 공책에는 학생의 진정한 감정 상태를 압축하여 요약한 내용이 담겨 있습니다.

여기 마법이 있습니다. 설령 학생이 '무드' 질문에만 답하더라도, 그 답변은 그들로 하여금 그 비밀 공책을 업데이트하도록 강제합니다. '표정'과 '근육' 질문 역시 동일한 비밀 공책에 의존하기 때문에, '무드'에 대한 답변은 간접적으로 컴퓨터가 나중에 다른 두 질문을 예측하는 법을 배우도록 돕습니다. 이는 마치 당신이 친구에게 당신이 가장 좋아하는 색깔만 알려주었지만, 그 단 하나의 사실이 친구로 하여금 당신을 충분히 잘 알게 되어 당신이 좋아하는 음식과 음악까지 추측할 수 있게 돕는 것과 같습니다.

누락된 답변을 삭제해야 할 오류가 아니라, "마진화(marginalized)"(가능성을 평균 내는다는 뜻의 어려운 수학 용어)해야 할 단서로 취급함으로써, 컴퓨터는 훨씬 더 풍부한 인간 감정의 이해를 학습하게 됩니다.

두 눈의 힘

또한 논문은 컴퓨터의 "두뇌"를 구축하는 방법에 대해 놀라운 사실을 발견했습니다. 보통 과학자들은 하나의 초지능적인 두뇌를 만들려고 노력합니다. 하지만 여기서 팀은 두 개의 약간 다른 두뇌가 함께 작동하는 것이 더 낫다는 것을 발견했는데, 여기에는 조건이 있었습니다.

그들은 서로 다른 유형의 사전 훈련된 얼굴 인식기(백본이라 불리는) 두 개를 사용하는 실험을 했습니다. 이 두 개의 답변을 평균 냈을 때 결과가 좋아졌습니다. 그러나 이것은 두 두뇌가 "근접한 동료(near-peers)"일 때, 즉 대략적으로 지능 수준이 비슷하면서도 서로 다른 실수를 저지를 때만 작동했습니다. 만약 한 명의 천재와 한 명의 초보자를 사용한다면, 평균값은 도움이 되지 않았습니다. 그것은 마치 두 명의 형사가 있는 것과 같습니다. 만약 두 형사 모두 예리하지만 단서를 바라보는 관점이 다르다면 사건을 더 빨리 해결할 수 있습니다. 하지만 한 명은 천재이고 다른 한 명은 초보자라면, 천재는 초보자 때문에 끌려 내려가게 됩니다.

성공과 실패

결과는 인상적이었지만, 저자들은 무엇이 효과가 없었는지도 매우 주의 깊게 언급했는데, 이는 그만큼 중요하기 때문입니다.

• 좋은 소식: 표정 과업(감정 이름 맞히기)에서, 그들의 새로운 방법은 점수를 0.403(표준 전문 모델 사용 시)에서 0.446으로 끌어올렸습니다. 이는 다른 방법들이 도달하지 못한 상당한 도약이었습니다.
• 액션 유닛의 한계 돌파: 근육 추적 과업의 경우, 그들은 이전의 한계를 깨고 점수를 0.543에서 0.556으로 높였습니다. 이는 데이터를 더 추가해서가 아니라, 두 번째 "근접한 동료"의 두뇌가 도움이 되었기 때문입니다.
• 무드 미터: 연속적인 무드 점수(밸런스-각성)는 약 0.641 근처에서 머물며 거의 변하지 않았습니다. 저자들은 이것이 "노이즈" 범위 내에 있으며, 통계적으로 유의미한 개선은 아니었다고 언급했습니다.
• 실패한 것들: 그들은 근육 추적을 돕기 위해 외부 데이터(다른 연구의 데이터셋 등)를 추가하는 시도를 했으나, 결과에 변화를 주지 못했습니다. 또한 컴퓨터가 스스로를 가르치는 방식인 "평균 교사(Mean Teacher)" 방식도 시도했으나, 감정 이름 맞히기 과업을 개선하는 데 실패했습니다. 이는 문제가 질문의 가중치를 어떻게 두느냐의 문제가 아니라, "비밀 공책"(표현형, representation) 자체의 품질에 관한 문제였음을 증명했습니다.

결론

논문은 컴퓨터가 희귀한 감정(예: 공포나 혐오)을 어려워하는 이유가 더 나은 수학 규칙이나 더 많은 데이터가 필요해서가 아니라고 결론짓습니다. 그것은 컴퓨터가 얼굴을 "보는" 방식이 그 까다로운 감정들을 구분해낼 만큼 정교하지 못하기 때문입니다. "공유된 잠재 공간"을 사용하여 컴퓨터가 부분적인 단서로부터 학습하도록 강제하고, 똑똑하지만 서로 다른 두 개의 두뇌를 짝지음으로써, 그들은 무드, 표정, 그리고 근육의 움직임 사이의 보이지 않는 연결 고리를 보는 시스템을 구축해 냈습니다.

그들이 테스트 세트에서 달성한 최종 점수는 1.679였습니다. 이는 강력한 결과이지만, 저자들은 겸허합니다. 그들은 이것이 "인샘플(in-sample)" 엔드포인트(자신들이 튜닝한 데이터로 테스트된 결과)임을 인정하며, 진짜 시험대는 이 "공유된 비밀" 공책 아이디어가 다른, 보지 못한 데이터셋에서도 작동하는지 여부라고 말합니다. 다른 데이터셋에 대한 초기 테스트는 특정 조건 하에서 이 방식이 작동함을 시사합니다. 인간의 얼굴을 완벽하게 읽어내기 위한 여정은 계속되지만, 이 논문은 연구자들에게 어둠 속의 틈을 볼 수 있는 새롭고 강력한 손전등을 건네주었습니다.