AMRD: Adaptive Multi-Teacher Relational Distillation for Lightweight Speech Emotion Recognition

당신이 아주 작고 빠른 로봇에게 목소리만 듣고도 인간의 감정을 이해하도록 가르치려 한다고 상상해 보세요. 이것이 바로 인공지능의 한 분야인 **음성 감정 인식(Speech Emotion Recognition, SER)**의 세계입니다. 이 기술은 스마트 어시스턴트가 "스트레스를 받으신 것 같네요, 마음을 진정시키는 음악을 들려드릴까요?"라고 말하거나, 의사들이 정신 건강을 모니터링하는 데 도움을 줄 수 있게 합니다. 문제는, 이 일을 잘 수행하는 '똑똑한' 컴퓨터들은 보통 도서관에 가득 찬 책들처럼 거대하다는 것입니다. 반면 로봇(스마트폰이나 스마트 스피커 같은)은 단 권의 공책처럼 아주 작습니다. 그들은 도서관 전체를 들고 다닐 수 없습니다.

이를 해결하기 위해 과학자들은 **지식 증류(Knowledge Distillation)**라는 기술을 사용합니다. 이것은 마치 마스터 셰프(교사)가 젊은 견습생(학생)에게 요리법을 가르치는 것과 같습니다. 견습생은 복잡한 레시피를 모두 담기에는 너무 작기 때문에, 마스터는 단순히 최종 요리만을 주는 것이 아니라 힌트, 팁, 그리고 음식의 '느낌'을 전달합니다. 보통은 한 명의 마스터 셰프가 있지만, 만약 두 명이라면 어떨까요? 예를 들어, 한 명은 매운 음식에 능숙하고 다른 한 명은 디저트에 능숙할 수 있습니다. 만약 당신이 이들의 지혜를 완벽하게 결합할 수 있다면, 당신의 견습생은 천재가 될 것입니다. 하지만 여기에는 함정이 있습니다. 때때로 한 셰프는 컨디션이 좋지 않아 나쁜 조언을 할 수도 있고, 다른 셰프는 매우 뛰어날 수도 있습니다. 또한, 단순히 무엇을 요리해야 하는지만 알려주는 것으로는 부족합니다. 재료들이 서로 어떻게 연관되어 있는지 그 '방법'을 가르쳐야 합니다. 이 논문인 AMRD는 두 명의 마스터 셰프를 관리하고, 작은 기기에서도 감정을 완벽하게 요리해낼 수 있도록 작은 학생을 가르치는 완벽한 시스템을 구축하는 것에 관한 이야기입니다.

문제점: 두 명의 셰프, 최악의 날, 그리고 작은 학생

연구자들은 큰 아이디어에서 시작했습니다. 두 개의 강력한 사전 학습된 AI 모델(WavLM과 data2vec)을 "교사"로 사용하여 훨씬 더 작고 가벼운 모델("학생")을 가르치는 것입니다. 이 교사들은 음성에 관한 모든 책을 읽은 초스마트 전문가와 같지만, 휴대폰에서 실행하기에는 너무 무겁습니다. 목표는 이들의 지식을 휴대폰에서 실행 가능한 아주 작은 학생 모델 안에 압축해 넣는 것이었습니다.

하지만 그들은 다른 방법들이 간과했던 두 가지 복잡한 문제에 부딪혔습니다:

1. "최악의 날" 문제: 때때로 한 교사는 분노를 인식하는 데는 뛰어나지만, 슬픔을 인식하는 데는 형편없을 수 있습니다. 때로는 역할이 뒤바뀌기도 합니다. 만약 단순히 두 교사의 조언을 똑같이 평균 내어 준다면(예를 들어 두 셰프에게 각각 50%의 투표권을 주는 것처럼), 학생은 잘못된 조언 때문에 혼란에 빠질 수 있습니다. 학생은 특정 순간에 '기세가 좋은' 교사의 말에 더 귀를 기울이고, 고전하고 있는 교사의 말은 무시할 수 있는 방법이 필요합니다.
2. "연결의 누락" 문제: 대부분의 교수법은 최종 답변(예: "이것은 분노이다")만을 봅니다. 하지만 이들은 다양한 목소리 사이의 관계를 놓칩니다. 예를 들어, 화난 속삭임과 화난 고함은 서로 다르지만, 둘 다 여전히 '분노'입니다. 똑똑한 교사는 이 두 목소리가 감정의 세계에서 '사촌' 관계라는 것을 압니다. 표준적인 방법들은 종종 이러한 가족적 유대 관계를 무시하며, 이로 인해 학생은 스스로 연결 고리를 추측해야 하는 상황에 놓입니다.

해결책: AMRD (스마트한 감독관)

저자들은 AMRD(Adaptive Multi-teacher Relational Distillation)라고 불리는 새로운 시스템을 제안했습니다. AMRD를 두 명의 교사와 학생 사이에 서 있는 아주 똑똑한 감독관이라고 생각해보세요.

1. "One-Class SVM" 감독관 (무드 링)
"최악의 날" 문제를 해결하기 위해, 시스템은 One-Class SVM이라는 도구를 사용합니다. 감독관이 특정 요리 과제들에 대한 두 셰프의 노트를 검토하는 모습을 상상해 보세요. 감독관은 단순히 "정답을 맞혔는가?"라고 묻는 대신, "그들의 답변이 서로 조화로운가?"라고 묻습니다.

• 만약 셰프 A가 "이것은 행복이다"라고 하고 셰프 B가 "이것은 슬픔이다"라고 말하더라도, 두 사람이 다른 답변들의 패턴에 대해서는 일치한다면, 감독관은 셰프 A가 일관성이 있다고 판단합니다.
• 만약 셰프 A가 비명에는 "행복"이라고 하고 웃음소리에는 "슬픔"이라고 하는 등 혼란스러운 모습을 보인다면, 감독관은 그 무질서를 포착합니다.
  그 후 감독관은 해당 특정 배치(batch)에 대해 각 교사에게 "신뢰도 점수"를 부여합니다. 교사가 일관성을 보이면 높은 점수를 주어 조언의 비중을 높게 설정하고, 혼란스러우면 비중을 낮춥니다. 이 과정은 매 배치마다(학습하는 매 몇 초마다) 일어나므로, 시스템은 교사가 컨디션이 나빠지기 시작하면 즉각적으로 적응합니다.

2. "관계적 유사성" 지도 (가계도)
"연결의 누락" 문제를 해결하기 위해, 시스템은 단순히 최종 답변만을 보지 않습니다. 시스템은 특징 맵(Feature Maps), 즉 모델의 내부적인 생각을 살펴봅니다.

• 시스템은 모든 목소리가 다른 모든 목소스와 얼마나 가까운지를 보여주는 지도를 그립니다. 이 두 목소리는 "사촌"(유사한 감정)인가요? 저 두 목소리는 "타인"(다른 감정)인가요?
• 시스템은 작은 학생 모델이 교사들과 정확히 동일한 지도를 그리도록 강제합니다. 설령 학생이 작아서 모든 세부 사항을 기억하지 못하더라도, 관계의 형태는 반드시 보존해야 합니다. 만약 교사들이 목소리 A와 목소리 B가 가깝다고 생각한다면, 학생도 반드시 가깝다고 생각해야 합니다. 이를 통해 학생은 단순히 라벨을 배우는 것이 아니라 감정의 "구조"를 배우게 됩니다.

결과: 작은 학생이 마스터가 되다

연구진은 이 시스템을 두 가지 유명한 인간 음성 데이터셋인 IEMOCAP(배우들의 녹음본)과 CREMA-D(스튜디오에서의 배우 녹음본)로 테스트했습니다. 그들은 아주 작은 모델(파라미터 0.78백만 개)부터 중간 크기(11.7백만 개)에 이르는 네 가지 크기의 "학생" 모델을 사용했습니다.

결과는 다음과 같습니다:

• 최고의 단일 교사를 능가함: 8가지의 서로 다른 테스트 시나리오 중 7가지에서, AMRD 시스템(두 명의 교사 사용)은 가장 뛰어난 단일 교사보다 더 나은 성과를 보였습니다.
• 작은 거인: 가장 작은 학생 모델은 거대한 교사들보다 120배 적은 파라미터를 가지고 있음에도 불구하고, IEMOCAP에서 52.30%, CRE와 **56.37%**의 정확도를 달이트했습니다. 이는 교사 없이 학습한 학생 모델보다 2.8에서 3.4 퍼센트 포인트 향상된 수치로, 엄청난 도약입니다.
• 적응의 힘: "무드 링"(적응형 가중치 부여) 기능을 껐을 때 시스템의 성능이 떨어졌습니다. 이는 특정 순간에 어떤 교사를 믿어야 하는지 아는 것이 매우 중요하다는 것을 입증합니다.
• 관계의 힘: "가계도"(관계적 손실) 기능을 껐을 때도 시스템의 성능이 떨어졌습니다. 이는 감정들이 서로 어떻게 연결되어 있는지 학생에게 가르치는 것이 라벨을 가르치는 것만큼 중요하다는 것을 증명합니다.

이것이 의미하는 바 (그리고 그렇지 않은 것)

이 논문은 스마트한 감독관을 통해 실시간으로 최적의 교사를 선택하고, 학생에게 감정들이 어떻게 연결되어 있는지 가르침으로써, 놀라울 정도로 뛰어난 감정 인식 능력을 갖춘 매우 작은 AI 모델을 만들 수 있음을 시사합니다. 이는 거대한 서버 팜 없이도 스마트폰이나 웨어러블 기기에 스마트한 감정 감지기를 탑재할 수 있다는 점에서 매우 중요한 의미를 갖습니다.

하지만 저자들은 자신들이 하지 못한 부분에 대해서도 주의 깊게 언급했습니다. 그들은 오직 두 명의 교사만을 사용했을 뿐, 열 명의 교사를 추가하면 더 좋아질지에 대해서는 테스트하지 않았습니다(물론 그럴 것이라 예상하지만, 검증되지는 않았습니다). 또한 오직 오디오(목소리)만을 다루었으며, 얼굴 표정이나 텍스트를 결합하여 시스템을 더 똑똑하게 만드는 시도는 하지 않았습니다. 마지막으로, 훈련 데이터와 테스트 데이터가 동일한 배우 집단에서 나온 데이터셋을 사용했기에, 완전히 새로운 사람이나 소음이 심한 카페 같은 환경에서도 완벽하게 작동하는지는 아직 증명되지 않았습니다.

하지만 현재로서 AMRD는 적절한 방식의 감독이 있다면, 작은 학생도 두 명의 거인으로부터 배워 자신만의 작은 세계에서 마스터가 될 수 있음을 보여줍니다.