Simple Language Normalization Wins: Cross-Lingual Speaker Verification for the TidyVoice 2026 Challenge

당신이 친구의 목소리를 알아보려고 한다고 상상해 보세요. 하지만 반전이 있습니다. 당신은 그 친구가 영어로 말할 때만 그를 알 수 있는데, 정작 그가 스페인어로 소리를 지르거나 일본어로 속삭일 때 그를 식별해야 하는 상황입니다. 이것이 바로 컴퓨터 과학의 한 분야인 '화자 검증(speaker verification)'의 까다로운 세계입니다. 기계는 오직 사람이 어떻게 소리 내는지만을 바탕으로 "네, 확실히 당신이 맞습니다"라고 말하는 법을 배웁니다. 보통 이 기계들은 군중 속에서 친구를 찾아내는 아주 똑똑한 탐정과 같지만, 친구가 갑자기 다른 언어를 말하기 시작하면 혼란에 빠집니다. 억양, 리듬, 그리고 특정 언어의 소리들은 마치 변장처럼 작용하여 그 사람의 진짜 정체를 숨길 수 있기 때문입니다. 연구자들이 던지는 핵심 질문은 이것입니다. 어떻게 하면 컴퓨터가 언어를 알지 못하더라도 언어에 현혹되지 않고 오직 목소리의 고유한 '지문'에만 집중하도록 가르칠 수 있을까?

"Simple Language Normalization Wins(단순한 언어 정규화의 승리)"라는 제목의 이 논문은 TidyVoice 2026 챌린지라는 주요 경진대회를 위해 바로 그 퍼즐을 다룹니다. 연구진은 거대하고 복잡한 새로운 뇌를 구축하는 대신, 놀라울 정도로 간단한 기술로 이 문제를 해결할 수 있다는 것을 발견했습니다. 그들은 목소리를 가리고 있는 '언어 노이즈'를 수학적으로 식별하고 빼낼 수 있다는 사실을 깨달았습니다. 이는 마치 라디오 주파수를 조절하여 잡음을 제거하고 음악이 선명하게 들리도록 하는 것과 같습니다. 언어적 차이를 제거하기 위해 Nuisance Attribute Projection(NAP)이라는 고전적이고 직관적인 방법을 사용하여 목소리의 차이를 걸러낸 결과, 시스템의 정확도를 크게 향상시켰습니다. 그들의 결과는 때때로 가장 단순한 도구가 가장 강력할 수 있음을 시사하며, 어려운 문제를 해결하기 위해 반드시 초복잡한 AI가 필요한 것은 아니며, 단지 신호를 어떻게 깨끗하게 만드느냐가 중요하다는 것을 증명합니다.

목소리 탐정의 딜레마

화자 검증 시스템을 목소리 탐정이라고 생각해 보세요. 이 탐정의 임무는 두 개의 오디오 클립을 듣고 그것들이 동일 인물의 것인지 결정하는 것입니다. 현실 세계에서 이것은 클럽 입구에서 보안 요원이 사람의 얼굴이 신분증 사진과 일치하는지 확인하는 것과 같습니다. 하지만 TidyVoice 2026 챌린지에서 보안 요원은 악몽 같은 상황에 직면해 있습니다. 사진 속 인물은 영어를 말했는데, 문 앞에 서 있는 사람은 한 번도 들어본 적 없는 38개의 다양한 언어로 소리를 지르고 있는 상황입니다.

사람이 다른 언어를 말할 때, 그들의 목소리는 변합니다. 단순히 단어만 바뀌는 것이 아닙니다. 입 모양을 만드는 방식, 문장의 리듬, 그리고 목소리의 높낮이(운율)가 모두 변화합니다. 컴퓨터에게 이러한 변화는 완전히 다른 사람처럼 보입니다. 연구자들은 테스트 순간에 "이것은 프랑스어다" 혹은 "이것은 스와힐리어다"라는 라벨이 필요하지 않은 방식으로 이 '교차 언어 불일치(cross-lingual mismatch)'를 해결하고자 했습니다. 그들은 컴퓨터가 언어를 무시하고 오직 화자에게만 집중할 수 있는 방법을 필요로 했습니다.

"매직 이레이저(마법 지우개)" 기술

팀은 이미 목소리를 인식하는 데 꽤 능숙한 매우 강력한 컴퓨터 모델(SimAM-ResNet34)로 시작했습니다. 그러나 이 모델을 다양한 언어로 테스트했을 때 여전히 실수가 발생했습니다. 모델 전체를 처음부터 다시 만드는 대신, 그들은 컴퓨터가 최종 결정을 내리기 직전 단계에 '클리닝 단계'를 추가하기로 했습니다.

그들은 **Nuisance Attribute Projection (NAP)**이라는 기술을 사용했습니다. 이를 이해하기 위해, 당신에게 거대한 구슬 주머니가 있다고 상상해 보세요. 어떤 구슬은 빨간색이고, 어떤 구슬은 파란색이며, 어떤 구슬은 초록색입니다. 하지만 주머니 안의 구슬들은 크기에 따라서도 분류되어 있습니다. 만약 당신이 '빨간색' 구슬을 찾고 싶은데 '크기'가 검색을 방해하고 있다면, 주머니를 평평하게 만들어 크기 차이가 사라지게 함으로써 색상만 남길 수 있을 것입니다.

컴퓨터의 세계에서 '크기'는 언어이고, '색상'은 화자의 정체성입니다. 연구진은 훈련 데이터에 있는 모든 목소리를 살펴보았습니다. 그들은 동일한 사람이 두 가지 다른 언어를 말할 때, 그들의 목소리 '벡터(수학적 표현)'가 특정 방향으로 이동한다는 것을 발견했습니다. 그들은 이 '언어 방향'을 계산했고, 그 방향이 존재하지 않는 벽 위로 모든 목소리를 투영하는 수학적 필터를 구축했습니다. 이는 3D 물체에 빛을 비추어 2D 그림자를 보는 것과 같지만, 특히 그 형태에서 '언어' 부분을 제거하는 방식으로 그림자를 만드는 것입니다.

일단 이 언어 '노이즈'를 제거한 후, 그들은 최종 비교를 위해 AS-Norm이라는 표준 점수 산출 방식을 사용했습니다.

결과: 단순함이 복잡함을 이기다

팀은 더 잘할 수 있는지 확인하기 위해 여러 가지 화려한 아이디어들을 테스트했습니다. 그들은 컴퓨터가 어떤 언어가 말해지고 있는지 알아내는 것을 싫어하도록 만드는 '적대적(adversarial)' 훈련을 시도했습니다. 또한 방대한 양의 라벨 없는 데이터로부터 학습하는 최신 자기 지도 학습 모델(WavLM 등)을 사용하기도 했습니다. 심지어 여러 시스템을 결합하는 시도도 했습니다.

결과는 다음과 같았습니다:

• 화려한 기술들은 이기지 못했다: '적대적' 훈련은 오히려 전체적인 시스템 성능을 떨어뜨렸습니다. 시스템이 언어를 무시하는 데 너무 치중한 나머지, 화자를 인식하는 법을 잊어버린 것입니다. 자기 지도 학습 모델(WavLM)은 14.69%에서 28.54%에 이르는 오류율을 기록하며 표준 모델보다 훨씬 낮은 성능을 보였습니다.
• 단순한 기술이 승리했다: '매직 이레이저(NAP)'와 표준 점수 산출 방식(AS-Norm)의 조합이 명백한 승자였습니다.
  • 기존 시스템은 개발 세트(development set)에서 **2.97%**의 오류율(EER)을 기록했습니다.
  • 여기에 언어 필터를 추가하자 오류율이 **2.18%**로 떨어졌습니다.
  • 최종 숨겨진 테스트 세트(Codabench 평가)에서 그들의 최고 시스템은 8.40을 기록하며 리더보드 1위를 차지했습니다.

이 논문은 이 문제를 해결하기 위해 반드시 완전히 새로운 복잡한 구조가 필요하다는 생각을 명시적으로 부정합니다. 그들은 강력한 기존 모델을 가져와서 그 위에 얹어진 언어를 단순히 '청소'하는 것이, 전체 뇌를 다시 훈련시키거나 더 복잡한 수학을 사용하는 것보다 더 효과적임을 보여주었습니다.

이것이 중요한 이유

연구진은 이 접근 방식이 테스트 중에 어떤 언어가 말해지고 있는지 알 필요가 없기 때문에 견고하다고 제안합니다. 이 방식은 '맹목적(blindly)'으로 작동하며, 이는 사용자에게 "지금 무슨 언어를 말하고 계신가요?"라고 항상 물어볼 수 없는 실제 환경에서 매우 중요합니다.

하지만 그들은 한계점도 지적했습니다. 그들이 사용한 훈련 데이터는 영어와 독일어 같은 큰 언어들에 크게 치우쳐져 있었습니다. 그들의 '매직 이레이저'가 평균적으로는 잘 작동했지만, 매우 다르게 행동하는 희귀 언어들에 대해서는 완벽하지 않을 수 있다고 의심합니다. 그들은 향 true한 공정성을 확보하기 위해 향후 연구에서 언어군을 별도로 다룰 필요가 있다고 제안합니다.

결국, 이 논문은 AI의 하이테크 세계에서도 때로는 가장 복잡한 해결책이 최선이 아닐 수 있다는 점을 상기시켜 줍니다. 단순히 언어 노이즈를 빼는 것만으로도, 연구진은 약간의 고전적인 수학이 최신 기술보다 더 강력할 수 있음을 증명했습니다.