Disentangling Speaker and Language Effects in Cross-Lingual Speaker Verification for Iberian Languages

기술 요약: 이베리아 언어의 교차 언어 화자 검증에서 화자 및 언어 효과의 분리

문제 정의

교차 언어 화자 검증(SV) 시스템은 등록(enrollance) 발화와 테스트 발화가 서로 다른 언어로 이루어질 때 일반적으로 성능 저하를 겪는다. 화자 검증은 이론적으로 언어적 내용과 독립적인 비언어적 단서에 의존해야 하지만, 실증적 연구에 따르면 현재의 모델들은 완전히 언어 중립적(language-agnostic)이지 않은 표현을 학습한다. 기존 연구의 결정적인 한계는 표준 평가 프로토콜이 언어 불일치(language mismatch)와 화자 변동성(inter-speaker variability)을 혼재시킨다는 점이다. 동일한 개인이 여러 언어를 구사하는 대규모 코퍼스를 수집하기 어렵기 때문에, 표준 벤치마크는 각 언어마다 서로 다른 화자를 사용하여 교차 언어 성능을 평가한다. 결과적으로, 관찰된 성능 저하는 순수하게 언어 차이 때문인지 아니면 화자 변동성 때문인지 명확히 규명할 수 없다.

방법론

이러한 혼재 요인을 해결하기 위해, 저자들은 스페인어, 카탈루냐어, 갈리시아어, 바스크어, 포르투갈어 등 5개 이베리아 언어에 적용되는 '이중 언어 동일 화자(bilingual same-speaker)' 평가 프레임워크를 제안한다.

데이터 구축:

• 출처: Mozilla Common Voice 코퍼스 (버전 25.0).
• 학습: 언어별로 동일한 샘플 수와 서로 다른 화자 정체성을 가진 엄격히 균형 잡힌 서브셋을 사용한다. 데이터 불균형이나 빈도 효과를 방지하기 위해 각 화자는 50개의 발화를 제공한다.
• 평가: 저자들은 스페인어와 적어도 하나 이상의 추가 이베리아 언어를 기록한 화자를 선택하여 이중 언어 동일 화자 테스트 세트를 구축하였다. 이를 통해 화자 정체성이 일정한 통제된 교차 언어 실험이 가능하다.
• 동적 학습 구간(Dynamic Training Interval): 성능 향상을 신뢰성 있게 측정하기 위해, 성능이 포화되기 전 급격히 증가하는 "동적" 학습 구간 $[N, 2N]$ (구체적으로 언어당 1,000~2,000개 샘플)을 식별한다.

모델 아키텍처:

• 기본 모델: 147개 언어로 사전 학습된 다국어 mHuBERT-1471 인코더.
• 미세 조정(Fine-tuning): 인코더는 무작위로 초기화된 선형 분류 헤드와 교차 엔트로피 손실을 사용하여 화자 식별을 위해 미세 조정된다. 훈련 후 헤드는 제거되며, 인코더는 임베딩 추출기로 사용된다.
• 훈련 프로토콜: AdamW 최적화를 사용하여 단일 에포크 동안 모델을 훈련한다. 초기화 및 데이터 구성 효과를 완화하기 위해, 실험은 20개의 독립적인 데이터 샘플링과 5개의 무작위 시드에 걸쳐 반복된다 (총 100회 실행).
• 임베딩 추출: 트랜스포머 은닉 표현의 시간적 풀링(temporal pooling) 후 L2 정규화를 수행한다. 검증은 코사인 유사도를 통해 수행된다.

분석 프레임워크:
본 연구는 쌍방향 교차 언어 전이를 정량화하기 위해 **교차 언어 전이 행렬(CLTM)**을 활용한다. CLTM은 대상 언어 $i$에 데이터 $j$를 추가했을 때의 성능 이득을, 동일한 대상 언어 데이터를 추가했을 때의 이득으로 정규화하여 측정한다.

• 지표: 언어 중립적 행동으로부터의 편차를 측정하는 상대적 프로베니우스 편차(RFD1), 방향성 차이를 나타내는 상대적 비대칭성(Asymrel), 그리고 일관성을 위한 평균 행 코사인 유사도(cosrows)를 사용한다.
• 임베딩 이동 분석: 이중 언어 화자의 경우, 저자들은 언어별 중심점(centroid)을 계산하고 언어 간 변위 벡터($\delta$)를 측정하여 임베딩 공간에서의 언어 유발 이동을 정량화한다.

주요 결과

1. 언어 의존성은 지속된다:
표준 평가(서로 다른 화자) 하에서 CLTM은 강한 언어 의존성을 드러낸다. 스페인어, 카탈루냐어, 갈리시아어는 양의 전이 클러스터를 형성하는 반면, 바스크어와 포르투갈어는 음의 전이를 보인다. 이베리아 서브셋은 44개 언어 글로벌 모델에 비해 언어 중립적 이상치로부터 편차가 감소했으나, 여전히 명확한 비대칭 구조를 유지하고 있다.

2. 화자 변동성의 영향:
동일한 이중 언어 화자로 평가를 제한했을 때:

• 로망스어군 (스페인어-카탈루냐어, 스페인어-갈리시아어): 이중 언어 설정은 CLTM의 편차(RFD1)와 비대칭성(Asymrel)을 일관되게 감소시킨다. 이는 표준 평가에서 관찰되는 교차 언어 성능 저하의 일부가 화자 변동성에 기인함을 나타낸다.
• 원거리/비로망스어군 (스페인어-바스크어, 스페인어-포르투갈어): 화자 통제의 효과가 제한적이다. 스페인어-바스크어는 여전히 강한 비대칭성을 보이며 (RFD1이 약간 증가함), 스페인어-포르투갈어는 상당한 음의 전이를 유지한다. 이는 이 쌍들의 경우, 화자 정체성과 무관하게 언어 불일치가 성능 저하의 지배적인 원인임을 시사한다.

3. 임베딩 이동:
동일한 화자라 할지라도 언어를 전환하면 임베딩 공간에서 체계적인 이동이 발생한다.

• 포르투갈어: 가장 큰 변위 크기와 가장 높은 방향적 일관성을 보이며, 이는 가장 강한 교차 언어 성능 저하와 상관관계가 있다.
• 갈리시아어: 가장 작고 구조화되지 않은 이동을 보이며, 이는 최소한의 성능 저하와 상관관계가 있다.
• 카탈루냐어 및 바스크어: 중간 단계의 기하학적 패턴을 보인다. 주목할 점은, 카탈루냐어와 바스크어가 서로 다른 CLTM 동작을 보임에도 불구하고 유사한 이동 기하학을 보이기 때문에, 임베딩 이동만으로는 저하 패턴을 완전히 설명할 수 없다는 것이다.

4. 언어적 상관관계:
관찰된 전이 패턴은 음운론적 관계와 일치한다:

• 스페인어-갈리시아어: 높은 음운적 근접성 (중첩되는 자음, 정렬된 모음 체계)은 최소한의 이동과 성능 저하를 초래한다.
• 스페인어-포르투갈어: 최대의 음운적 발산 (비모음, 슈와[schwa]와 유사한 소리, 모음 약화)은 가장 강한 성능 저하와 이동을 유발한다.
• 스페인어-바스크어: 5개 모음 체계를 공유함에도 불구하고, 자음 구조(치찰음, 파찰음)의 발산이 상당한 표현적 스트레인을 유발한다.

의의 및 주장

본 논문은 화자 변동성과 언어 불일치를 분리함으로써 교차 언어 SV에서 언어 의존성을 더 정밀하게 규명한다고 주장한다. 주요 발견은 다음과 같다:

1. 화자 변동성은 관찰된 성능 저하의 일부를 설명한다: 화자 정체성을 통제하면, 특히 밀접하게 관련된 언어들 사이에서 교차 언어 성능이 개선된다.
2. 언어 불일치가 여전히 주요 동인이다: 동일 화자 조건에서도, 고유한 언어 효과와 음운론적 발산에 의해 유발되는 상당한 성능 손실이 지속된다.
3. 체계적인 임베딩 이동: 동일한 화자에게도 언어 전환은 임베딩 공간에서 체계적인 이동을 유발하며, 이는 현재의 다국어 모델이 화자 정체성을 언어적 내용으로부터 완전히 격리하지 못함을 확인시켜 준다.

본 연구는 이베리아 언어를 위한 이중 언어 동일 화자 평가 세트를 구축하였으며, 화자 변동성이 교차 언어 격차에 기여하긴 하지만, 현재 SV 시스템의 근본적인 한계는 완전히 언어 중립적일 수 없다는 점에 있음을 입증하였다.