Tracking the emergence of linguistic structure in self-supervised models learning from speech

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 최근 음성 기술의 발전은 라벨이 없는 음성 데이터로 학습된 자가 지도 학습 (SSL) 모델 (예: Wav2Vec2, HuBERT) 에 힘입은 바가 큽니다. 이러한 모델들은 추상적인 언어 구조 (음소, 단어, 문법 등) 를 효과적으로 인코딩하는 것으로 알려져 있습니다.
• 문제:
  1. 발현 시점 (When): 다양한 수준의 언어 구조가 모델 훈련 과정에서 언제 등장하는가?
  2. 계층적 조직 (Where): 이러한 구조들이 모델의 어떤 레이어 (Layer) 에 분포되어 있는가?
  3. 학습 역학: 훈련 목표 (Pre-training objectives) 와 아키텍처의 차이가 언어 구조의 학습 궤적 (Learning Trajectory) 과 레이어별 조직화에 어떤 영향을 미치는가?
  4. 기존 연구들은 대부분 특정 언어 구조 하나에 집중하거나 영어 데이터에 국한되어 있어, 다양한 구조 간의 상호작용과 일반화 가능성을 포괄적으로 이해하는 데 한계가 있었습니다.

2. 방법론 (Methodology)

2.1 모델 및 데이터

• 모델: 총 6 개의 모델을 훈련했습니다.
  • Wav2Vec2: 대비적 손실 (Contrastive loss) 을 사용.
  • HuBERT-I1: 음향 특징 (MFCC) 기반의 k-means 클러스터링으로 생성된 의사 레이블 (Pseudo-labels) 을 예측.
  • HuBERT-I2: HuBERT-I1 의 은닉층 (Hidden layer) 표현을 기반으로 생성된 더 추상화된 의사 레이블을 예측 (반복적 정제 과정).
  • 아키텍처: 모두 7 층 CNN + 12 층 Transformer 로 구성.
• 데이터: 네덜란드어 음성 데이터 831 시간 (CGN, CommonVoice, MultiLingual Librispeech 등).
• 비교군: 음성 데이터가 아닌 'AudioSet'의 비음성 (Non-speech) 환경 소리로 훈련된 Wav2Vec2 모델을 베이스라인으로 사용.

2.2 분석 기법 (Representational Probes)

모델 내부 표현 (Embeddings) 에서 9 가지 수준의 언어 구조를 탐지하기 위해 다양한 프로빙 (Probing) 기법을 적용했습니다.

1. 음향 정렬 (Acoustic alignment): MFCC 와의 유사성 (RSA).
2. 음소 클러스터링 (Phone clustering): LDA 기반 실루엣 점수 (Silhouette score).
3. 음절 형태/유형 클러스터링 (Syllable form/type clustering).
4. 단어 형태 클러스터링 (Word form clustering).
5. 동음이의어 구별 (Homophone disambiguation): ABX 태스크 (발음은 같지만 의미가 다른 단어 구분).
6. 의미 정렬 (Semantic alignment): 텍스트 기반 Fasttext 임베딩과의 유사성 (RSA).
7. 품사 클러스터링 (Part-of-speech clustering).
8. 구문 구조 (Syntactic structure): 의존 구문 분석 (Dependency parsing) 재구성 능력 (UUAS 점수).

2.3 분석 축

• 레이어별 분석: CNN 출력부터 Transformer 의 12 번째 레이어까지 각 단계에서의 구조 인코딩 정도 측정.
• 시간적 분석: 훈련 과정 (100k, 200k 스텝) 을 거치며 중간 체크포인트마다 구조가 어떻게 진화하는지 추적.

3. 주요 결과 (Key Results)

3.1 레이어별 조직화 (Layerwise Patterns)

• Wav2Vec2 & HuBERT-I1:
  • 초기 레이어: 음향, 음소, 음절 수준의 구조가 강하게 인코딩됨.
  • 중기 레이어 (약 7 층): 어휘 (단어) 및 구문 (문법) 정보가 정점을 찍음.
  • 후기 레이어: 다시 음향적 목표에 특화되어 추상적 구조 인코딩이 감소.
• HuBERT-I2 (반복적 정제 모델):
  • 상당히 다른 패턴: 추상적인 구조 (의미, 구문 등) 가 음소/음절/단어 형태보다 더 일찍 피크를 이루고, 후기 레이어에서 다시 감소함.
  • 동시 인코딩: 고차원 예측 태스크 (반복적 정제된 의사 레이블) 는 여러 수준의 언어 구조가 고위 레이어에서 동시에 인코딩되도록 유도함 (병렬성 증가).
  • HuBERT-I2 는 HuBERT-I1 의 6 번째 레이어 표현을 기반으로 학습되었음에도, I1 에서 불완전하게 인코딩되었던 고차원 구조 (품사, 구문) 를 더 잘 학습하여 성능을 향상시킴.

3.2 학습 역학 및 발현 시점 (Learning Trajectories)

• 일반적 순서:
  1. 음향 (Acoustic): 훈련 초기 (10k 스텝 이내) 에 가장 먼저 최적화됨.
  2. 하위 어휘 (Sub-lexical): 음소, 음절, 단어 형태가 그 다음으로 학습됨.
  3. 고차원 구조 (High-level): 품사 (POS) 와 구문 (Syntax) 구조는 가장 늦게 (약 25k~50k 스텝 이후) 비음성 베이스라인을 능가하며 학습됨.
• HuBERT-I2 의 특징: 다른 모델들과 달리 학습 곡선이 더 평행 (Parallel) 하게 진행됨. 이는 반복적 정제 (Iterative refinement) 가 고차원 구조의 학습을 조기에 유도하고 병렬성을 높인다는 것을 시사합니다.
• 수렴: 대부분의 지표는 100k 스텝 이전에 최대 성능에 도달 (Ceiling effect) 하지만, 구문 구조 (Syntax) 는 200k 스텝까지 지속적으로 향상됨. 이는 문맥 통합 (Contextualization) 이 단어 수준을 넘어 문장 수준으로 확장되는 데 시간이 더 걸릴 수 있음을 의미합니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 포괄적인 계층적 분석: 기존 연구들이 개별 구조에 집중했던 것과 달리, 음향부터 구문까지 9 가지 수준의 언어 구조를 동일한 데이터와 모델 세트로 비교 분석하여 언어 구조의 계층적 발현 순서를 명확히 규명했습니다.
2. 학습 목표의 영향 규명: HuBERT-I2 의 '반복적 정제 (Iterative refinement)' 전략이 모델의 레이어별 조직화와 학습 역학에 결정적인 영향을 미친다는 것을 증명했습니다. 이는 단순한 예측 목표의 차이를 넘어, 고차원 의사 레이블이 모델이 추상적 언어 구조를 학습하는 방식을 근본적으로 바꾼다는 것을 보여줍니다.
3. 시간 척도와 추상성의 관계: 언어 구조의 학습 순서는 정보의 통합 시간 척도 (Timescale) 와 밀접한 관련이 있음을 발견했습니다. 즉, 모델은 먼저 언어 단위 (단어 등) 를 식별하는 능력을 배운 후, 이를 조합하는 구문적 규칙을 학습하는 것으로 보입니다.
4. 인지 과학적 함의: 인간의 언어 습득 과정 (단위 식별 후 조합 학습) 과 유사한 학습 궤적을 SSL 모델에서도 관찰함으로써, 이러한 모델이 인간 언어 처리 메커니즘을 모방하는 데 유효한 도구임을 시사합니다.

5. 결론

이 연구는 자가 지도 학습 음성 모델이 단순히 음향 패턴을 학습하는 것을 넘어, 시간의 흐름에 따라 계층적으로 언어 구조를 구축한다는 것을 입증했습니다. 특히, HuBERT 의 반복적 정제 전략이 모델이 고차원 언어 정보를 더 일찍 그리고 더 병렬적으로 학습하도록 유도한다는 점은 향후 더 효율적인 언어 모델 설계와 인간 언어 학습 이론 연구에 중요한 통찰을 제공합니다.