On the limited utility of parallel data for learning shared multilingual representations

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 다국어 언어 모델 (Multilingual Language Models) 의 핵심 목표 중 하나는 언어 간 표현 (Representation) 을 공유하여 한 언어에서 학습된 지식을 다른 언어로 전이 (Cross-lingual Transfer) 하는 것입니다.
• 기존 관행: 이러한 표현 공유를 촉진하기 위해, 사전 학습 (Pretraining) 코퍼스에 병렬 데이터 (번역된 문장 쌍) 를 포함시키는 것이 일반적인 방법으로 여겨져 왔습니다.
• 문제 제기: 직관적으로는 병렬 데이터가 언어 간 정렬 (Alignment) 을 돕는다고 생각되지만, 실제로 병렬 데이터가 표현 공유에 얼마나 기여하는지, 그리고 그 정도가 데이터 양에 비례하는지에 대해서는 명확히 규명되지 않았습니다.
• 연구 질문: 사전 학습 코퍼스에 포함된 병렬 데이터의 양을 조절했을 때, 최종적으로 학습된 모델의 언어 간 표현 공유 수준에 유의미한 차이가 발생하는가?

2. 연구 방법론 (Methodology)

2.1 실험 설정

• 모델 아키텍처: 오픈소스 OLMo 디코더 전용 트랜스포머 아키텍처를 기반으로 한 14 억 파라미터 (1.4B) 모델 4 개를 처음부터 (from scratch) 학습시켰습니다.
  • 총 24 레이어, 2048 차원 잔여 스트림, 16 개의 어텐션 헤드를 가집니다.
• 데이터 구성: 총 2,000 억 토큰 (200B tokens) 규모의 영어 - 핀란드어 이국어 코퍼스를 사용했습니다.
  • 언어 비율: 영어 80%, 핀란드어 20% 로 고정.
  • 병렬 데이터 비율 (변수): 4 개의 모델에 따라 병렬 데이터 (번역 쌍) 의 비율을 다르게 설정했습니다.
    • lm-0: 0% (병렬 데이터 없음)
    • lm-1: 1%
    • lm-2: 2%
    • lm-5: 5%
  • 병렬 데이터 소스: OPUS 컬렉션 (HPLT2, CCMatrix, OpenSubtitles) 에서 추출하여 60 가지 이상의 다양한 인스트럭션/완성 형식으로 샘플링하여 과적합을 방지했습니다.
• 학습 환경: LUMI 슈퍼컴퓨터를 사용하며, 컨텍스트 윈도우 2048 토큰으로 학습했습니다.

2.2 평가 지표 (Evaluation Methods)

표현 공유 수준을 다각도로 분석하기 위해 5 가지 평가 방법을 적용했습니다.

1. 주성분 분석 (PCA) 시각화: FLORES+ 데이터셋의 문장 표현을 첫 두 주성분으로 투영하여 영어와 핀란드어 데이터 포인트가 중첩되는지 시각화했습니다.
2. 평행 문장의 코사인 유사도 (Cosine Similarity): 번역 쌍과 무작위 문장 쌍 간의 평균 코사인 유사도를 레이어별로 계산하여 정렬 정도를 측정했습니다.
3. 프로젝션 가중치 정준 상관 분석 (PWCCA): 20,000 개의 번역 쌍에 대해 선형 변환에 불변인 PWCCA 점수를 계산하여 표현 공간의 상관관계를 정량화했습니다.
4. 언어 특정 뉴런 (Language-specific Neurons) 분석: Kojima et al. (2024) 의 방법을 사용하여, 특정 언어를 예측하는 데 민감한 뉴런 (고분위수 평균 정밀도) 의 분포와 수를 레이어별로 분석했습니다.
5. 언어 제어 벡터 (Language Control Vectors) 효과: 학습된 제어 벡터를 사용하여 영어 문맥을 핀란드어로 생성했을 때의 유창성 (Fluency) 과 일관성 (Coherence) 을 LLM 저지 (Mistral Medium 3) 를 통해 평가했습니다.

3. 주요 결과 (Key Results)

3.1 학습 완료된 모델의 결과

• 병렬 데이터의 부재에도 표현 공유 발생: 병렬 데이터가 전혀 없는 모델 (lm-0) 을 포함한 모든 모델에서, 중간 레이어 (Middle Layers) 에 영어와 핀란드어 표현이 명확하게 중첩되는 것을 확인했습니다. 이는 병렬 데이터 없이도 표현 공유가 자연스럽게 발생함을 의미합니다.
• 병렬 데이터 양과 정렬 수준의 무관계: PWCCA 점수, 코사인 유사도, 언어 특정 뉴런의 분포 등 대부분의 평가 지표에서 병렬 데이터의 양 (0%~5%) 과 언어 간 정렬 수준 사이에 통계적으로 유의미한 상관관계가 발견되지 않았습니다.
  • 모든 모델은 학습이 완료되면 거의 동일한 수준의 정렬을 달성했습니다.
• 코사인 유사도의 한계: 번역 쌍의 코사인 유사도가 높게 나왔으나, 이는 번역 쌍뿐만 아니라 무작위 문장 쌍에서도 유사한 패턴 (레이어 4~6 에서 급증, 중간 레이어 유지, 후반부 감소) 을 보여, 이는 표현 공유보다는 모델의 이방성 (Anisotropy) 특성이나 토큰 임베딩의 잔여 효과일 가능성이 높음을 시사했습니다.
• 뉴런 분석:
  • 언어 특정 뉴런은 주로 초기 레이어와 최종 레이어에 집중되어 있었고, 중간 레이어에서는 거의 존재하지 않았습니다.
  • 병렬 데이터를 포함하더라도 '언어 중립적 (Language-agnostic)' 뉴런의 비율에는 큰 차이가 없었습니다. 다만, 병렬 데이터가 포함된 모델 (lm-1, lm-2, lm-5) 이 lm-0 에 비해 전체적인 언어 특정 뉴런의 수를 약간 감소시키는 경향이 있었습니다.

3.2 학습 과정 중 (Throughout Training) 결과

• 초기 학습 단계에서의 가속화: 학습 초기 단계 (약 20,000 스텝 이내) 에서는 병렬 데이터가 많은 모델 (lm-5) 이 병렬 데이터가 없는 모델 (lm-0) 보다 더 빠르게 언어 간 정렬이 이루어지는 경향을 보였습니다.
• 제어 벡터 실험: 초기 학습 단계에서 lm-5 모델이 제어 벡터를 적용했을 때 일관성 (Coherence) 점수 차이가 더 작게 나타나, 초기 표현 공유가 더 잘 이루어졌음을 시사했습니다.
• 수렴 부재: 학습이 진행됨에 따라 모든 모델에서 언어 특정 뉴런의 수가 오히려 증가하는 경향을 보였으며, 이는 언어 특정 뉴런 수를 정렬 지표로 사용하는 것의 한계를 드러냈습니다.

4. 주요 기여 및 결론 (Key Contributions & Conclusions)

1. 병렬 데이터의 제한적 유용성 입증: 직관과 달리, 사전 학습 코퍼스에 병렬 데이터를 포함시키는 것이 완성된 모델의 전체적인 언어 간 표현 공유 수준을 높이는 데 결정적인 영향을 미치지 않는다는 것을 실증적으로 증명했습니다.
2. 자연 발생적 정렬 (Emergent Alignment): 병렬 데이터가 없어도 (lm-0), 모델은 제한된 파라미터 용량 (Capacity Budget) 이나 다른 요인들 때문에 자연스럽게 중간 레이어에서 언어 간 표현을 공유하게 됩니다.
3. 초기 학습 가속화 효과: 병렬 데이터는 최종 정렬 수준을 높이지는 않지만, 학습 초기 단계에서 표현 공유가 이루어지는 속도를 가속화할 수 있음을 발견했습니다.
4. 뉴런 특성 변화: 병렬 데이터는 모델 내 언어 특정 뉴런의 수를 전반적으로 줄이는 경향이 있으나, 이는 표현 공유의 핵심 메커니즘이 아닌 부수적 효과로 보입니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 다국어 모델 학습 시 고비용의 병렬 데이터 수집이 반드시 필요한지에 대한 의문을 제기하며, 효율적인 데이터 구성 전략 수립에 기여합니다.
  • 표현 공유가 병렬 데이터에 의존하지 않고 모델 아키텍처나 학습 역학 내에서 자연스럽게 발생할 수 있음을 보여줍니다.
• 한계:
  • 언어 쌍: 영어와 핀란드어 (유형학적으로 먼 언어) 쌍만 사용되었으므로, 더 유사한 언어 쌍이나 다른 언어 조합으로의 일반화 가능성은 추가 연구가 필요합니다.
  • 모델 규모: 14 억 파라미터 규모의 모델로 제한되었으므로, 초대규모 모델 (Large-scale Models) 에서의 현상 일반화는 불확실합니다.
  • 병렬 데이터 비율: 0%~5% 범위 내에서 실험이 이루어졌으며, 20% 이상과 같은 높은 비율에서의 효과는 검증되지 않았습니다.

결론적으로, 이 연구는 병렬 데이터가 다국어 모델의 표현 공유를 위한 '필수 조건'이 아니라, 초기 학습을 돕는 '선택적 가속제'일 수 있음을 시사하며, 향후 연구에서는 병렬 데이터 외의 다른 요인 (모델 용량, 학습 전략 등) 이 표현 공유에 미치는 영향을 규명해야 함을 강조합니다.