One Model to Translate Them All? A Journey to Mount Doom for Multilingual Model Merging

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 은 다양한 언어를 지원하지만, 모든 언어 쌍을 위한 단일 모델을 훈련시키는 것은 계산 비용과 데이터 요구량이 매우 큽니다. 따라서 각 언어 쌍에 대해 독립적으로 파인튜닝된 모델을 배포하는 것이 일반적입니다.
• 문제: 독립적으로 파인튜닝된 여러 모델을 합쳐서 하나의 다국어 모델로 만드는 모델 병합 (Model Merging) 기술은 기존 데이터 없이도 모델을 통합할 수 있어 매력적입니다. 그러나 다국어 번역 (특히 생성형 번역) 과 같은 복잡한 작업에서 병합이 어떻게 작동하는지는 잘 알려져 있지 않습니다.
• 핵심 질문: 독립적으로 파인튜닝된 다국어 번역 모델들을 가중치 공간에서 병합하면 성능이 어떻게 변하며, 그 실패 원인은 무엇인가?

2. 방법론 (Methodology)

저자들은 다음과 같은 실험 설계를 통해 연구를 진행했습니다.

• 데이터 및 모델:
  • 기저 모델: Qwen-2.5-3B-Instruct.
  • 작업: 인도어 (힌디어, 벵골어, 타밀어, 텔루구어) 와 영어 간의 양방향 번역 (8 개 작업).
  • 훈련: Samanantar 코퍼스를 사용하여 각 언어 쌍별로 전체 파라미터 (Full-parameter) 를 파인튜닝하여 강력한 작업 특화 모델을 생성했습니다.
• 병합 전략 평가:
  • 시나리오:
    1. Many-to-One: 서로 다른 소스 언어 → 공통 타겟 (영어).
    2. One-to-Many: 공통 소스 언어 (영어) → 서로 다른 타겟 언어.
    3. 양방향 (Bidirectional): 반대 방향 모델들을 병합하여 양방향 시스템 구성.
  • 병합 알고리즘: Task Arithmetic, TIES, DARE, SCE-Merging 등 다양한 최신 병합 기법 적용.
• 분석 기법:
  • 스팬 조건부 뉴런 선택성 (Span-conditioned Neuron Selectivity): 입력 (소스) 과 출력 (타겟) 구간별로 활성화되는 뉴런을 분석하여 언어 특화 뉴런의 분포를 파악.
  • 뉴런 사용 정렬 (Neuron Usage Alignment, NUA): 다른 모델 간 동일한 뉴런이 얼마나 유사하게 활성화되는지 코사인 유사도로 측정.
  • 층별 중심 커널 정렬 (Layer-wise Centered Kernel Alignment, CKA): 내부 표현의 기하학적 유사성을 층별로 분석.
  • 주요 각도 분석 (Principal Angle Analysis): 표현 공간의 기하학적 정렬 상태를 측정.

3. 주요 결과 (Key Results)

실험 결과는 다국어 병합이 단일 작업 병합과 근본적으로 다른 어려움을 겪음을 보여줍니다.

• 성능 저하:
  • Many-to-One (소스 다양화): 병합 시 언어 간 성능 불균형은 줄어들지만, 개별 파인튜닝 모델의 최고 성능 (Peak Performance) 은 크게 저하됨.
  • One-to-Many (타겟 다양화): 심각한 성능 붕괴 발생. 병합된 모델은 사전 훈련된 베이스 모델보다도 성능이 낮아짐 (예: 영어→힌디어 BLEU 점수 29.15 → 6.5 로 급감).
  • 방향성 비대칭 (Directional Asymmetry): 소스 언어가 영어인 경우 (En→Indic) 병합 시 성능이 거의 무너지는 반면, 타겟이 영어인 경우 (Indic→En) 는 상대적으로 덜 파괴적임.
• 병합 실패의 원인 분석:
  • 뉴런의 재분포: 파인튜닝은 언어 특화 뉴런을 단순히 sharpen(선명하게) 하는 것이 아니라 재분배 (Redistribute) 합니다.
  • 층별 구조적 비대칭:
    • 임베딩 및 중간 층: 언어 간 공유가 잘 이루어짐 (기하학적 정렬 유지).
    • 상위 층 (Upper Layers): 생성 (Generation) 을 담당하는 마지막 디코딩 블록에서 언어별 특화가 극대화됨.
  • 기하학적 불일치: 독립적으로 파인튜닝된 모델들은 상위 층에서 생성 공간 (Generative Subspace) 의 기하학적 구조가 서로 정렬되지 않음. 이를 단순 평균화하면 생성 기능이 파괴됨.

4. 핵심 기여 (Key Contributions)

1. 최초의 체계적 연구: 백만 규모 코퍼스로 전체 파라미터를 파인튜닝한 다국어 번역 모델에 대한 가중치 병합 연구 수행 및 체크포인트 공개.
2. 방향성 비대칭 및 심한 저하 발견: 다국어 병합이 기존 멀티태스크 병합보다 훨씬 큰 성능 저하를 보이며, 특히 타겟 언어가 다를 때나 양방향 구성 시 치명적임을 입증.
3. 내부 메커니즘 규명:
   • 파인튜닝이 언어 특화 뉴런을 임베딩 층이 아닌 상위 변환기 (Transformer) 블록으로 집중시킨다는 발견.
   • 생성 단계의 기하학적 불일치가 병합 실패의 주원인임을 뉴런 수준 (NUA, CKA, Principal Angle) 에서 증명.
   • 병합 실패는 뉴런의 분리가 아니라, 공유된 뉴런 단위 내에서의 방향성 (Direction) 과 기하학적 구조의 불일치에서 비롯됨을 설명.

5. 의의 및 결론 (Significance)

• 이론적 통찰: 다국어 모델 병합이 실패하는 이유는 단순히 파라미터 간 충돌이 아니라, 독립적인 파인튜닝이 모델의 표현 기하학 (Representational Geometry) 을 언어별 생성 목적에 맞춰 재구성하기 때문임을 규명했습니다.
• 실용적 시사점:
  • 단순한 가중치 평균 (Weight Averaging) 은 다국어 생성 모델 통합에 적합하지 않을 수 있음.
  • 성공적인 병합을 위해서는 상위 층의 생성 공간 정렬을 고려한 새로운 병합 전략이 필요함.
  • 언어별 생성 메커니즘이 독립적으로 변형될 때, 공유된 의미 구조는 유지되더라도 언어별 출력 제어 기능이 붕괴될 수 있음을 시사 (코드 스위칭 현상과 유사한 메커니즘).

요약하자면, 이 논문은 "하나의 모델로 모든 것을 번역할 수 있을까?"라는 질문에 대해, 현재의 표준 병합 기법으로는 다국어 생성 모델의 통합이 어렵다는 결론을 내리며, 그 원인이 상위 층의 생성 공간 기하학적 불일치에 있음을 뉴런 수준의 분석을 통해 설득력 있게 증명했습니다.