기술 요약: 임베딩 공간 구조에는 이론적인 다국어의 저주가 존재하지 않는다

문제 정의

"다국어의 저주(Curse of Multilinguality, COM)"는 고정된 용량을 가진 다국어 모델의 언어 수가 증가함에 따라 성능이 저하되는 현상으로, 자연어 처리 분야에서 잘 알려진 현상이다. 이러한 성능 저하는 모델의 고정된 자원이 너무 많은 언어에 너무 얇게 분산되어 발생하는 "용량 희석(capacity dilution)"과 그로 인한 부정적 간섭 때문인 것으로 설명되곤 한다. 기존 연구들은 외부 태스크 성능(예: 기계 번역, XNLI)을 통해 이를 경험적으로 탐구하고 개선 전략(예: 더 나은 데이터 샘사플링, Mixture-of-Experts)을 제안해 왔으나, 근본적인 이론적 질문은 여전히 해결되지 않은 상태로 남아 있다. 즉, 제한된 용량의 모델에서 완벽한 단일 언어 품질과 교차 언어 정렬을 유지하면서 증가하는 언어 커버리지를 수용하는 것이 본질적으로 불가능한가? 구체적으로, 임베딩 공간의 구조 자체가 언어 수가 늘어남에 따라 급격히 증가하는 이론적 한계를 부과하는가?

방법론

저자들은 외부 태스크 성능이 아닌 임베딩 공간의 기하학적 구조에 초점을 맞추어, 이 문제를 이론적이고 내재적인 관점에서 접근한다.

1. "완벽한 다국어성(Perfect Multilingality)"의 공식화
논문은 고품질 참조 개념 공간 $Z$에 대해 $L$개의 언어를 인코딩하는 임베딩 공간 $X_L$의 두 가지 내재적 조건을 통해 "완벽한 다국어성"을 정의한다.

• 단일 언어 구조(Monolingual Structure): 모든 언어 $\ell$에 대하여, 단일 언어 하위 공간 $X_L^\ell$은 참조 공간 $Z$와 동일한 유사도 순위를 보여야 한다. 이는 각 언어 내에서 공유된 의미론적 품질이 높음을 보장한다.
• 교차 언어 정렬(Cross-lingual Alignment): 서로 다른 언어 간의 동일한 개념에 대한 번역 대응 쌍은 임베딩 공간 내에서 다른 어떤 개념보다도 서로 더 가까워야 한다(정렬에 대한 "강한" 관점).
• 비퇴화성(Non-Degeneracy): 공간은 고정된 해상도 척도를 유지하여, 서로 다른 점들이 구분 가능하도록 해야 한다.

2. 이론적 분석
저자들은 $L$이 증가함에 따라 위 조건들을 충족하기 위해 필요한 최소 차원을 조사한다.

• 상한선 (구성적 증명): 참조 개념 공간 $Z$(차원 $D_Z$)와 "언어 오프셋(language offset)" 공간 $U$(차원 $D_L$)의 직합(direct sum)을 취함으로써 완벽한 다국어 공간을 구성한다. $L$개의 언어 오프셋 벡터를 특정 코사인 유사도 제약 조건을 만족하도록 고차원 구(sphere) 위에 배치함으로써, $D_L$이 $O(\log L)$로 성장함을 증명한다.
• 하한선 (필요성 증로): 고정된 각도 분리를 가진 $L$개의 언어를 인코딩하는 비퇴화 공간은 반드시 최소한 $\Omega(\log L)$의 차원을 가져야 함을 입증한다. 이는 구면 캡 패킹(spherical cap packing) 경계값을 사용하여 도출된다.
• 결과: 완벽한 다국어 공간을 위한 최소 충분 차원은 $\Theta(\log L)$이다.

3. 경험적 검증
이론적 발견을 맥락화하기 위해, 저자들은 처음부터 학습된 4개 층의 Transformer 기반 BERT 인코더를 사용하여 통제된 경험적 연구를 수행한다.

• 구성(Configurations): 계산 제약 조건(고정 vs 증가), 샘플링 조건(균등 vs 현실적), 평가 세트(모든 언어 vs 고정된 부분 집합)를 변화시키며 8가지 구성을 테스트한다.
• 지표: 단일 언어 구조를 측정하기 위해 $k$-최근접 이웃 중첩(MS-NNO) 및 마스크드 언어 모델링 손실(MS-MLM)을 사용하며, 교차 언어 정렬을 위해 약한 관점의 정렬 지표(CLA-WV)를 사용한다.

주요 기여 및 결과

이론적 기여:
본 논문은 임베딩 공간 구조와 관련하여 다국어의 저주에 대한 최초의 이론적 근거를 제공한다. 핵심 결과는 완벽한 다국어성을 유지하기 위해 필요한 차원이 언어 수($L$)에 대해 오직 로그 단위($\Theta(\log L)$)로만 증가한다는 것이다.

• 약 7,000개의 언어가 존재하는 세상을 가정할 때, 이론적인 "세금(tax)"은 약 30개의 추가 차원에 불과하다.
• 이는 임베딩 공간 구조에는 이론적인 저주가 없다는 것을 증명한다. 즉, 필요한 용량은 선형적 또는 지수적으로 성장하는 것이 아니라 매우 느리게 성장한다.

경험적 결과:
저자들은 실험을 통해 경험적인 다국어의 저주를 관찰했으나, 그 존재 여부는 훈련 및 평가 구성에 따라 크게 달라진다.

• 저주가 나타나는 구성: 고정된 계산량과 균등한 샘플링을 사용하는 설정에서는 언어가 추가됨에 따라 성능이 저하되며, 이는 용량 희석이라는 "민간 지식(folk wisdom)"과 일치한다.
• 저주가 나타나지 않는 구성: 대상 언어의 토큰 수가 유지되는 설정(예: 계산량 증가 또는 고정된 언어 부분 집합을 사용하는 현실적 샘플링)에서는 지표가 안정적이거나 오히려 개선된다.
• 경험적 결론: 경험적인 저주는 내재적인 구조적 한계가 아니라, 데이터 분포, 계산 예산, 샘플링 전략과 같은 실제 세계의 제약 조건에서 기인하는 결과이다.

추가 관찰 사항:

• 저자들은 학습된 모델 내의 "언어 하위 공간"을 분석하며, 언어와 개념 방향이 직교하는 이상적인 구성적 솔루션과 달리, 실제 모델은 언어 방향과 개념 방향 사이에 상당한 얽힘(entanglement)이 있음을 발견했다.
• "저주가 없는" 경험적 설정에서도 언어 정보가 소비하는 유효 차원은 언어 수와 함께 증가하며, 이는 현재의 모델들이 압축되고 재사용 가능한 언어 오프셋이라는 이론적 이상에 도달하지 못하고 있음을 시사한다.

의의 및 주장

본 논문은 다국어의 저주에 대해 최초의 내재적이고 이론적인 관점을 제공한다고 주장한다. 주요 의의는 이 현상에 대한 이해를 다음과 같이 전환하는 데 있다:

1. 이론적 가능성: 임베딩 공간의 차원을 과도하게 늘리지 않고도 임의의 언어 규모에서 완벽한 다국어성을 달로는 것이 이론적으로 가능하다는 것을 확립했다.
2. 문제의 재정의: 이론적 저주가 없음을 증명함으로써, 저자들은 관찰된 경험적 저하가 근본적인 기하학적 불가능성이 아니라 데이터, 계산량, 훈련 역학에 관련된 해결 가능한 공학적 문제임을 시사한다.
3. 과학적 명확성: 이 논문은 구조적 한계(존재하지 않음)와 경험적 한계(설정에 민데함)를 구분함으로써, 향후 연구에서 더 정밀한 "저주"의 정의를 사용할 것을 권고한다.

저자들은 이론적 모델이 전역적인 개념 집합을 가정하고 있으며, 실제 언어는 추가적인 차원을 요구하는 언어 특유의 개념을 도입할 수 있다는 점을 인정하며 모델의 한계를 겸허히 밝힌다. 또한, 경험적 연구가 소규모 인코더 모델에 국려되어 있어, 더 큰 아키텍처와 다양한 훈련 체계에 미치는 영향은 향후 연구 과제로 남겨두었다.