기술 요약: 좌측 분지형 트랜스포머는 우측 분지형 언어에 능숙하다

문제 제기

대규모 언어 모델(LLM)이 유형론적으로 다양한 언어에 배포됨에 따라, 이러한 모델들이 체계적인 어순 선호도를 개발하는지, 그리고 만약 그렇다면 이러한 선호도가 모델의 구조적 귀납 편향(inductive biases)에 의한 것인지 아니면 학습 데이터의 구성에 의한 것인지에 대한 중요한 질문이 제기된다. 기존 연구들은 인공 언어를 활용하여 통사적 변수를 격리해 왔으나, 자연 언어가 가진 의미적 및 형태론적 복잡성이 결여되어 있다는 한계가 있다. 반대로, 자연 언어를 대상으로 한 평가는 형태론, 문자 체계, 데이터 품질과 같은 혼란 변수로부터 어순을 분리해 내는 데 실패하는 경우가 많다. 본 논문은 192개의 인공 언어와 유형론적으로 다양한 자연 언어를 체계적으로 비교함으로써 관찰된 편향의 근원을 규명하고, 이를 통해 관찰된 어순 선호도의 원천을 결정하는 공백을 메우고자 한다.

방법론

저자들은 구조적 사전 지식(architectural priors)과 데이터 기반 효과를 분리하기 위해, 인공 언어와 자연 언어에 대해 여러 학습 데이터 규모에서 병렬 실험을 수행하는 이중 패러다임 접근 방식을 채택한다.

1. 인공 언어

• 생성: 본 연구는 확률적 문맥 자유 문법(PCFG)을 기반으로 192개의 인공 언어를 생성한다. 각 언어는 기본 주어-동사-목적어(S/V/O) 순서(6가지 선형화 패턴인 SVO, SOV, VSO, VOS, OVS, OSV 모두 포함)와 보충절, 보충어, 부가어, 형용사, 관계절의 내부 구성 요소 방향성(좌측 분지형 대 우측 분지형)을 제어하는 5개의 이진 스위치로 정의된다.
• 통제: 192개 변형 모두 동일한 유도 확률과 어휘(Zipf 분포를 따르는 5만 개의 가상 단어)를 공유하며, 오직 어순만을 다르게 설정한다. 이를 통해 방향성과 기본 어순만을 유일한 변수로 격리한다.
• 모델: 각 언어에 대해 약 0.5 MB, 5 MB, 10 MB의 데이터 규모로 GPT-2 스타일의 디코더 전용 모델(4개 레이어, 8개 헤드)을 학습시킨다.
• 지표: 성능을 평가하기 위해 테스트 퍼플렉시티(PPL)를 사용하며, 낮은 PPL은 모델링이 더 용이함을 나타낸다.

2. 자연 언어

• 데이터셋: FLORES-200(병렬 문장) 및 Parallel Universal Dependencies(PUD) 트리뱅크를 통해 평가를 수행한다. 언어들은 인공 언어와 동일한 인코딩 방식(예: 영어는 SVO-RRRLR로 매핑)을 사용하여 분류된다.
• 모델:
  • 단일 언어 모델: 최대 350개 언어에 대해 네 가지 데이터 규모(5 MB, 10 MB, 100 MB, 1000 MB)로 학습된 Goldfish 모델(GPT-2 기반)을 사용한다.
  • 다국어 모델: 서로 다른 학습 체계와 자원 수준에 걸친 일반화 능력을 테스트하기 위해 mGPT, BLOOM, XGLM 모델을 평가한다.
• 지표: 토크나이저 간의 비교 가능성을 확보하기 위해 영어 문자당 비트 수(BPEC)를 사용하며, 토큰당 서프라이절(surprisal) 분석을 병행한다.

3. 분석

본 연구는 방향성 선호도(좌측 대 우측 분지), 기본 어순 순위, 구성 요소별 서프라이절을 분석한다. 또한 선형 혼합 효과 모델을 사용하여 형태론적 복잡성, 문자 유형, 언어 자원 수준과 같은 혼란 변수를 통제한다.

주요 결과

1. 인공 언어: 좌측 분지형 선호

• 방향성: 모델은 기본 어순에 관계없이 일관되게 좌측 분지형 구성(의존 요소가 핵심 요소보다 앞에 오는 형태)을 선호하는 경향을 보인다. 이러한 선호도는 우측 분지형 스위치의 수가 많아질수록 증가한다.
• 불일치: 이 좌측 분지형 편향은 교차 언어적 보편성이나 인간의 학습 편향(일관된 방향성을 선호함)과 일치하지 않는다.
• 기본 어순의 불안정성: 기본 어순 순위는 데이터 양에 따라 불안정하다. 5 MB에서는 SOV가 가장 쉬우나, 10 MB에서는 VS 계열(VSO, VOS, OVS)이 가장 쉬워지는 반이, SVO는 가장 어려워진다.
• 학습 역학: 방향성 선호도는 학습 초기 단계에서 급격히 변화한다. SV 기본 어순의 경우, 초기에는 우측 분지형이 더 쉽지만 100 스텝 이내에 좌측 분지형의 이점으로 역전된다.

2. 자연 언어: 데이터 기반 SVO 이점

• 소규모 규모 (5 MB): 단일 언어 모델은 특정 기본 어서나 방향성에 대해 명확한 선호도를 보이지 않는다.
• 대규모 규모 (1000 MB): SVO(우측 분지형) 언어가 모델링하기 가장 쉬운 반면, SOV 언어는 가장 어려운 언어(약 10% 높은 압축 비용 발생)가 되는 뚜렷한 선호도가 나타난다. 이는 SOV가 교차 언어적으로 가장 빈번한 어순임에도 불구하고 나타나는 현상이다.
• 다국어 모델: SVO 이점은 다국어 모델(mGPT, XGLM)에서도 확장된다. BLOOM의 경우, 이 경향이 부재하기보다는 가려져 있는 상태이다. BLOOM의 SVO 그룹은 매우 저자원인 니제르-콩고 어족 언어들로 구성되어 있어, 이 그룹의 중앙값 BPEC을 높이고 관찰된 이점을 모호하게 만든다. 이는 해당 선호도가 어순 유형 자체가 아니라 언어의 자원 수준 및 데이터 품질과 상관관계가 있음을 시사한다.
• 서프라이절 역전: 구성 요소별 서프라이절 순위는 인공 언어와 자연 언어 설정 사이에서 뒤바뀐다. 인공(의미가 없는) 데이터에서는 $S < O < V$ 순이지만, 자연 데이터에서는 $V < O < S$가 되어, 의미적 선택 제한(selectional restrictions)이 예측 가능성을 재구성함을 보여준다.

3. 비교 및 종합

• 발산: 동일한 아키텍처가 인공 언어와 자연 언어에서 서로 반대되는 선호도를 보인다. 인공 환경에서 관찰된 좌측 분지형 편향은 데이터 규모가 커짐에 따라 자연 언어 환경에서의 데이터 효과에 의해 압도된다.
• 데이터 대 아키텍처: 본 연구 결과는 관찰된 어순 편향이 아키텍처보다는 주로 데이터에 의해 결정된다는 것을 입증한다. 자연 언어에서의 SVO 선호도는 고자원 언어들이 압도적으로 SVO라는 사실과 상관관계가 있다.

의의 및 주장

본 논문은 트랜스포머 언어 모델의 어순 편향은 아키텍처가 아닌 데이터에 의해 결정된다고 주장한다.

• 침묵하는 유형론적 균질화(Silent Typological Homogenisation): 저자들은 고자원 언어가 주로 SVO라는 점 때문에, SVO에 대한 데이터 기반 이점이 "침묵하는 유형론적 균질화"의 전제 조건이 된다고 주장한다. LLM이 도입됨에 따라, 특히 여러 어순을 생산적으로 사용하는 언어들의 경우, 모델이 지배적인 고자원 언어의 패턴을 점점 더 선호하게 되면서 점진적인 어순 다양성 감소의 위험이 존재한다.
• 방법론적 기여: 인공 언어와 자연 언어 평가를 통합함으로써, 본 연구는 통제된 인공 언어 실험의 결과가 데이터 구성과 품질의 압도적인 영향력 때문에 반드시 자연 언어 환경으로 일반화되지 않는다는 점을 입증한다.
• 시사점: 이러한 결과는 현재의 편향이 트랜스포머 아키텍처 자체의 고유한 특성이 아니라 불균형한 학습 데이터의 산물임을 시사한다. 저자들은 이러한 편향이 데이터 큐레이션을 통해 해결 가능하다고 보지만, 프런티어 모델에서 고자원 언어와 저자원 언어 사이의 격차가 이러한 효과를 심화시킬 수 있다고 언급한다.

논문은 범주적 어순 라벨 사용(경사적 변이를 가릴 수 있음), 기록된/공식적인 코퍼스에 집중한 점, 데이터 품질의 대리 지표 사용 등에 대한 한계를 언급하며 마무리한다. 또한 더 큰 모델, 구어 데이터, 그리고 이러한 선호도를 더 깊이 이해하기 위한 기계론적 해석 가능성(mechanistic interpretability)에 관한 후속 연구를 촉구한다.