기술 요약: 언어 모델의 구획화 문제

문제 정의

대형 언어 모델 (LLM) 은 동일한 잠재적 개념이 여러 가지 다른 방식으로 제시된 데이터 (예: 영어와 스와힐리어의 사실, 파이썬과 하스켈의 함수, 또는 형식 언어와 자연 언어의 명제) 로 훈련됩니다. 모델이 이러한 것들을 서로 관련된 것으로 인식하고 통계적 강도를 공유하는 것이 바람직하지만, 최첨단 모델들은 종종 이를 수행하지 못합니다.

본 논문은 구획화 (compartmentalization) 를 하나의 통합된 잠재적 데이터 생성 과정에 대한 $c$개의 서로 다른 제시 방식이 모델에 의해 부분적 또는 완전히 별도의 작업으로 취급되는 현상으로 정의합니다. 최악의 경우, 모델은 각 제시 방식에 대해 상호 간에 정보를 분산 (amortize) 하지 않고 병렬적인 내부 표현을 학습합니다. 이로 인해 두 가지 주요 비효율성이 발생합니다:

1. 샘플 비효율성: 각 제시 방식은 자신의 데이터 분량만큼만 혜택을 받습니다. 만약 어떤 제시 방식이 데이터의 $\epsilon$ 비율을 차지한다면, 모델은 통합된 제시 방식에 비해 구조를 학습하기 위해 $1/\epsilon$배 더 많은 샘플이 필요할 수 있습니다.
2. 용량 경쟁: 중복된 표현은 유한한 모델 용량을 소모합니다. 구획화된 모델은 통합된 모델보다 더 빨리 포화 상태에 도달하여, 데이터가 증가하더라도 검증 손실 (validation loss) 이 더 높은 수준에서 정체될 수 있습니다.

방법론

저자들은 구획화를 격리하고 연구하기 위해, 일반적으로 표현 공유를 장려하는 자연적인 구조적 단서 (예: 서브워드 중복 또는 구문적 규칙성) 를 제거하는 '최악의 경우 (worst-case)' 실험적 구성을 제안합니다.

토크나이저 트릭

저자들은 토크나이저를 수정하여 통계적으로 동일한 데이터의 $c$개의 서로 다른 제시 방식을 생성합니다:

• 기본 어휘 크기 $V$를 $c$배 증가시켜 $cV$개의 토큰으로 구성된 결합 어휘를 만듭니다.
• 제시 방식 $j$로 데이터를 인코딩할 때, 토큰 ID 에 $jV$를 더합니다.
• 이를 통해 동일한 기본 텍스트가 구획 간에 완전히 겹치지 않는 토큰 집합으로 표현되도록 하여, 모델이 공유된 구조를 발견하지 않는 한 $c$개의 독립적인 매핑을 학습하도록 강제합니다.

실험 설정

• 모델: FineWeb 의 약 1,310 억 개 토큰으로 훈련된 GPT 스타일 디코더.
• 규모: 110 만 개에서 약 10 억 개 파라미터까지의 여섯 가지 모델 크기로 실험을 수행합니다.
• 훈련: 모델이 수렴할 때까지 훈련하여 (Chinchilla 최적 대비 과훈련) 용량 한계를 관찰합니다.
• 기준선: 단일 구획 모델 ($c=1$) 과 구획화된 모델 ($c \in \{2, \dots, 8\}$) 을 비교합니다.

주요 기여 및 결과

1. 구획화의 비용 정량화

저자들은 구획화가 구획 수 ($c$) 에 따라 증가하는 상당한 비용을 부과함을 입증합니다:

• 샘플 효율성 저하: $c$가 증가함에 따라 특정 검증 손실에 도달하는 데 필요한 훈련 단계 수가 선형적으로 증가합니다. 예를 들어, $c=8$일 때 모델은 $c=1$ 기준선과 동일한 손실에 도달하기 위해 훨씬 더 많은 단계가 필요합니다.
• 용량 비용: 최종 검증 손실은 $c$가 증가함에 따라 더 높은 값에서 정체되며, 이는 모델이 겹치지 않는 표현을 유지하도록 강요받을 때 데이터를 덜 효율적으로 표현할 수 있음을 나타냅니다.

2. 통합된 해결책의 존재

본 논문은 강도를 공유하지 못하는 것이 아키텍처나 데이터의 근본적인 한계가 아니라, 최적화 과정 (SGD) 이 특정 매개변수 설정을 찾지 못해 발생하는 실패임을 증명합니다:

• 초기화 복제: 모델이 무작위 초기화 대신 모든 $c$개의 구획에 걸쳐 기본 어휘의 임베딩을 복사하여 초기화되면, $c=1$ 기준선과 일치하는 샘플 효율성을 달성합니다.
• 사후 매개변수 복제: 훈련된 $c=1$ 모델은 학습된 임베딩을 복제하여 $c$-구획 모델로 변환할 수 있습니다. 짧은 초기 손실 급증 후, 모델은 용량 오버헤드 없이 원래 성능 정체 수준에서 훈련을 재개합니다.
• 함의: 통합된 해결책이 존재하며 도달 가능하지만, 무작위 초기화에서의 표준 훈련은 이를 발견하지 못합니다.

3. 표준 개입의 한계

저자들은 표현 공유를 장려하기 위한 일반적인 전략들을 테스트하여 종종 불충분하거나 위상 전이를 보임을 발견합니다:

• 쌍을 이룬 '번역' 데이터: 두 구획에 동일한 텍스트가 나타나는 데이터 (번역 작업과 짝을 이룸) 를 도입하더라도 작은 $c$에 대해서는 구획화를 줄이지 못합니다. 모델은 한 구획의 토큰을 다른 구획을 기반으로 예측하는 번역 작업을 거의 0 에 가까운 손실로 학습하지만, 구획들은 여전히 용량을 위해 경쟁합니다.
  • 위상 전이: 구획화 감소 (손실 정체 깨기) 는 $c$에 의존하는 임계값을 넘어서야만 발생합니다 (예: 높은 번역 비율에서 $c=8$).
  • 가중치 감소: 공격적인 가중치 감소는 이 위상 전이를 가속화하여 임계값을 더 낮은 $c$ 값으로 이동시킵니다 (예: $c=8$에서 $c=6$으로).
• 대조적 정렬 (InfoNCE): 구획 간 동일한 텍스트의 중간층 표현을 정렬하기 위한 보조 목적 함수는 유사한 행동을 보입니다. $c=2$에서는 측정 가능한 이점이 없으며, $c=4$에서는 modest 한 이점, $c=6$ 및 $c=8$에서는 '구획화 세'의 상당한 회복을 보입니다.

4. 자연 데이터에 대한 사례 연구

저자들은 개념을 검증하기 위해 실제 시나리오에 프레임워크를 적용합니다:

• 다국어 훈련: 영어와 중국어 위키백과 데이터로 훈련한 결과, 작은 모델 (<10 억 파라미터) 은 높은 구획화를 보입니다. 공유 토크나이저를 사용하는 다국어 모델의 성능은 '구획화된' 기준선 (겹치지 않는 토크나이저 사용) 과 밀접하게 일치하여, 훈련 초기 단계에서 교차 제시 정보 공유가 낮음을 시사합니다.
• 합성 전기 vs. Q&A: 사실을 전기 형식의 단락이나 질문 - 답변 쌍으로 제시하는 합성 작업은 파괴적인 용량 경쟁을 드러냅니다. 공유 토크나이저로 함께 훈련할 때, 모델은 단일 형식으로 훈련했을 때보다 두 형식 모두에서 성능이 떨어집니다. 그러나 형식들을 구획화 (겹치지 않는 토크나이저) 하면 전기 형식에 대한 성능이 크게 향상되어, 공동 훈련 실패는 용량 부족이 아니라 공유 매개변수 내의 간섭 때문임을 나타냅니다.

중요성 및 주장

본 논문은 언어 모델링 목적 함수가 동일한 개념에 대한 서로 다른 제시 방식 간에 표현을 일관되게 통합하지 않을 수 있다고 주장합니다. 주요 교훈은 다음과 같습니다:

1. 구획화는 실제 현상이다: LLM 은 종종 서로 다른 제시 방식 (언어, 형식, 코드) 간에 통계적 강도를 공유하지 못해 중복 학습과 낭비된 용량을 초래합니다.
2. 최적화 실패: 표현을 통합하지 못하는 것은 아키텍처의 무능력 때문이 아닙니다. 통합된 해결책이 존재하며 특정 초기화를 통해 도달 가능하지만, 표준 SGD 훈련은 이를 찾지 못합니다.
3. 학습의 위상 전이: 번역 데이터나 대조적 손실과 같은 개입은 성능을 선형적으로 향상시키지 않습니다. 대신, 데이터 비율이나 모델 복잡도 ($c$) 의 특정 임계값에 도달한 후에만 효과가 나타나는 위상 전이를 보입니다.
4. 효율성에 대한 함의: 이 발견들은 현재 훈련 패러다임이 다면적 데이터를 다룰 때 본질적으로 샘플 비효율적이고 용량 비효율적일 수 있음을 시사합니다. 모델들이 가정된 것보다 서로 훨씬 덜 '학습'하고 있을 수 있기 때문입니다.

저자들은 자신의 발견이 소규모 모델을 기반으로 하며, 구획화가 더 큰 규모에서는 감소할 수 있음을 겸손하게 지적하지만, 최첨단 모델의 기존 증거는 이 현상이 지속됨을 시사합니다. 그들은 향후 연구에서 표현 공유를 측정하기 위한 기준선으로 토크나이저 기반 구성을 제안합니다.