기술 요약: 마스킹 언어 모델링으로 인코더를 사전 학습시켜야 할까?

문제 제기

고품질 텍스트 표현을 학습하는 것은 자연어 처리 (NLP) 의 근본입니다. 전통적으로 인코더 모델은 문맥적 의존성을 포착하기 위해 양방향 주의를 활용하는 마스킹 언어 모델링 (MLM) 으로만 사전 학습되어 왔습니다. 그러나 최근 증거에 따르면, 인과적 언어 모델링 (CLM) 으로 사전 학습된 디코더 모델이 인코더로 효과적으로 재사용될 수 있으며, Massive Text Embedding Benchmark (MTEB) 와 같은 벤치마크에서 기존 MLM 기반 인코더를 종종 능가하는 것으로 나타났습니다.

여전히 중요한 모호함이 존재합니다: 이러한 개선이 CLM 접근법의 고유한 장점에서 비롯된 것인지, 아니면 최근 디코더 기반 모델들이 사용하는 훨씬 더 큰 모델 규모와 훨씬 더 많은 학습 데이터와 같은 교란 요인의 단순한 산물인지 여부입니다. 이 패러다임의 성공이 학습 목표 자체 때문인지, 아니면 단순히 규모 증가 때문인지 명확하지 않습니다.

방법론

이 질문에 답하기 위해 저자들은 모델 크기와 데이터 규모와 사전 학습 목표 (MLM 대 CLM) 의 효과를 분리하도록 설계된 대규모 통제된 제거 실험을 수행했습니다.

• 실험 규모: 이 연구는 2 억 1 천만 개에서 10 억 개까지의 파라미터를 가진 총 38 개의 모델을 학습시켰습니다. 이는 15,000 회 이상의 파인튜닝 및 평가 실행을 포함하며, 약 110,000 MI250X GPU 시간을 소모했습니다.
• 통제 변수: 모든 모델은 동일한 아키텍처 (EuroBERT 기반), 어휘 (LLaMA 3), 그리고 학습 데이터 (FineWeb-Edu) 를 공유했습니다. 중요하게도, 모든 모델은 공정한 비교를 보장하기 위해 동일한 샘플 시퀀스에 노출되었습니다.
• 사전 학습 패러다임: 저자들은 세 가지 접근 방식을 비교했습니다:
  1. MLM: 가변적인 마스킹 비율 (20%, 30%, 40%, 50%) 을 사용한 표준 양방향 사전 학습.
  2. CLM: 자기회귀적 다음 토큰 예측.
  3. 하이브리드 (CLM+MLM): 먼저 CLM 을 적용한 후 MLM 을 적용하는 2 단계 순차적 접근 방식.
• 학습 설정:
  • 처음부터의 사전 학습 (PFS): 무작위 초기화에서 모델을 학습.
  • 연속 사전 학습 (CPT): 기존 CLM 또는 MLM 체크포인트에서 모델을 초기화하고 MLM 으로 추가 학습.
• 평가: 모델은 시퀀스 분류 (SC), 토큰 분류 (TC), 질문 답변 (QA), 정보 검색 (IR) 의 네 가지 주요 카테고리에 걸친 12 개의 데이터셋에서 평가되었습니다. 파인튜닝은 분산을 고려하기 위해 엄격한 하이퍼파라미터 검색과 여러 무작위 시드로 수행되었습니다.

주요 발견

1. 표현 작업에서 일반적으로 MLM 이 CLM 을 능가함

동일한 기간 동안 처음부터 학습될 때, MLM 로 사전 학습된 모델은 CLM 전용 모델에 비해 텍스트 표현 작업 전반에서 일반적으로 우수한 성과를 달성합니다. 성능 격차는 특히 양방향 문맥의 부재에 민감해 보이는 시퀀스 분류와 질문 답변에서 가장 두드러집니다. CLM 모델은 토큰 분류와 정보 검색에서 경쟁력 있는 성능을 보이며 (특히 모델 크기가 커질수록), MLM 은 견고하고 전반적인 성능을 위해 여전히 필수적입니다.

2. CLM 은 데이터 효율성과 안정성을 제공함

일부 작업에서 최종 성능이 낮음에도 불구하고, CLM 으로 학습된 모델은 뚜렷한 장점을 보입니다:

• 데이터 효율성: 학습 초기 단계 (최대 10,000~20,000 스텝) 에서 CLM 모델은 일관되게 하류 작업에서 MLM 모델을 능가합니다. CLM 은 더 일찍 포화 상태에 도달하여 초기 표현 학습에 더 효율적임을 시사합니다.
• 파인튜닝 안정성: CLM 으로 사전 학습된 모델은 파인튜닝 중 학습률 선택에 대한 민감도가 낮아, 광범위한 하이퍼파라미터 튜닝 필요성을 줄이는 더 안정적인 초기화를 제공합니다.

3. 최적 전략: 순차적 CLM 후 MLM

고정된 계산 예산 하에서, 2 상 학습 전략이 최상의 결과를 산출합니다. 구체적으로, CLM 으로 사전 학습을 시작하고 MLM 로 전환 (CLM+MLM) 하는 것은 순수 MLM 학습을 일관되게 능가합니다.

• PFS 설정에서, 25% CLM 과 75% MLM 스텝의 분할은 일관되게 MLM 전용 기준선을 능가합니다.
• 이 접근법은 CLM 의 데이터 효율성과 안정성과 MLM 의 표현 품질을 결합합니다.

4. 기존 디코더 모델 활용

연속 사전 학습 (CPT) 설정에서, CLM 으로 사전 학습된 모델을 MLM 으로 적응시키는 것이 MLM 로 사전 학습된 모델에서 MLM 학습을 계속하는 것보다 더 효과적입니다.

• CLM 초기화 모델에 MLM CPT 를 적용하면 QA 및 IR 작업에서 성능 격차를 해소하고, 시퀀스 분류에서 MLM 전용 모델을 크게 능가합니다.
• 이는 최첨단 인코더로 가는 가장 계산 효율적인 경로는 readily available 한 대규모 사전 학습된 디코더 모델에서 초기화하고 MLM 으로 학습을 계속하는 것임을 시사합니다.

중요성과 주장

이 논문은 인코더 사전 학습을 위한 보편적으로 최적의 접근 방식이 MLM 이라는 오랜 가정에 도전합니다. 저자들은 다음과 같이 주장합니다:

1. 모든 작업에서 견고한 성능을 달성하기 위해 양방향 학습은 여전히 필수적이지만, 그 상태에 도달하는 경로 는 최적화될 수 있습니다.
2. 디코더 전용 모델은 단순한 '우연한' 인코더가 아닙니다; MLM 을 통해 적절하게 적응될 때, 인과적 사전 학습의 데이터 효율성을 활용하여 우수한 인코더를 생성합니다.
3. 비용 절감: 제안된 전략 (CLM 초기화 + MLM 적응) 은 계산 부담을 줄인 최상급 인코더 모델을 학습할 수 있는 방법을 제공하며, 이는 NLP 학습의 환경적 및 경제적 비용을 잠재적으로 낮출 수 있습니다.

저자들은 그들의 발견이 100B 토큰 규모의 통제된 실험에 기반하며, 학습 목표의 선택이 규모 교란 요인과 무관하게 하류 표현 품질에 상당한 영향을 미친다는 강력한 경험적 증거를 제공한다고 강조합니다. 그들은 이러한 학습 역학에 대한 추가 연구를 장려하기 위해 모든 산출물 (체크포인트, 코드, 데이터) 을 공개합니다.