기술 요약: LLM 학습 향상을 위한 데이터 조직화 해부

문제 제기

대형 언어 모델 (LLM) 이 코딩부터 의료까지 다양한 분야를 혁신해 왔지만, 그 학습 효율성은 여전히 효과적인 데이터 선별에 크게 의존합니다. 광범위한 연구가 데이터 선별(획득, 필터링, 중복 제거, 점수 매기기) 에 집중해 왔으나, 선택된 샘플들을 데이터셋 내에서 전략적으로 조직화하는 문제는 여전히 충분히 탐구되지 않았습니다.

현재의 LLM 학습 패러다임은 종종 방대한 말뭉치에 대해 단 1 회 또는 소수의 에포크 (epoch) 만 학습하는 방식을 취합니다. 이러한 "일회성 (one-pass)" 체제에서 샘플이 제시되는 시간적 순서는 학습 궤적을 형성하는 1 차적 요인이 됩니다. 커리큘럼 러닝 (CL) 이나 특정 폴딩 전략 (예: DELT) 과 같은 기존 접근법은 통찰을 제공하지만, 현대 LLM 의 제약 조건에 맞춘 데이터 순서화에 대한 체계적인 프레임워크는 부재합니다. 또한, 품질, 난이도 또는 학습 가능성 평가를 위한 샘플 수준의 점수를 계산하는 데 투입된 상당한 컴퓨팅 자원은 초기 선별 단계가 끝난 후 일반적으로 폐기되어, 효율성 측면에서 놓친 기회로 남습니다.

방법론

핵심 혁신: 사전 계산된 점수의 재사용

본 논문은 데이터 효율성 작업을 위해 원래 생성된 사전 계산된 샘플 수준 점수를 재사용하여 학습 데이터를 조직화하는 프레임워크를 제안합니다. 이 접근법은 점수 매기기 함수 $g$가 데이터 선별 단계에서 이미 실행되므로 최소한의 추가 컴퓨팅 오버헤드 또는 전혀 없는 오버헤드를 수반합니다.

이 과정은 세 단계로 공식화됩니다:

1. 데이터 점수 매기기: 점수 매기기 함수 $g$가 원시 데이터셋 $D$를 품질이나 난이도 같은 지표를 나타내는 점수 벡터 $\gamma$로 매핑합니다.
2. 데이터 선별: 선별 함수가 $\gamma$를 기반으로 $D$를 부분집합 $D_{sub}$로 필터링합니다.
3. 데이터 조직화: $\gamma$에서 유도된 순열 함수 $\pi$가 데이터셋 크기를 변경하지 않고 $D_{sub}$를 최적화된 시퀀스 $D_{ord}$로 재배열합니다.

네 가지 주요 지침

체계적인 분석을 통해 저자들은 데이터 조직화를 최적화하기 위한 네 가지 지침 원칙을 식별하고 공식화했습니다:

1. 경계 선명화 (G1): 학습은 초기 최적화를 안정화하기 위해 낮은 점수 (단순) 데이터로 시작하여 최종 성능을 극대화하기 위해 높은 점수 (복잡) 데이터로 종료해야 합니다. 이는 최적화 경계가 데이터 분포에 민감하다는 점을 해결합니다.
2. 순환 스케줄링 (G2): 일회성 학습에서 기본 지식의 파국적 망각 (catastrophic forgetting) 을 초래할 수 있는 단순한 난이도 증가 (쉬운 것에서 어려운 것) 의 엄격한 단조적 진행 대신, 이 방법은 주기적으로 다양한 데이터 분포의 혼합을 재도입합니다. 이를 통해 모델이 복잡한 샘플을 처리하면서도 초기 개념을 유지할 수 있습니다.
3. 커리큘럼 연속성 (G3): 데이터 속성 간의 급격한 전환 (예: 높은 점수 샘플에서 낮은 점수 샘플로의 점프) 은 옵티마이저를 충격시켜 기울기 분산과 불안정성을 초래할 수 있습니다. 최적화 모멘텀을 유지하기 위해 점수 분포 간의 매끄러운 전환이 필요합니다.
4. 국소 다양성 (G4): 점수에 따라 데이터를 엄격하게 정렬하면 미니배치 내 기울기 다양성이 감소하여 특정 패턴에 대한 과적합을 초래할 수 있습니다. 국소 이질성 (작은 윈도우 내 셔플링) 을 주입하면 기울기 노이즈를 보존하고 일반화 가능한 특징 학습을 촉진합니다.

제안된 순서화 전략

저자들은 이러한 지침들을 두 가지 새로운 순서화 알고리즘으로 구체화했습니다:

• STR (Stair Ordering): G1, G2, G4 를 결합합니다. 정렬된 데이터셋을 안정 영역 (단조 순서) 과 전환 영역으로 분할합니다. 전환 영역은 초기 개념의 주기적 검토를 용이하게 하기 위해 폴딩 순서화 (FO) 메커니즘을 적용하며, 지터링 순서화 (JIT) 를 통해 국소 다양성을 주입합니다.
• SAW (Saw Ordering): G3(커리큘럼 연속성) 을 통합하여 STR 을 일반화합니다. 전환 영역의 폴딩 메커니즘을 지그재그 순서화 (ZIG) 로 대체합니다. ZIG 는 교번 사이클에서 샘플 순서를 반전시켜 인접한 사이클이 유사한 점수 지점에서 연결되도록 함으로써, 급격한 속성 전환을 완화하는 더 매끄러운 삼각파와 같은 궤적을 생성합니다.

주요 결과

이러한 지침과 전략의 효과는 다양한 모델 규모 (1 억 6 천만 ~17 억 파라미터), 데이터 크기 (10 억 ~500 억 토큰), 학습 단계 (사전 학습 및 지도 미세 조정) 를 통한 광범위한 실험을 통해 검증되었습니다.

• 성능 향상: STR 과 SAW 는 모두 일반 추론 (ARC, PIQA, SciQ), 수학 (AIME, MATH), 코드 생성 (HumanEval, MBPP) 을 포함한 다양한 벤치마크에서 무작위 샘플링 및 기존 커리큘럼 러닝 (CL) 보다 일관되게 우수한 성과를 거두었습니다.
  • FineWeb-Edu 에 대한 사전 학습에서 SAW 는 무작위 (37.09%) 와 CL(37.61%) 대비 평균 정확도 **38.78%**를 달성했습니다.
  • DeepMath-103K 에 대한 SFT 에서 SAW 는 AIME24 에서 **2.53%**의 정확도를 기록하여 CL(1.78%) 과 무작위 (1.30%) 를 능가했습니다.
• 안정성 및 견고성:
  • 망각 완화: 낮은 점수 데이터 ($D_e$) 에 대한 퍼플렉시티 분석 결과, CL 은 높은 점수 데이터로 전환 시 퍼플렉시티가 급격히 반등하여 (망각을 나타냄) 어려움을 겪은 반면, FO 와 SAW 는 낮은 퍼플렉시티를 유지하여 효과적인 지식 유지를 확인했습니다.
  • 최적화 안정성: 기울기 노름 분석은 FO 가 사이클 경계에서 급격한 스파이크를 보인 반면, SAW 에서 사용된 ZIG 는 안정적인 기울기 크기를 유지하여 커리큘럼 연속성의 중요성을 입증했습니다.
  • 일반화: 가중치 교란 분석은 국소 다양성 (JIT) 으로 학습된 모델이 엄격하게 정렬된 베이스라인에 비해 더 평탄한 손실 지형과 노이즈에 대한 더 높은 견고성을 보임을 입증했습니다.
• 스케일링 법칙: 치누아 (Chinchilla) 스케일링 법칙을 사용한 외삽은 데이터 조직화에서 얻은 성능 향상이 더 큰 모델 크기 (예: GPT-3 175B, Llama 3.1 405B) 로 확장될 때에도 지속되고 일관됨을 나타냈습니다.

의의 및 주장

본 논문은 데이터 선별에 대한 전통적인 초점을 넘어 LLM 학습에 특화된 데이터 조직화의 첫 번째 체계적 탐구를 제공한다고 주장합니다.

• 효율성: 주요 의의는 기존 점수를 재사용함으로써 거의 추가 컴퓨팅 비용 없이 모델 성능과 학습 안정성을 향상시킬 수 있다는 점에 있습니다.
• 체계적 프레임워크: 네 가지 distinct 지침을 공식화함으로써, 현재 학습 패러다임의 특정 실패 모드 (예: 망각, 최적화 충격, 과적합) 를 해결하는 데이터 순서화에 대한 구조화된 접근법을 제시합니다.
• 실질적 영향: 제안된 STR 과 SAW 방법은 다양한 모델 용량과 데이터 양에 걸쳐 견고한 것으로 입증되어, 일회성 학습 시대에서 LLM 효율성을 높이는 데 중요하지만 종종 간과되는 레버 (lever) 가 데이터 조직화임을 시사합니다.

저자들은 전략의 유효성이 조직화에 사용된 기존 점수의 품질과 관련성에 달려 있음을 인정하며, 또한 그들의 작업은 언어 모달리티에 초점을 맞추고 있으며 다른 모달리티에서의 편향 없는 평가를 위한 향후 작업이 필요하다고 강조합니다.