기술 요약: 내성적 훈련 (IXT)

문제 제기

현재 대규모 언어 모델 (LLM) 훈련 파이프라인은 단순한 2 단계 프로세스 (사전 훈련 및 사후 훈련) 에서 '중간 훈련'과 도메인 특화를 포함하는 복잡하고 다단계 워크플로우로 진화했습니다. 이러한 파이프라인의 치명적인 비효율성은 단방향성입니다. 즉, 후기 단계 (예: 사후 훈련 정렬 또는 도메인 특화 미세 조정) 에서 개발된 정보 및 품질 차별화 전략이 초기 단계 (예: 사전 훈련) 를 알리는 데 거의 활용되지 않습니다. 결과적으로 모델은 모든 토큰이 사전 훈련 동안 동등하게 취급되는 원시 데이터로 훈련된 후, 나중에 공격적인 큐레이션과 품질 차별화를 거치게 됩니다. 이러한 지식의 고립은 아이디어의 교차 수분 가능성을 제한하고, 훈련 과정이 처음부터 계산적으로 효율적이 되는 것을 방해합니다. 저자들은 파이프라인의 초기 단계에 품질 인식 차별화를 도입하면 확장 효율성과 하류 성능을 크게 향상시킬 수 있다고 가정합니다.

방법론: 내성적 훈련 (IXT)

저자들은 후기 훈련 단계의 피드백을 초기 단계로 주입하도록 설계된 통합 알고리즘인 **내성적 훈련 (IXT)**을 제안합니다. IXT 는 오프라인 보상 조건부 강화 학습에서 영감을 받았으며, 모델이 생성한 품질 피드백에 훈련 데이터를 조건부로 설정하여 작동합니다.

주석 파이프라인

1. 규격 기반 평가: 판사 LLM (실험에서는 구체적으로 Qwen3-30B-A3B 사용) 이 고정된 규격에 따라 문서를 평가합니다. 규격에는 작성 스타일, 전문성, 교육적 가치, 사실 밀도/정확도, 효율성이라는 다섯 가지 차원이 포함됩니다.
2. 피드백 생성: 각 문서에 대해 판사는 다음을 생성합니다.
   • 축별 점수 (1~5).
   • 전체 점수 (1~5).
   • 강점과 약점을 요약한 자연어 비평 (1~2 문장).
3. 쌍별 주석 (선택 사항): 좁은 분포 (예: 큐레이션된 SFT 데이터) 의 경우, 판사가 쌍 중에서 더 유용한 문서를 선택하는 쌍별 비교 절차가 사용됩니다. 이러한 선호도는 Bradley-Terry 모델을 통해 집계되어 연속 점수를 도출한 후, 동일한 5 단계 품질 레이블로 버킷화됩니다.

훈련 조건부 전략

생성된 피드백은 원본 문서 앞에 접두사로 추가되어, 다음 토큰 예측 (NTP) 목표 동안 모델이 품질 신호에 조건부로 설정되도록 합니다. 저자들은 두 가지 형태의 조건부 설정을 탐구합니다.

• 템플릿 품질 토큰 ($\phi_{tok}$): 전체 점수는 양자화된 자연어 레이블 (예: [low], [medium], [high]) 로 매핑됩니다. 이들은 특수 토큰이 아닌 표준 텍스트 토큰으로 처리됩니다.
• 자연어 비평 ($\phi_{crit}$): 전체 자연어 비평이 문서 앞에 접두사로 추가됩니다. 이는 더 풍부하고 해석 가능한 신호를 제공합니다.

추론 중에는 원하는 출력 특성에 해당하는 특정 품질 레이블이나 설명적 비평 접두사를 앞에 추가하여 모델을 유도할 수 있습니다.

주요 기여

1. 통합 훈련 알고리즘: IXT 는 사전 훈련, 계속된 사전 훈련, 감독 미세 조정 (SFT) 등 모든 훈련 단계에 적용 가능한 단일 알고리즘을 제공하여 이러한 단계 간의 전통적인 고립을 깨뜨립니다.
2. 피드백 조건부 설정: 데이터를 필터링하거나 재가중치하는 이전 작업과 달리, IXT 는 원본 데이터를 보존하면서 문서 품질에 대한 해석 가능한 설명을 훈련 중 모델에 직접 노출시킵니다.
3. 계산 효율성: 이 방법은 데이터를 한 번 주석하는 데 오프라인으로 계산 자원을 '지출'함으로써 동등하거나 우수한 성능을 달성하기 위한 훈련 FLOP 를 크게 줄일 수 있음을 보여줍니다.
4. 도메인 특화: 이 프레임워크는 훈련 수명 주기 초기에 모델이 특정 도메인 (수학 및 코드) 에서 효과적으로 특화되도록 하여, 후기 단계까지 이득이 유지되도록 합니다.

실험 결과

저자들은 처음부터 18 조 토큰까지 훈련된 75 억~120 억 파라미터의 조밀한 트랜스포머 기반 LLM 에 대해 포괄적인 실험을 수행했습니다.

• 확장 효율성: IXT 는 확장 곡선을 구부려 표준 다음 토큰 예측 (NTP) 베이스라인 대비 최대 2.8 배 더 높은 계산 효율성(FLOP 절감) 을 달성합니다. 예를 들어, 코딩 벤치마크에서 IXT 는 표준 훈련이 훨씬 더 많은 계산 자원을 사용해도 도달할 수 없는 성능 수준을 달성합니다.
• 성능 향상:
  • 처음부터의 사전 훈련: 75 억 파라미터 모델에서 IXT 는 전체 평균 벤치마크 점수를 43.1 에서 48.7 로 향상시켰으며, 수학 (MATH: 42.2 $\to$ 53.9) 과 코드 (HumanEval: 32.8 $\to$ 37.7) 에서 큰 향상을 보였습니다.
  • 계속된 사전 훈련 (CPT): 12T 및 18T 토큰 체크포인트에서 IXT 를 도메인 특화 데이터 (Crane Math, Swallow Code) 에 적용한 결과 NTP 베이스라인을 능가했습니다. 특히, IXT 특화를 적용한 12T 모델은 HumanEval 에서 18T 일반 코퍼스 베이스라인 (65.8% 대 59.0%) 을 능가했습니다.
  • 감독 미세 조정 (SFT): IXT 는 일반 SFT, OpenThinker, SFT > 4k 데이터셋 전반에 걸쳐 성능을 향상시켰으나, SFT 데이터의 이미 높은 품질로 인해 이득은 작았습니다. SFT 를 위한 쌍별 주석은 결과를 더욱 향상시켰습니다.
• 일반화: 데이터의 표적 하위 집합 (예: Dolmino 혼합물의 15% 인 수학/코드 포함) 에만 IXT 를 적용하면 전체 데이터셋을 주석하는 것과 유사한 성능을 얻었으며, 일반 벤치마크에도 긍정적인 파급 효과를 보였습니다.
• 피드백 형식: 자연어 비평은 일반적으로 템플릿 토큰보다 우수한 성능을 보였습니다 (예: 일반 블렌드에서 평균 +2.6 점), 추론 시간 제어에 더 표현력 있는 인터페이스를 제공합니다.

중요성 및 주장

이 논문은 내성적 훈련이 더 계산 효율적인 LLM 훈련을 향한 실용적이고 광범위하게 효과적인 경로임을 주장합니다. 피드백이 훈련 파이프라인을 통해 '역방향'으로 흐르도록 함으로써, IXT 는 모델이 전통적으로 사후 훈련을 위해 예약되었던 것보다 훨씬 초기에 품질 신호로부터 학습할 수 있게 합니다.

저자들은 그들의 방법이 근본적인 훈련 목표 (NTP) 를 변경하는 것이 아니라 품질 컨텍스트를 포함하도록 입력 분포를 수정한다는 점을 강조합니다. 그들은 모델이 생성한 피드백에 조건부 설정을 통해 다음을 가능하게 한다고 결론지었습니다.

• 고정된 코퍼스에서 표준 훈련이 도달하는 성능 점근선을 돌파합니다.
• 더 적은 훈련 토큰으로 도메인 특화를 달성합니다.
• 추론 시간에 모델 행동을 유도하기 위한 확장 가능하고 해석 가능한 메커니즘을 제공합니다.

이 연구는 사전 훈련과 사후 훈련 사이의 분리가 인위적이며, 피드백 조건부 설정을 통해 이러한 단계를 통합하면 능력을 희생하지 않고 상당한 효율성 향상을 얻을 수 있음을 시사합니다.