기술 요약: FineInstructions: 합성 지시문(Synthetic Instructions)의 사전 학습 규모 확장

문제 정의

대규모 언어 모델(LLM)은 일반적으로 방대한 양의 비구조화된 텍스트 코퍼스를 사용하여 자기 지도 학습 방식인 차세대 토큰 예측(next-token prediction)을 통해 사전 학습됩니다. 이 단계는 모델에 대부분의 지식을 부여하지만, 이후에는 상대적으로 적은 양의 지도 학습 기반 지시-응답 데이터를 사용하여 모델을 사용자의 의도에 정렬시키는 별도의 "지시 튜닝(instruction-tuning)" 단계가 뒤따릅니다. 기존의 지시 튜닝 데이터셋은 수천 개의 예시에 불-과하거나, 학술적 NLP 작업에 국한되어 있거나, 최첨단 모델로부터 지식 증류(distillation)에 의존하여 기능적으로 표면적인 모사 수준에 그치는 등 한계가 있습니다. 결과적으로, 사전 학습 단계는 지식을 인코딩하는 역할을 담당하는 반면, 지시 튜닝 단계는 주로 응답 스타일을 학습하는 데 국한됩니다. 또한, 표준적인 사전 학습은 저품질의 노이즈(헤더, 푸터 등)에 계산 자원을 낭비하며, 다운스트림의 사용자 프롬프트 분포와 잘 일치하지 않는다는 단점이 있습니다.

방법론: FineInstructions 파이프라인

저자들은 인터넷 규모의 사전 학습 문서를 수십억 개의 합성 지시-응답 쌍으로 변환하여, 사실상 사전 학습 규모에서 지도 학습 기반의 지시 튜닝을 가능하게 하는 절차인 FineInstructions를 제안합니다. 이 파이프라인은 8가지 핵심 단계로 구성됩니다:

1. 지시 템플릿 생성 (Instruction Template Generation):

   • 소스: 저자들은 다양한 출처(예: WildChat, LMSys, StackExchange, Reddit QA, GooAQ)로부터 약 2,150만 개의 실제 사용자 작성 쿼리를 수집했습니다.
   • 일반화 (Genericization): "쿼리 일반화 모델"(증류된 Llama-3.2 1B 모델)을 사용하여, 이러한 쿼리들을 약 1,800만 개의 일반적인 지시 템플릿으로 변환합니다. 쿼리 내의 특정 개체나 시나리오는 필요한 콘텐츠에 대한 자연어 설명을 포함하는 <fi> 태그(예: <fi>Entity A</fi>)로 대체됩니다.
   • 필터링: 유해한 쿼리를 제거하고, 공통 벤치마크 데이터로부터 오염을 제거합니다.

2. 문서 매칭 (Document Matching):

   • 임베딩: 템플릿과 사전 학습 문서 자체의 "호환 가능한 문서 설명"을 임베딩하기 위해 의미 유사성 모델(BGE-M3)이 사용됩니다.
   • 가우시안 풀링 (Gaussian Pooling): 템플릿이 긴 문서의 특정 섹션과 일치하도록 하기 위해, 저자들은 커스텀 "가우시안 풀링" 레이어를 도입합니다. 단일 글로벌 임베딩 대신, 모델은 문서의 구별되는 청크(chunk)를 나타내는 $K=5$개의 로컬 임베딩과 하나의 글로벌 임베딩을 생성합니다.
   • 검색: 각 문서에 대해, 시스템은 코사인 유사도(임계값 0.865)를 기반으로 호환되는 지시 템플릿을 검색합니다. 가중치 기반 무작위 샘사 전략을 통해 템플릿 복잡도의 다양성을 보장합니다.

3. 구체화 및 응답 생성 (Instantiation and Answer Generation):

   • 구체화 모델 (Instantiator Model): 증류된 Llama-3.2 3B 모델이 검색된 템플릿을 문서 내용으로 구체화하고 응답을 생성하도록 훈련되었습니다.
   • 근거 제시 (Grounding): 환각(hallucination)과 모델 붕괴를 방hi하기 위해, 응답은 주로 소스 문서에 근거합니다. 모델은 원문을 직접 복사하도록 지시받습니다. 긴 구간에 대해 생성을 효율적으로 하기 위해 특수 태깅 메커즘(<excerpt>...</excerpt>)을 사용하여, 모델이 생략 기호(ellipsis)를 포함한 태그를 생성하면 나중에 프로그램적으로 확장되도록 하여 토큰 생성 비용을 줄입니다.
   • 제약 조건: 생성된 응답 내 엑셉트(excerpt) 텍스트의 비율은 $\ge 0.80$이 되도록 강제됩니다.

4. 판단 및 필터링 (Judging and Filtering):

   • "Flow Judge" 모델(3.8B 파라미터의 증류된 모델)이 생성된 지시-응답 쌍을 5점 리커트 척도로 평가합니다.
   • 점수가 4점 이상인 쌍(불필요한 내용 없이 쿼리에 답변한 경우)만 유지됩니다. 이 단계에서는 또한 잘못 형성된 구체화 사례와 소스에 근거하지 않은 응답을 필터링합니다.

5. 학습 (Training):

   • 결과물인 FineInstructions 데이터셋은 10억 개 이상의 합성 지시-응답 쌍을 포함합니다.
   • 모델은 표준적인 차세대 토큰 예측이 아닌, 이 지시 튜닝 목적 함수(Instruction: {{instruction}} \n\n Answer: {{answer}})만을 사용하여 처음부터 사전 학습됩니다.

주요 기여

1. 대규모 템플릿 생성: 매우 다양하고 분포 내(in-distribution)에 있는 합성 데이터를 생성할 수 있도록, 실제 사용자 쿼리로부터 유도된 약 1,800만 개의 지시 템플릿을 구축했습니다.
2. FineInstructions 절차: 효율적인 증류 모델을 활용하여 비구조화된 사전 학습 문서를 지도 학습 기반의 지시-응답 쌍으로 변환하는 확장 가능한 파이프라인을 제안했습니다.
3. 경험적 검증: FineInstructions가 응답 품질에 대한 인간의 판단과 상관관계가 높은 벤치마크에서 표준 사전 학습 및 기타 합성 변환 베이스라인(Instruction Pre-Training, Nemotron-CC, WRAP)보다 우수한 성능을 보임을 입증했습니다.
4. 오픈 리소스: 코드, 훈련된 모델, 그리고 FineInstructions 데이터셋(10억 개 이상의 쌍)을 공개합니다.

결과

저자들은 두 가지 코퍼스 규모(IPT ~23B 토큰 및 Nemotron-CC ~300B 토큰)에 대해 1.8B 파라미터 모델을 사용하여 제어된 토큰 대 토큰(token-for-token) 학습 실험을 수행했습니다.

• 성능 향상: FineInstructions는 MixEval(인간의 판단과 상관관계가 높은 벤치마크), MT-Bench-101(다회차 주관적 쿼리), AlpacaEval(헤드 투 헤드 승률)에서 베이스라인을 크게 앞질렀습니다.
  • IPT 코퍼스의 경우, FineInstructions는 표준 사전 학습 대비 MixEval에서 약 69%의 상대적 개선을 보였습니다.
  • Nemotron-CC 코퍼스의 경우, MixEval에서 약 39%의 개선을 보였습니다.
  • AlpacaEval에서 FineInstructions의 출력은 다른 모든 파이프라인보다 일관되게 선호되었습니다.
• 일반화: 성능 향상은 지식 중심 작업(MixEval)과 개방형 실세계 작업(MT-Bench-101, AlpacaEval) 모두에서 일관되게 나타났습니다.
• 효율성: 다양한 모델 규모(300M, 1.8B, 7B)에서의 실험은 동일한 토큰 및 계산 예산이 주어졌을 때, FineInstructions가 더 작은 모델이 표준 베이스라인으로 학습된 더 큰 모델의 성능 수준에 도달하거나 이를 능가할 수 있게 함을 보여주었습니다.

의의 및 주장

본 논문은 사전 학습 데이터를 지시-응답 형식으로 재구성하는 것이 지식 흡수 효율을 높이고, 사전 학습 분포를 다운스트림 사용자 사용 패턴에 더 밀접하게 정렬시킨다고 주장합니다. 학습 목표를 "다음 단어 예측"에서 "지시에 따른 응답"으로 전환함으로써, 모델은 별도의 데이터가 부족한 지시 튜닝 단계에 의존하기보다 사전 학습 단계 자체에서 지시를 따르고 작업을 일반화하는 법을 배웁니다.

저자들은 자신들의 접근 방식이 퍼플렉시티(perplexity)와 같은 중간 단계의 언어 모델링 대리 지표보다는 다운스트림 사용자 유용성(유용한 응답 생성)에 최적화되어 있음을 명시적으로 밝힙히고 있습니다. 그들은 FineInstructions가 원시 문서에 대한 순수 차세대 토큰 예측을 학습하지 않기 때문에, 표준 사전 학습이 퍼플렉시티 기반 지표에서는 더 우수할 수 있음을 인정합니다. 그러나 제안된 방법은 고품질의 지시 이행 및 추론 능력을 갖춘 모델을 학습시키기 위한 더 효과적인 경로를 제공합니다.

또한, 이 연구는 생성된 지시문의 다양성(실제 사용자 쿼리에서 유도됨)이 좁은 학술적 작업 형식에 집중하는 기존의 합성 방법들과 차별화되는 핵심 요소임을 강조합니다. 이 파이프라인은 응답을 소스 문서에 근거시키고 품질을 필터링함으로써 모델 붕괴의 위험을 효과적으로 완화하며, 증류된 모델을 사용하여 이 절차가 사전 학습 규모에서도 계산적으로 실행 가능하다는 것을 보장합니다.