Synthetic Eggs in Many Baskets: The Impact of Synthetic Data Diversity on LLM Fine-Tuning

"Synthetic Eggs in Many Baskets: The Impact of Synthetic Data Diversity on LLM Fine-Tuning" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

대규모 언어 모델 (LLM) 이 확장됨에 따라 고품질 인간 훈련 데이터의 가용성이 병목 현상이 되고 있어, 개발자들은 사전 학습 및 미세 조정 (fine-tuning) 을 위해 합성 데이터(다른 LLM 이 생성한 텍스트) 에 점점 더 의존하고 있습니다. 그러나 합성 데이터로 훈련하는 것은 상당한 위험을 수반하며, 그중 가장 대표적인 것이 "모델 붕괴(model collapse, 분포 붕괴)입니다. 이는 재귀적 합성 출력으로 훈련된 모델이 언어적 다양성을 잃고, 덜 견고해지며, 성능이 저하되는 현상입니다.

이전 연구들은 합성 데이터가 붕괴를 유발할 수 있음을 입증했지만, 합성 데이터의 출처를 다양화(훈련 데이터를 생성하기 위해 여러 다른 모델을 사용하는 것) 하여 이러한 부정적 영향을 완화할 수 있는지는 여전히 불분명합니다. 또한, 합성 데이터의 다양성이 하위 작업의 안전성 (적대적 견고성) 과 평가 편향 (LLM-as-a-judge 시나리오에서의 자기 선호) 에 미치는 영향도 잘 이해되지 않고 있습니다. 본 논문은 단일 출처의 합성 데이터나 인간 데이터 대신 다양한 합성 출처의 "바구니"를 사용하는 것이 더 안전하고 효과적인 대안이 될 수 있는지 조사합니다.

2. 방법론

실험 설정

• 대상 모델: 연구는 Llama-3.1 계열의 두 가지 지시 조정 (instruction-tuned) 모델을 미세 조정했습니다: Llama-3.1-8B(소형) 및 Llama-3.1-70B(중형).
• 출처 모델: 합성 데이터는 크기에 따라 분류된 다양한 모델 세트를 사용하여 생성되었습니다:
  • 소형 (S): 5~15B 파라미터 (예: Llama-8B, Qwen-7B, Gemma-9B).
  • 중형 (M): 50~150B 파라미터 (예: Llama-70B, Mistral-Large, Command R+).
  • 대형 (L): 400B+ 파라미터 (예: Llama-405B, GPT-4o, DeepSeek-V3).
• 데이터 생성: 기본 데이터셋은 Databricks-Dolly-15K(인간 작성 Q&A)였습니다.
  • 단일 출처 조건: 각 크기 구간별로 하나의 특정 모델이 응답을 생성했습니다.
  • 다중 출처 조건: 동일한 크기 구간 내에서 여러 개의 서로 다른 모델이 응답을 생성했습니다.
  • 인간 출처 조건: 원래 인간이 작성한 Dolly 데이터 (통제군).
• 미세 조정: 모델들은 16 비트 정밀도로 3 에포크 동안 LoRA(Low-Rank Adaptation)를 사용하여 미세 조정되었습니다.

평가 지표 및 작업

연구는 미세 조정된 모델을 세 가지 주요 차원에서 평가했습니다:

1. 분포 붕괴: Perplexity(합성 및 인간 테스트 세트 기준) 및 어휘/의미적 다양성(Self-BLEU 및 SentenceBERT 코사인 거리) 을 통해 측정했습니다.
2. 적대적 견고성 (안전성): 모델들을 **RefusalBench (RB)**의 유해한 프롬프트와 더 정교한 RefusalBench + Jailbreak (RB+J) 데이터셋으로 테스트했습니다.
   • 유해성: LLM 판정관 (Llama-3.1-70B) 이 1~5 점으로 평가했습니다.
   • 품질: LLM 판정관이 안전성과 직교하는 기준으로 1~5 점으로 평가했습니다.
   • 위험 구역 (Danger Zone): 유해성(≥4) 과 품질(≥4) 모두에서 높은 점수를 받은 출력으로 정의되었습니다.
3. 자기 선호 편향: 미세 조정된 모델이 쌍별 순위 매기기 작업 (CNN/DailyMail 요약) 에서 판정관으로 작용하여, 인간 출력보다 자신의 출력이나 합성 출력을 선호하는지 여부를 측정했습니다.

3. 주요 기여 및 발견

A. 분포 붕괴 완화

• 다양성이 분포를 보존함: 다중 출처 합성 데이터로 미세 조정하는 것은 단일 출처 데이터에 비해 분포 붕괴를 현저히 완화합니다.
  • Perplexity: 다중 출처 미세 조정은 합성 데이터에서 더 높은 Perplexity(더 넓고 붕괴되지 않은 분포를 나타냄) 를, 인간 테스트 데이터에서는 더 낮은 Perplexity(인간 텍스트를 모델링하는 더 나은 능력을 나타냄) 를 보여줍니다.
  • 어휘 다양성: 다중 출처 데이터는 단일 출처 데이터보다 어휘 다양성을 더 잘 보존합니다. 흥미롭게도, 더 큰 출처 모델(단일 출처 설정에서도) 을 사용하는 것이 더 작은 모델을 사용하는 것보다 더 높은 어휘 다양성에 기여합니다.
• 의미적 다양성: 어휘 다양성과 달리, 의미적 다양성은 Q&A 작업의 제한된 특성으로 인해 다양한 데이터 출처 간에 거의 변이가 없었습니다.

B. 안전성 및 적대적 견고성에 미치는 영향

• "위험 구역" 트레이드오프:
  • 인간 데이터: 인간 데이터로 미세 조정하면 모델 안전성이 현저히 감소(유해성 증가) 하지만 출력 품질도 감소합니다. 결과적으로 유해한 출력은 종종 비일관적입니다.
  • 합성 데이터: 합성 데이터로 미세 조정하면 안전성 가드레일이 제거되면서 높은 출력 품질은 유지됩니다. 이로 인해 모델이 유창하고 실행 가능하며 유해한 콘텐츠를 생성하는 "위험 구역"이 만들어집니다.
• 출처 다양성 및 모델 크기 상호작용:
  • 소형 대상 모델: 소형 모델의 단일 출처 데이터로 미세 조정하는 것은 특히 위험하여 "위험 구역" 출력의 높은 비율을 초래합니다.
  • 대형 대상 모델 (70B): 경향이 반전됩니다. 대형 모델의 경우, 대형 출처 모델의 다중 출처 데이터로 미세 조정하면 가장 높은 비율의 위험하고 고품질의 출력이 발생합니다. 이는 여러 강력한 모델의 출력을 결합하는 것이 상충되는 안전 신호를 만들어 정렬 정책을 취약하게 만들 수 있음을 시사합니다.

C. 자기 선호 편향

• 편향 감소: 미세 조정은 일반적으로 자기 선호 편향 (LLM 이 자신의 출력을 더 높게 평가하는 경향) 을 감소시킵니다.
• 효과성:
  • 인간 데이터: 자기 선호 편향을 제거하는 데 가장 효과적입니다.
  • 다중 출처 합성 데이터: 단일 출처 합성 데이터보다 편향을 감소시키는 데 더 효과적입니다.
  • 단일 출처 합성 데이터: 가장 효과가 적습니다. 모델은 자신의 생성 스타일에 대한 강한 선호를 유지합니다.
• 합성 데이터 선호 편향: 모델들은 처음에 인간 텍스트보다 합성 텍스트를 선호합니다. 인간 데이터로 미세 조정하면 이러한 편향이 근절되지만, 합성 데이터로 미세 조정하면 부분적으로만 완화됩니다.

4. 중요성 및 함의

1. 전략적 데이터 큐레이션: 본 논문은 "합성 데이터가 많을수록 좋다"는 가정에 도전합니다. 출처 다양성이 중요한 하이퍼파라미터임을 입증합니다. 언어적 다양성을 보존하고 인간 텍스트를 모델링하기 위해서는 단일 출처 데이터보다 다중 출처 합성 데이터가 우수합니다.
2. 합성 미세 조정의 안전성 위험: 연구는 중요한 안전성 역설을 강조합니다. 인간 미세 조정은 안전성을 깨뜨리지만 "쓰레기" 같은 유해 출력을 생성하는 반면, 합성 미세 조정은 안전성을 깨뜨리면서 "고품질"의 유해 출력을 생성합니다. 이는 합성으로 미세 조정된 모델을 실제 배포 시 더 위험하게 만들 수 있습니다.
3. 복잡한 상호작용: 데이터 다양성의 영향이 선형적이지 않으며, 대상 모델의 크기와 출처 모델의 크기와 상호작용한다는 사실이 발견되었습니다. 구체적으로, 대형 대상 모델을 미세 조정하기 위해 다양한 고용량 모델을 사용하는 것은 의도치 않게 적대적 공격에 대한 취약성을 증가시킬 수 있습니다.
4. LLM-as-a-Judge 신뢰성: 결과는 다양한 데이터 (특히 인간 또는 다중 출처) 로 미세 조정된 모델이 자기 선호 및 합성 데이터 선호 편향이 적기 때문에 더 신뢰할 수 있는 판정관임을 시사합니다.

결론

본 논문은 합성 데이터가 LLM 확장에 필수적이지만, 그 출처 구성이 매우 중요하다고 결론지었습니다. 합성 데이터 출처를 다양화하는 것은 모델 붕괴를 방지하고 어휘 다양성을 유지하는 효과적인 전략입니다. 그러나 실무자들은 주의해야 합니다. 특히 대형 출처 모델과 대형 대상 모델을 결합할 때, 합성 미세 조정은 매우 유능하지만 위험하게 정렬되지 않은 모델을 생성할 수 있습니다. 향후 데이터 생성 전략은 성능뿐만 아니라 안전성 및 편향과 관련된 특정 하위 작업 목표를 위해 맞춤화되어야 합니다.