OPTIMSYN: 영향력 기반 루브릭 최적화를 통한 합성 데이터 생성 기술 요약

이 논문은 OPTIMSYN이라는 새로운 프레임워크를 제안하며, 지식 집약적 분야 (인문사회과학, 의료 등) 에서 고품질 지도 학습 (SFT) 데이터의 부족 문제를 해결하기 위해 합성 데이터 생성 과정의 루브릭 (규칙/지침) 을 모델의 실제 학습 영향력에 기반하여 자동 최적화하는 방법을 제시합니다.

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 성능 향상은 방대한 양의 지도 학습 (SFT) 데이터에 크게 의존합니다. 그러나 의료, 법률, 금융, 인문사회과학과 같은 지식 집약적 분야에서는 다음과 같은 이유로 고품질 데이터 확보가 극히 어렵습니다.

• 전문성 부족: 도메인 전문가의 수동 큐레이션 비용이 매우 높음.
• 프라이버시 제약: 민감한 데이터의 사용에 대한 엄격한 제한.
• 일관성 유지의 어려움: 대규모 수동 라벨링의 표준화 및 일관성 보장 난이도.

기존의 합성 데이터 생성 방식은 도메인 문서를 기반으로 생성기 (Generator) 를 프롬프팅하고, **수동으로 설계된 루브릭 (Rubrics)**으로 생성된 데이터를 필터링하는 방식을 사용합니다. 그러나 이 방식은 다음과 같은 한계가 있습니다.

1. 전이성 부족: 특정 도메인에 맞춰 설계된 루브릭은 다른 분야로 확장하기 어렵습니다.
2. 휴리스틱 최적화의 비효율성: "루브릭 작성 → 데이터 생성 → 모델 학습 → 결과 확인 → 수정"이라는 반복 과정은 인간의 직전에 의존하며, 루브릭이 실제 하류 태스크 성능에 어떤 정량적인 기여를 하는지 알 수 없는 불투명한 과정입니다.

2. 방법론 (Methodology)

저자들은 합성 데이터의 품질을 평가할 때 임베딩 공간의 유사성이 아닌, **목표 모델의 학습에 미치는 실제 영향력 (Training Utility)**을 기준으로 삼아야 한다고 주장합니다. 이를 위해 다음과 같은 세 가지 핵심 요소를 도입했습니다.

2.1 옵티마이저 인식 영향력 추정 (Optimizer-Aware Influence Estimation)

• 기반: 고전적인 영향력 함수 (Influence Functions) 를 현대적인 LLM 파이프라인에 적용합니다.
• 기법: Adam 옵티마이저를 사용하는 현대적 LLM 의 특성을 반영하여, 특정 합성 샘플 (QA 쌍) 이 검증 집합 (Validation Set) 의 손실 함수에 미치는 1 차 미분 기반의 영향을 추정합니다.
• 핵심 통찰: 실험 결과, 합성 데이터와 실제 데이터가 임베딩 공간에서는 가깝게 위치할지라도, 기울기 공간 (Gradient Space) 에서는 학습 방향이 크게 달라질 수 있음을 발견했습니다. 즉, 겉보기에 좋은 데이터라도 모델의 최적화 경로를 방해할 수 있으며, 영향력 점수 (Influence Score) 는 이러한 학습 기여도를 정량화하는 신뢰할 수 있는 지표가 됩니다.

2.2 영향력 기반 강화 학습 (Influence-Guided Reinforcement Learning)

루브릭 생성을 인간이 직접 설계하는 것이 아니라, **학습 가능한 정책 (Policy)**으로 간주하고 강화 학습 (RL) 을 통해 최적화합니다.

• 에이전트: 루브릭 생성기 (Prompter/Policy Model).
• 액션: 시드 문서 (Seed Document) 에 기반하여 도메인 특화 루브릭 생성.
• 생성: 생성기 (Teacher Model) 가 시드 문서와 생성된 루브릭을 기반으로 QA 쌍 생성.
• 보상 (Reward):
  • 유효성 검사: 형식, 안전성 등 경량 검증 통과 여부.
  • 영향력 점수: 생성된 QA 쌍이 목표 모델의 검증 손실에 미치는 영향력 (Influence Score) 을 계산하여 보상으로 사용.
  • 수식: $R(\tau) = \text{Valid}(Q, A) \cdot \text{IF}(Q, A) - \lambda(1 - \text{Valid}(Q, A))$
• 최적화 알고리즘: GRPO (Group Relative Policy Optimization) 를 사용하여, 그룹 내 비교를 통해 분산을 줄이고 정책 (루브릭 생성기) 을 업데이트합니다.

2.3 프레임워크 흐름

1. 시드 문서 입력.
2. Policy Model이 시드 문서에 맞는 루브릭 생성.
3. Generator Model이 루브릭과 시드 문서를 바탕으로 QA 쌍 생성.
4. Target Model의 학습 영향력 (Influence Score) 을 계산하여 보상 산출.
5. Policy Model을 보상 신호로 업데이트 (RL).
6. 최적화된 루브릭으로 고품질 합성 데이터 생성 및 SFT 수행.

3. 주요 기여 (Key Contributions)

1. 옵티마이저 인식 영향력 추정: 현대적 합성 데이터 파이프라인에 적용 가능한 실용적인 영향력 추정기를 개발하여, 각 합성 샘플의 학습 유틸리티를 정량화했습니다.
2. 휴리스틱에서 감독 학습으로의 전환: 전문가의 직관에 의존하던 루브릭 공학을, 모델의 하류 성능 향상을 최대화하는 방향으로 학습 가능한 정책으로 전환했습니다.
3. 도메인 간 전이 및 효율성: 도메인 전문 지식에 대한 의존도를 줄이고, 프라이버시 제약이 있는 지식 집약적 분야에서도 적용 가능한 범용적이고 효율적인 프레임워크를 제시했습니다.

4. 실험 결과 (Results)

4.1 성능 향상

• 도메인: 인문사회과학 (HSS) 및 의료/보건 (Medical) 분야에서 일관된 성능 향상을 보였습니다.
• 모델: Qwen3-8B-Base 를 기준으로, 기존 오픈 소스 SFT 데이터셋 (MAGACorpus, Bonito, Conder 등) 과 비교하여 대부분의 벤치마크 (MMLU-pro, Super GPQA, HLE, Health Bench 등) 에서 더 높은 정확도를 기록했습니다.
• 비교: 일부 태스크에서는 Qwen3-8B-Instruct(지시 모델) 보다도 우수한 성능을 달성하거나, 추론 시 '생각'을 요구하는 모델들과 경쟁 가능한 수준을 보였습니다.

4.2 일반화 능력

• 모델 스케일 및 패밀리: Qwen3 (4B, 8B, 14B) 및 Llama3-8B 등 다양한 크기와 아키텍처의 목표 모델에서도 성능 향상이 확인되었습니다.
• 생성기 무관성: 생성기로 Qwen3-235B, GPT-4.1, Gemini-2.5-Pro 등을 사용하더라도 제안된 프레임워크가 일관된 개선을 제공하여, 특정 생성기에 의존하지 않음을 입증했습니다.

4.3 분석

• 영향력 점수와 정확도의 상관관계: 합성 데이터의 영향력 점수 (IF) 가 높을수록 하류 태스크의 정확도도 높아지는 강한 양의 상관관계를 확인했습니다.
• 루브릭의 변화: RL 학습 후 생성된 루브릭은 일반적인 지시어 (focus, align 등) 에서 도메인 및 품질 중심의 구체적 속성 (critical, clarity, logical soundness 등) 으로 진화하여, 생성기가 더 정교한 데이터를 만들도록 유도했습니다.

5. 의의 및 결론 (Significance)

OPTIMSYN은 합성 데이터 생성의 패러다임을 **"휴리스틱 필터링"에서 "모델 영향력 기반 최적화"**로 전환했습니다.

• 데이터 효율성: 적은 양의 고품질 합성 데이터로도 모델 성능을 극대화할 수 있어, 데이터 수집 비용과 시간을 절감합니다.
• 자동화 및 확장성: 도메인 전문가의 수동 개입 없이도 다양한 분야와 모델에 적용 가능한 자동화된 루브릭 최적화 체계를 제공합니다.
• 과학적 근거: 단순한 임베딩 유사성이 아닌, 실제 학습 역학 (Gradient) 에 기반한 데이터 선별을 통해 합성 데이터의 질을 과학적으로 보장합니다.

이 연구는 데이터 부족이 심각한 고위험 분야 (의료, 법률 등) 에서 LLM 의 실용성을 높이는 데 중요한 기여를 할 것으로 기대됩니다.