Multi-Sample Prompting and Actor-Critic Prompt Optimization for Diverse Synthetic Data Generation

논문 개요

본 논문은 의료 및 요구사항 공학 (RE) 과 같이 데이터 부족, 프라이버시 제약, 독점적 제한으로 고품질 레이블 데이터 확보가 어려운 분야에서 대규모 언어 모델 (LLM) 기반의 합성 데이터 생성 (SDG) 의 한계를 해결하기 위한 연구를 제시합니다. 기존 LLM 기반 생성 데이터는 반복적이고 다양성이 낮아 하류 작업 (다운스트림 태스크) 에 효과적이지 않다는 문제를 지적하고, 이를 해결하기 위해 다중 샘플 프롬핑 (Multi-Sample Prompting) 과 액터 - 크리틱 기반 프롬프 최적화 (PACE) 를 통합한 새로운 프레임워크를 제안하고 실험적으로 검증했습니다.

1. 연구 배경 및 문제 정의

• 문제점: LLM 을 이용한 합성 데이터 생성 (SDG) 은 데이터 부족 문제를 해결할 수 있는 유망한 대안이지만, 생성된 데이터가 특정 패턴으로 수렴하는 '모드 붕괴 (Mode Collapse)' 현상으로 인해 반복적이고 다양성이 낮습니다. 이는 분류기 등 하류 모델의 성능을 저하시킵니다.
• 기존 접근법의 한계: 제로샷 (Zero-shot) 또는 퓨샷 (Few-shot) 프롬핑, 속성 기반 프롬핑 (Attributed prompting) 등은 다양성을 어느 정도 개선했으나, 여전히 실제 데이터에 비해 다양성이 부족했습니다.
• 연구 질문:
  1. 다중 샘플 프롬핑이 합성 데이터의 다양성과 분류 태스크의 유틸리티 (성능) 에 어떤 영향을 미치는가?
  2. PACE 기반 프롬프 최적화가 다양성과 유틸리티에 어떤 영향을 미치는가?
  3. 합성 데이터가 인간이 작성한 데이터를 대체하거나 능가할 수 있는 정도는 어느 정도인가?

2. 방법론 (Methodology)

연구진은 기존에 개발한 Synthline(기능 모델 기반의 구성 가능한 합성 데이터 생성기) 에 두 가지 핵심 메커니즘을 통합했습니다.

가. 다중 샘플 프롬핑 (Multi-Sample Prompting)

• 원리: 단일 프롬프당 하나의 샘플만 생성하는 대신, 단일 프롬프 내에서 여러 개의 샘플 (예: 20 개) 을 동시에 요청하는 방식입니다.
• 효과: LLM 의 '문맥 내 인식 (Within-context awareness)'을 활용하여 반복을 줄이고 다양성을 높입니다. 또한, API 호출 횟수를 줄여 효율성을 극대화합니다.
• 구현: samplesPerPrompt 파라미터를 통해 제어하며, JSON 배열 형식으로 구조화된 출력을 요구합니다.

나. PACE 기반 프롬프 최적화 (Prompt with Actor-Critic Editing)

• 원리: 수동 프롬프 엔지니어링을 대체하기 위해 액터 (Actor) 와 크리터 (Critic) LLM을 활용한 반복적 최적화 루프를 도입했습니다.
  1. Actor: 현재 프롬프를 기반으로 샘플 배치 생성.
  2. Scoring: 생성된 샘플의 다양성을 점수화 (Sentence-BERT 임베딩 간의 코사인 거리 최대화).
  3. Critic: 점수와 현재 프롬프를 기반으로 프롬프의 약점을 지적하고 수정 제안.
  4. Refinement: Actor 가 피드백을 반영하여 프롬프 후보를 재생성.
• 목적: 다양성을 극대화하는 프롬프를 자동 탐색합니다.

다. 실험 설정

• 도메인: 요구사항 공학 (RE) 의 4 가지 분류 태스크 (결함 분류, 기능/비기능 분류, 품질/비품질 분류, 보안/비보안 분류).
• 모델: 생성용 LLM 으로 gpt-4.1-nano 사용.
• 비교 그룹:
  1. synthetic_1: 단일 샘플 생성 (기본).
  2. synthetic_20: 다중 샘플 생성 (기본).
  3. synthetic_20_pace: 다중 샘플 + PACE 최적화.
• 평가 지표:
  • 다양성: INGF (n-gram 빈도, 낮을수록 좋음), APS (평균 쌍별 유사도, 낮을수록 좋음).
  • 유틸리티: 실제 데이터로 테스트한 BERT 분류기의 가중치 F1-score.

3. 주요 결과 (Key Results)

RQ1: 다중 샘플 프롬핑의 영향

• 다양성 및 유틸리티 동시 향상: 다중 샘플 방식 (synthetic_20) 은 단일 샘플 방식 대비 LEXICAL 다양성 (INGF 25~28% 감소) 과 시맨틱 다양성 (APS 22~28% 감소) 을 크게 개선했습니다.
• 성능 개선: 모든 태스크에서 분류 성능이 향상되었으며, F1-score 가 6~43.8%p 증가했습니다. 특히 보안 태스크에서 43.8%p의 큰 개선을 보였습니다.
• 결론: 다중 샘플 프롬핑은 반복을 줄이면서도 분류기 학습에 더 효과적인 데이터를 생성합니다.

RQ2: PACE 최적화의 영향

• 다양성: PACE 는 모든 태스크에서 어휘적 다양성 (INGF 10~19% 감소) 을 일관되게 개선했습니다.
• 유틸리티 (성능): 태스크에 따라 결과가 달랐습니다.
  • 기능적 요구사항: F1-score 가 32.5%p 급증하여 큰 성공을 거둠.
  • 보안 및 결함: F1-score 가 각각 4.5%p, 7.8%p 감소하여 성능이 저하됨.
• 결론: 다양성만을 목표로 한 최적화는 하류 태스크의 성능을 저하시킬 수 있으며, 태스크별 유틸리티 신호를 고려한 스코어링 함수가 필요함을 시사합니다.

RQ3: 합성 데이터 vs 인간 작성 데이터

• 성능 비교: 제한된 실제 레이블 데이터가 있는 태스크에서 합성 데이터가 인간 작성 데이터를 능가했습니다.
  • 결함 분류: 합성 데이터가 인간 데이터보다 F1-score 15.4%p 더 높음 (실제 데이터 131 개 vs 합성 데이터 500 개/클래스 균형).
  • 보안 분류: 합성 데이터가 인간 데이터보다 7.8%p 더 높음.
  • 기능적 요구사항: 실제 데이터가 여전히 우세했으나, 합성 데이터도 경쟁력 있는 성능을 보임.
• 의미: 데이터가 부족하거나 불균형한 경우, 합성 데이터는 실제 데이터를 대체하거나 능가할 수 있는 강력한 대안이 됩니다.

4. 기여도 및 의의 (Contributions & Significance)

1. 실증적 검증: 다중 샘플 프롬핑과 PACE 가 SDG 의 다양성과 유틸리티에 미치는 영향을 체계적으로 평가했습니다. 특히 다중 샘플 프롬핑이 다양성과 성능을 동시에 개선한다는 점을 입증했습니다.
2. 도구 공개: 두 메커니즘을 통합한 Synthline을 오픈소스로 공개하여 재현성을 보장했습니다.
3. 실무적 통찰:
   • 효율성: 다중 샘플 프롬핑은 API 호출 비용을 줄이면서 품질을 높이는 효율적인 방법입니다.
   • 최적화의 함정: 다양성만을 최적화하는 것 (PACE 의 기본 설정) 은 하류 태스크 성능을 해칠 수 있으므로, 유틸리티를 고려한 스코어링 함수의 중요성을 강조했습니다.
   • 데이터 부족 해결: 레이블 데이터가 부족한 도메인 (의료, 법률 등) 에서 합성 데이터가 실제 데이터를 능가할 수 있음을 보여주어, 데이터 확보의 새로운 패러다임을 제시합니다.

5. 결론

본 논문은 LLM 기반 합성 데이터 생성의 핵심 문제인 '낮은 다양성'을 해결하기 위해 다중 샘플 프롬핑과 액터 - 크리틱 최적화를 결합했습니다. 실험 결과, 다중 샘플 프롬핑은 다양성과 분류 성능을 모두 향상시키는 가장 효과적인 전략으로 입증되었으며, PACE 는 태스크에 따라 성능이 달라질 수 있음을 보여주었습니다. 특히 실제 데이터가 부족한 상황에서는 합성 데이터가 인간 작성 데이터를 능가할 수 있음을 확인함으로써, 데이터 중심 AI 연구 및 실무에 중요한 시사점을 제공했습니다.