QAQ: Bidirectional Semantic Coherence for Selecting High-Quality Synthetic Code Instructions

1. 문제 정의 (Problem Statement)

코드 생성 모델 훈련을 위해 합성 데이터 (Synthetic Data) 가 필수적이 되었으나, 기존 방법론은 다음과 같은 한계를 가집니다:

• 노이즈와 환각 (Hallucination) 탐지의 어려움: 기존 지표들은 주로 모델이 질문 (Query) 에 대해 답변 (Answer) 을 생성하는 난이도 ($A|Q$) 를 측정합니다 (예: Instruction-Following Difficulty, IFD). 그러나 합성 데이터에서는 낮은 확률이 '복잡한 작업' 때문인지 '모델이 생성한 환각' 때문인지 구별하기 어렵습니다.
• 질문 품질의 간과: 기존 파이프라인 (예: WarriorCoder) 은 답변의 품질에 집중하지만, 의미론적으로 일관성이 없거나 잘못된 용어를 포함한 질문 자체의 품질 저하를 간과합니다.
• 두 가지 실패 모드:
  1. 의미 불일치 (Low Alignment): 질문과 답변이 전혀 관련이 없는 경우 (예: 인사말에 코드 답변).
  2. 단순 반복/패러프레이징 (High RMI Defect): 답변이 질문의 키워드를 단순히 반복하거나 재구성하여 표면적으로는 높은 점수를 받지만, 실제 학습 신호는 없는 경우.

2. 제안 방법론: QAQ (Methodology)

저자들은 QAQ (Query, Answer-Query) 라는 새로운 데이터 선택 프레임워크를 제안하며, 기존과 반대로 답변이 질문을 얼마나 잘 예측하는지 ($Q|A$) 를 평가합니다.

A. 역방향 상호 정보 (Reverse Mutual Information, RMI)

기존의 $PPL(A|Q)$대신$PPL(Q|A)$ 를 기반으로 한 RMI를 정의합니다.

• 수식: $RMI(Q, A) = \log PPL(Q) - \log PPL(Q|A)$
• 의미: 답변을 알았을 때 질문을 예측하는 데 얻는 정보량 (Information Gain) 을 측정합니다.
• RMI 해석:
  • 낮은 RMI: 답변이 질문과 의미적으로 연결되지 않음 (의미 불일치).
  • 매우 높은 RMI: 답변이 질문을 너무 쉽게 예측하게 만듦 (단순 반복, 키워드 에코, 패러프레이징 등 결함 패턴).
  • 적정 범위 (Sweet Spot): 질문과 답변 간의 의미론적 일관성이 있으면서도 학습 가치가 있는 구간.

B. 계층화 RMI (Stratified RMI)

질문의 복잡도 (Complexity) 가 RMI 점수에 편향을 일으킬 수 있으므로 이를 보정합니다.

• 질문의 난이도 ($PPL(Q)$) 를 기준으로 데이터를 10 개 구간 (Bin) 으로 나눕니다.
• 각 구간 내에서 RMI 순위를 매겨 정규화함으로써, 단순한 질문이 낮은 RMI 로 인해 잘못 제거되는 것을 방지합니다.

C. 모델 간 이견 (Model Disagreement) 활용

강력한 모델 ($M_s$) 과 약한 모델 ($M_w$) 간의 RMI 순위 차이를 활용하여 고품질 데이터를 선별합니다.

• Cognitive Gap (인지 격차): 강력한 모델은 데이터의 유효성을 인식하지만, 약한 모델은 이를 학습하기 어려워하는 샘플을 찾습니다.
• 선별 기준: $Diff = r_s - r_w$ (강력한 모델 순위 - 약한 모델 순위) 가 높은 샘플을 선택합니다. 이는 "유효하지만 (Strong 모델이 인정), 도전적 (Weak 모델이 어려워함)"인 데이터를 의미합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 데이터 선택 지표 제안: 합성 데이터의 품질을 평가하기 위해 '답변의 설명력 ($Q|A$)'을 측정하는 RMI 를 도입했습니다.
2. 양극단 필터링: RMI 분포의 양극단 (너무 낮거나 너무 높은 값) 이 각각 의미 불일치와 결함 패턴 (단순 반복) 을 나타낸다는 것을 실증적으로 증명했습니다.
3. 모델 불일치 신호 활용: 강력하고 약한 모델 간의 '인지 격차'를 활용하여 기존 합의 (Consensus) 기반 선택보다 더 우수한 학습 신호를 가진 데이터를 선별하는 전략을 제시했습니다.
4. 효율성 입증: 전체 데이터의 25% 만을 선택하여 훈련했을 때, 전체 데이터로 훈련한 것과 동등한 성능을 달성하면서도 기존 데이터 선택 방법 (IFD 등) 을 압도하는 성능을 보였습니다.

4. 실험 결과 (Results)

• 데이터셋: WarriorCoder (약 31 만 개의 코드 생성 지시 - 응답 쌍) 를 사용했습니다.
• 모델: 훈련 및 평가는 DeepSeek-Coder-6.7B-Base 를 사용했으며, RMI 계산에는 강력한 모델 (DeepSeek-Coder-6.7B) 과 약한 모델 (Qwen3-0.6B) 을 사용했습니다.
• 성능 (HumanEval+ 기준):
  • 전체 데이터 (Full Data): 72.56
  • QAQ (RMI 50-75%, 25% 데이터): 72.56 (전체 데이터와 동등한 성능)
  • 기존 방법 (IFD, Random 등, 25% 데이터): 66.46 ~ 69.51 (QAQ 보다 현저히 낮음)
• 주요 발견:
  • RMI 의 중간 범위 (50-75%) 를 선택하는 것이 최적의 성능을 냈습니다.
  • RMI 가 너무 높은 샘플 (Top-25%) 은 단순 반복 패턴으로 인해 성능이 저하되었습니다.
  • 모델 간 이견 (Disagreement) 을 기반으로 한 선택 (Diff-High) 은 합의 기반 선택 (Sum-High) 보다 HumanEval+ 에서 약 3 점 더 높은 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 계산 비용 절감: 고품질 합성 데이터의 25% 만을 선별하여 전체 데이터와 동급의 성능을 달성함으로써, 모델 훈련에 필요한 계산 자원을 대폭 줄일 수 있는 확장 가능한 경로를 제시했습니다.
• 양방향 의미 일관성: 코드 생성 데이터 선별에 있어 '질문 $\to$ 답변' 방향뿐만 아니라 '답변 $\to$ 질문' 방향의 의미론적 일관성 (Bidirectional Semantic Coherence) 이 필수적임을 강조했습니다.
• 미래 연구 방향: 다른 도메인 (코드 생성 외) 으로 확장, 다양한 모델 쌍을 활용한 이견 신호 탐구, 훈련 중 동적 선택 기준 조정 (Curriculum Learning) 등의 가능성을 열었습니다.

이 논문은 합성 데이터의 품질 관리에 있어 단순한 생성 난이도 측정을 넘어, 의미론적 일관성과 모델 간 인지 격차를 결합한 새로운 패러다임을 제시했다는 점에서 의의가 큽니다.