기술 요약: Pass@k 를 넘어선 다중 샘플 코드 생성을 위한 중복 인식 RLVR

문제 정의

코드 생성을 위한 대규모 언어 모델 (LLM) 은 일반적으로 Pass@k 지표를 사용하여 반복 샘플링 환경에서 평가됩니다. Pass@k 는 $k$개의 샘플링된 프로그램 중 적어도 하나가 유닛 테스트를 통과할 확률을 측정합니다. 최근 검증기 기반 강화 학습 (RLVR) 방법들은 테스트 피드백을 기반으로 최적화함으로써 실행 가능한 정확도를 성공적으로 향상시켰지만, 이러한 모델들의 구현 수준 중복성에 대한 행동은 여전히 잘 이해되지 않고 있습니다.

해결된 핵심 문제는 표준 RL 목적 함수 (개별 정확도 최적화) 와 Pass@k 인지 목적 함수 (그룹 성공 최적화) 가 질적으로 다른 생성 행동을 유도할 수 있다는 점입니다. 구체적으로, 유한한 샘플링 예산 하에서의 성능 향상이 다양한 고유한 구현 패턴을 발견하는 데서 비롯된 것인지, 아니면 좁은 범위의 거의 중복된 솔루션 주변으로 생성이 집중되는 데서 비롯된 것인지 명확하지 않습니다. Pass@k 와 같은 현재 지표들은 이러한 두 시나리오를 구분하지 못하여, 더 큰 샘플링 예산 ($k$) 에서 성능을 제한할 수 있는 다양성 부족을 가릴 가능성이 있습니다.

방법론

1. 중복성 진단: JPlag

구현 중복성을 정량화하기 위해 저자들은 코드용 표절 탐지 시스템인 JPlag를 사용합니다. 변수 이름 변경, 포맷팅과 같은 표면적 편집에 민감한 어휘 중첩 지표 (예: n-gram) 와 달리, JPlag 는 언어 인식 토큰화와 매칭을 사용하여 구조적 유사성을 탐지합니다.

• 지표: 논문은 **JPlag 다양성 (JDiv)**을 $1 - \text{평균 쌍별 유사도}$로 정의합니다. 높은 JDiv 는 낮은 중복성을 나타냅니다.
• 활용: JPlag 는 다양한 RL 목적 함수가 샘플링 예산을 어떻게 활용하는지 분석하는 진단 도구이자 새로운 학습 신호의 기반으로 사용됩니다.

2. Baseline RLVR 목적 함수

본 연구는 세 가지 기존 접근 방식을 비교합니다:

• Base-RLVR (정확도 전용): 그룹 내의 모든 올바른 샘플에 대해 가산 보상을 부여합니다. 신용은 성공적인 생성물에 독립적으로 할당됩니다.
• Pass@k-RLVR: 그룹 내 적어도 하나의 샘플이 올바른지 여부에 따라 성공이 결정되는 그룹 수준 보상을 사용합니다. 신용은 leave-one-out 이득을 통해 할당되며, 그룹의 성공 상태를 변경하는 샘플에 보상을 부여합니다.
• PKPO (Pass@k 정책 최적화): 모든 $k$-부분집합에 대한 leave-one-out 이득을 평균화함으로써 Pass@k 원칙을 $k$보다 큰 그룹으로 확장합니다.

3. 제안된 방법: JPlag-RLVR

저자들은 표준 실행 가능 보상에 직접적인 중복 방지 신호를 추가한 중복 인식 RLVR 목적 함수를 제안합니다.

• 보상 함수: $R(x, Y^{(n)}) = R_{\text{corr}}(x, Y^{(n)}) + \lambda_{\text{div}} R_{\text{div}}(x, Y^{(n)})$.
  • $R_{\text{corr}}$는 표준 정확도 보상입니다.
  • $R_{\text{div}}$는 JPlag 유사도 (구체적으로 평균 쌍별 유사도의 역수) 에서 파생된 스칼라 중복 방지 보상입니다.
• 신용 할당: 학습 신호가 그룹의 다양성에 대한 샘플의 한계 기여도에 의존하도록 하기 위해, 저자들은 다양성 구성 요소에 대해 leave-one-out 이득 구성을 사용합니다. 샘플이 그룹의 중복성을 줄이면 양의 이득을 받고, 기존 생성물을 중복하면 음의 이득을 받습니다.
• 구현: 이 방법은 세 가지 모델 (Qwen3-4B, Qwen3-8B, Olmo3-7B) 과 세 가지 벤치마크 (MBPP, Code-Contest, TACO-Cobalt) 에 적용되었습니다.

주요 결과

1. 기존 목적 함수 분석

• 정확도 전용 RLVR: Pass@1 을 향상시키지만, 이 방법은 체계적으로 중복성을 증가시킵니다. 학습 역학을 보면 Pass@1 이 향상됨에 따라 JPlag 다양성이 감소하여, 모델이 좁은 범위의 거의 중복된 구현에 집중함을 알 수 있습니다.
• Pass@k 인지 목적 함수: 이러한 방법들 (Pass@k-RLVR, PKPO) 은 정확도 전용 기준선에 비해 암묵적으로 더 낮은 중복성과 더 높은 JPlag 다양성을 유지합니다. 더 넓은 범위의 구현 패턴을 커버함으로써 더 큰 예산 (Pass@10, Pass@100) 에서 성능을 더 크게 향상시키는 경향이 있습니다.

2. JPlag-RLVR 의 성능

• 유한 예산 개선: JPlag-RLVR 을 통해 거의 중복된 생성물을 직접 억제함으로써 유한 예산 실행 가능 성능을 신뢰성 있게 향상시킵니다. 모델과 벤치마크 전반에 걸쳐 종종 전문화된 Pass@k 인지 목적 함수를 맞추거나 능가합니다.
  • 예시: Qwen3-8B 를 사용한 MBPP 에서 JPlag-RLVR 은 Pass@1 을 79.1 에서 90.0 으로, Pass@10 을 88.0 에서 98.5 로 향상시켰으며, 동시에 JPlag 다양성을 0.305 에서 0.927 로 증가시켰습니다.
• 트레이드오프 최적화: 이 방법은 기준선에 비해 성능 - 중복성 공간에서 모델을 "위쪽과 오른쪽"으로 이동시켜 (더 높은 Pass@k, 더 높은 JDiv) 우수한 트레이드오프를 달성합니다.
• 강건성: 향상은 다양한 무작위 시드에서 지속되며 소수의 이상치 작업에 의해 주도되지 않습니다. 향상은 프롬프트 전반에 걸쳐 분포되어 있습니다.

3. 제거 실험 (Ablation Studies)

• 단순 엔트로피가 아님: 샘플링 온도를 높이면 Pass@100 은 향상되지만 Pass@1 은 저하되며, 명시적인 중복 방지 학습보다 더 작은 이득을 제공합니다.
• 단순 장황함이 아님: 이 이득은 더 긴 완성본이나 표면적 텍스트 변이로 인한 것이 아닙니다. 실행 가능한 코드 길이는 방법 간에 유사하게 유지됩니다.
• 정확도는 필수적입니다: 정확도 없이 다양성 보상만으로 학습하면 JDiv 는 증가하지만 실행 가능 성능은 붕괴됩니다. 중복 방지 신호는 검증기 보상과 짝을 이루어야 합니다.
• 신호 특이성: 단순한 어휘 (1-gram) 다양성 보상은 일부 개선을 제공하지만, JPlag 기반 보상이 가장 강력한 결과를 산출합니다. 이는 표면적 변이보다 코드 구조 인식 유사성이 반복된 구현을 줄이기 위한 더 효과적인 신호임을 시사합니다.

중요성과 주장

이 논문은 반복 샘플링 코드 생성을 위한 중요한 진단이자 실제 최적화 대상으로서 구현 중복성을 규명했다고 주장합니다.

1. 진단 가치: 본 연구는 유사한 실행 가능한 결과를 최적화하는 모델들이 매우 다른 중복성 구조를 보일 수 있음을 보여줍니다. 정확도 전용 RLVR 은 생성물을 집중시키는 경향이 있는 반면, Pass@k 인지 목적 함수는 자연스럽게 다양성을 장려합니다.
2. 최적화 대상: 저자들은 JPlag 유사도를 통해 거의 중복된 생성물을 명시적으로 패널티화하는 것이 간단하면서도 효과적인 개입임을 보여줍니다. 복잡한 신용 할당 scheme 이나 표면적 출력 변이에 의존하지 않고 유한 예산 성능을 향상시킵니다.
3. 실제 함의: 유한 예산 코드 생성은 한계 정확도만으로 이해해서는 안 됩니다. 모델이 서로 다른 구현 패턴에 샘플링 예산을 어떻게 할당하는지는 Pass@k 성능을 극대화하는 핵심 요소입니다.

저자들은 JPlag 가 의미적 등가 오라클이 아닌 근사적 구조적 유사성 측정치이며, 실험이 특정 오픈 가중치 모델과 단거리 경쟁 프로그래밍 벤치마크로 제한된다는 점을 지적하며 한계에 대해 겸손하게 언급합니다. 이 방법이 코드 생성의 모든 다양성 문제를 해결한다고 주장하지는 않지만, 검증기 기반 RL 의 특정 맥락에서의 유효성을 강조합니다.