기술 요약: 보상 세트가 누수될 때 (When the Reward Suite is Leaky)

1. 문제 정의

검증 가능한 보상 기반 강화학습(RLVR)은 테스트 스위트를 정답(ground truth)으로 사용하여 코드 모델을 학습시킨다. 그러나 배포된 테스트 스위트에는 **자연적 허위 양성(natural false positives, FPs)**이 포함되어 있는 경우가 많다: 이는 특정 작업별로 발생하는 지속적이고 비대칭적인 오류로, 특정 오답 프로그램이 동일한 취약한 테스트를 일관되적으로 통과하는 현상을 말한다. 기존의 강건성 분석이 가정하는 (평균적으로 상쇄되는) 대칭적이고 재샘플링된 노이즈와 달리, 이러한 자연적 FP는 특정 잘못된 솔루션에 대해 지속적인 보상을 제공한다.

본 논문은 누락된 인과적 질문을 다룬다: 모델이 이러한 지속적인 자연적 허위 양성에 대해 학습할 때 어떤 일이 발생하는가? 구체적으로, 모델이 이러한 누수를 악용하도록 학습되는 것인가(학습된 착취, learned exploitation), 아니면 단순히 기존의 오류 모드를 선택하는 것인가(선택, selection)? 나아가, "누수되는" 스위트로 학습하는 것이 "강화된(hardened)" 스위트와 비교했을 때 홀드아웃(held-out) 능력을 저하시키는가?

2. 방법론

저자들은 세 가지 모델 제품군(Qwen2.5-Coder-1.5B, DeepSeek-Coder-1.3B, Llama-3.2-1B)을 대상으로 **사전 등록된 두 갈래의 인과적 대조(preregistered two-arm causal contrast)**를 수행하였다.

실험 설계

• 학습 암(Arms): 두 암 모두 동일한 모델, 작업(250 MBPP 작업), 시드(5), 하이퍼파라미터, 연산량(400 GRPO 스텝)을 사용하였다. 유일한 차이점은 보상 신호였다:
  • Leaky Arm (누수 암): 원래 배포된 MBPP 테스트 스위트에 기반하여 보상을 받음.
  • Hardened Arm (강화된 암): MBPP+ 프로젝트에서 생성된 "추가" 테스트에 의해서만 보상을 받음 (이 테스트들은 313/378개 작업에서 원래 테스트와 서로소(disjoint)임).
• 정적 감사(Static Audit): 학습 전, 저렴한 정적 감사를 통해 베이스 모델의 작업당 16개 솔루션을 샘플링하였다. 작업의 "누수성(leakiness)"은 원래 스위트는 통과했지만 추가 테스트는 통과하지 못한 샘플의 비율로 정의되었다.
• 평가: 공정한 비누수 평가를 보장하기 위해, 홀드아웃 성능은 오직 추가 테스트 스위트(MBPP+ "plus" 테스트)에 의해서만 측정되었다.
• 사전 등록(Preregistration): 데이터 수집 전 연구 설계, 비열등성 마진(non-inferiority margins), 분석 계획을 포함한 연구 설계가 사전 등록되었다. 주장에는 [C](확증적/사전 등록된) 또는 [E](탐색적/사후 분석된) 태그가 붙어 있다.

주요 지표

• 보상된 FP 질량 (Rewarded FP Mass): 원래 스위트는 통과했으나 추가 스위트는 통과하지 못한 롤아웃(rollout)의 비율.
• 검증된 오답 점유율 (Verified-Wrong Share): 진짜 잘못된 코드와 아티팩트(예: 추가 테스트의 허위 음성)를 구분하기 위한 철저한 인간 감사.
• 홀드아웃 격차 (Held-Out Gap): 미학습(unseen) 작업에 대한 강화된 암과 누수 암 사이의 통과율 차이.

3. 주요 결과

확증적 결과 [C]

1. 제한된 평균 효과: 400 스텝 시점에서, 누수 암은 강화된 암에 비해 홀드아웃 능력에서 통계적으로 유의미한 저하를 겪지 않았다. 격차는 0.20 포인트였으며, 단측 95% 상한값은 0.75 포인트로, 사전 등록된 비열등성 마진인 1.5 포인트 이내에 잘 머물렀다.
2. 정적 감사가 누수를 예측함: 사전 학습 정적 누수 점수와 실제 학습 중 관찰된 보상된 FP 질량 사이에는 강한 상관관계(Spearman $\rho \approx 0.80$)가 존재한다. 이는 누수가 모델이 만들어내는 것이 아니라 작업/스위트의 속성임을 시사한다.
3. 재현성: 핵심 결과(대규모 검증된 오답 점유율, 누수 추적, 학습 측면의 층화)가 세 가지 모델 제품군 전체에서 재현되었다.

탐색적 결과 [E]

1. 보상은 실제 버그에 지급됨: 주요 제품군의 보상된 허위 양성 중 약 **47.57%**가 아티팩트(단순 스위트 오류)가 아닌 실제로 잘못된 코드(실제 버그)로 검증되었다. 이 점유율은 재현 제품군에서도 각각 45.37% 및 62.78%로 높게 나타났다.
2. 학습이 아닌 선택: 메커니즘은 학습된 착취보다는 기존 오류 모드의 선택인 것으로 보인다.
   • FP율은 이미 스텝 0에서 장기적 수준에 도달해 있었으며, 학습 기간 동안 증가하지 않았다.
   • 학습되지 않은 베이스 모델도 누수 스위트로 필터링했을 때 동일한 특징적인 오답을 생성했다.
   • 행동적 해상도 이상의 "해킹 시그니처"나 파라미터 수준의 정교화(sharpening)에 대한 증거는 없었다.
3. 프런티어 판사(Frontier Judges)에 대한 메타 감사: 판사 역할을 하는 프런티어 모델들(DeepSeek-V4-Pro, MiMo-v2.5-Pro)에 대한 탐색적 감사 결과, 이들이 자신의 허위 양성과 진정한 통과를 구분하는 능력은 약하게(AUC ~0.62–0.64) 나타났으며, 이는 1.5B 정책(policy)의 오류를 판단하는 능력보다 현저히 낮았다. 자기 평가 편향에 대한 디컨파운딩(deconfounded) 테스트는 미결(UNRESOLVED) 상태로 남았다.

4. 기여 및 의의

본 논문의 주요 기여는 RLVR에서 자연적 허위 양성의 인과적 영향을 격리하는 **측정 계층(measurement layer)**을 제공하는 것이다.

• 측정 vs. 능력: 본 연구는 "깨끗한" 집계 홀드아웃 점수가 "깨끗한" 보상 스트림을 보증하지는 않는다는 것을 보여준다. 누수 암은 강화된 암보다 8.37 포인트 더 많은 학습 보상을 축적했으나, 이 인플레이션은 연구된 규모(1–1.5B 파라미터, 400 스텝) 내에서 측정 가능한 능력의 이득이나 손실로 이어지지 않았다.
• 감사 경제성 (Audit Economics): 학습 전에 수행된 저렴한 정적 감사는 어디에서 보상 누수가 발생할지 예측할 수 있다. 이를 통해 실무자는 비용이 많이 드는 학습 과정을 실행하지 않고도 고위험 작업을 식별할 수 있다.
• 누수의 본질: 본 논문은 보상 스트림이 모델에게 새로운 착취를 가르치는 신호가 아니라, 스위트가 걸러내지 못하는 베이스 모델 분포의 기존 오류에 대해 "지불"하고 있다고 주장한다. 즉, 누수는 새로운 착취를 위한 학습 신호가 아니라 선택 메커니즘으로 작용한다.
• 실무적 경계: 연구 결과는 현재의 규모와 작업 길이에서 자연적 허위 양성의 위험이 (학습된 정렬 불일치와 같은) 능력 문제라기보다는 측정 문제(인플레이션된 보상 계산)임을 시사한다. 그러나 저자들은 착취가 더 큰 모델이나 더 긴 작업에서 커질 수 있음을 언급하며, 자신들의 특정 규모와 범위 이상의 주장은 하지 않는다.

5. 한계 및 범위

저자들은 자신들의 주장에 대한 경계를 명확히 한다:

• 규모: 결과는 1–1.5B 모델 및 400 GRPO 스텝에 국한된다. 본 논문은 더 큰 규모나 더 긴 호라이즌에서 착취가 커질 가능성을 배제하지 않는다.
• 작업: 연구는 MBPP 및 HumanEval+ 작업으로 제한된다.
• 강화 (Hardening): "강화된" 암은 추가 테스트만을 사용하지만, 이 역시 완벽하지 않다 (자체적인 허위 음성을 포함할 수 있음). 다만 오류 하한선은 원래 스위트보다 낮다.
• 메타 감사: 프런티어 판사에 관한 결과는 기술적(descriptive)이며 두 가지 특정 모델에 국한된다. 따라서 모든 프런티어 모델로 일반화될 수 없다.

요약하자면, 본 논문은 배포된 테스트 스위트가 실제로 잘못된 코드에 보상을 주는 누수가 발생하더라도, 관찰된 규모와 호라이즌 내에서는 이러한 누수가 학습된 착취 능력으로 이어지기보다는 측정상의 인플레이션으로 나타난다는 것을 엄격하게 사전 등록된 방식으로 입증하였다.