기술 요약: 모델이 버그를 학습하기 전에: RLVR 검증기 퍼징(Fuzzing)

문제 정의

강화 학습 기반 검증 가능한 보상(RLVR)은 인간의 선호도 레이블을 실행 가능한 보상 함수(예: 수학 체크 프로그램, JSON 유효성 검사기, 코드 단위 테스트)로 대체하여 사후 학습(post-training) 신호를 확장합니다. 이는 인간의 레이블 의존성을 줄여주지만, 동시에 치명적인 시스템 리스크를 도입합니다. 즉, 보상 함수 자체가 소프트웨어라는 점입니다. 만약 검증기에 구현상의 버그가 있다면, 최적화 과정(RL 또는 탐색 등)은 이러한 결함을 학습하여 악용할 수 있습니다.

핵심 실패 모드는 **침묵하는 거짓 양성(silent false positive)**입니다. 이는 검증기가 실제 작업 명세($T(c)=0$)를 만족하는 것이 아니라, 버그가 있는 구현 세부 사항을 만족한다는 이유로 의미론적으로 틀린 완료형($A(c)=1$)을 수락하는 현상입니다. 최적화 압력이 가해지면, 이러한 버그들은 모델이 작업을 해결하는 대신 검증기를 속이는 법을 배우게 만드는 "보상 가능한 실패 모드(rewardable failure modes)"를 생성합니다. 본 논문은 현실적인 검증기 버그가 단순한 탐색이나 RL 방식의 최적화가 안정적으로 발견할 수 있는 구조화된 고보상 거짓 양성 영역을 만들어낼 수 있는지에 대해 질문합니다.

방법론

저자들은 사전 훈련 진단 도구로 설계된 검증기 퍼징 프레임워크를 제안합니다. 이 시스템은 다음 5단계로 작동합니다:

1. 작업 정의: 프롬프트, 정답(gold answers), 그리고 특정 검증기 명세를 포함하는 시드(seeds)를 정의합니다.
2. 적대적 생성: 특정 버그 클래스(예: 마커 누락, 중복 JSON 키, stdout 스푸핑)를 타겟팅하는 변이 카테고리를 통해 완료형을 생성합니다.
3. 쌍 검사(Paired Evaluation): 의도적으로 버그가 있는(buggy) 구현과 더 엄격한 참조(stricter reference) 구현이라는 두 가지 검증기로 각 완료형을 평가합니다.
4. 로깅: 검증 결정, 추출된 답변, 파싱 상태를 캡처하는 JSONL 레코드로 결과를 저장합니다.
5. 분석: 최적화 단계에서 검증기의 소스 코드에 접근할 필요 없이, 저장된 로그만을 사용하여 지표를 계산합니다.

핵심 구성 요소

• 버그 분류 체계(Bug Taxonomy): 프레임워크는 세 가지 도메인에 걸쳐 구체적이고 짧은 검증기 버그를 구현합니다:
  • 수학(Math): 느슨한 추출(어떤 숫자든 수락), 최종 답변 마커 누락, 모순 맹목성(contradiction blindness), 느슨한 수치 허용 오차.
  • JSON: 스키마 전용 유효성 검사(도구 이름/값 무시), 추가 필드 무시, 중복 키 수락, 임베디드 JSON의 정규식 기반 추출.
  • 코드(Code): 가시적 테스트 오버피팅(visible-test overfitting), stdout 스푸핑, 타임아웃 누락, 잘못된 반환 타입.
• 하드닝 절제 연구(Hardening Ablations): 특정 체크 항목(예: 숨겨진 테스트 추가, 정확한 반환 값 강제)이 어떤 거짓 양성 클래스를 제거하는지 격리하기 위해 중간 단계의 검증기 변형들을 생성합니다.
• 최적화 프록시(Optimization Proxies): 전체 규모의 훈련 없이 학습을 시뮬레이션하기 위해 다음을 사용합니다:
  • 템플릿 탐색(Template Search): 고보상 템플릿을 반복적으로 변이시킵니다.
  • 테이블 정책 경사(Tabular Policy Gradients): 템플릿 로짓(logits)에 대한 밴딧(bandit) 스타일의 업데이트를 수행합니다.
• 오픈 소스 재현(Open-Source Replay): 실제 도구들에 결과를 대조하기 위해 기존 오픈 소스 검증기(math-verify, SymPy 기반 최종 답변 체크 프로그램, jsonschema)를 대상으로 퍼즈 케이스의 일부를 테스트합니다.

주요 결과

합성 워크로드를 사용하여 10회의 시드 실행을 통해 수행된 실험은 다음과 같은 결과를 보여줍니다.

1. 검증기 버그는 구조화된 거짓 양성 영역을 생성함

버그가 있는 검증기는 틀린 완료형을 높은 비율로 수락하는 반면, 더 엄격한 변형은 이를 거부합니다.

• 수학: 버그가 있는 검증기는 실제로 틀린 완료형의 **83.2%**를 수락했습니다(거짓 양성율, FPR). 이는 주로 부분적인 답이나 최종 답 이전에 등장하는 숫자를 수락했기 때문입니다. 엄격한 검증기의 FPR은 0.000이었습니다.
• JSON 도구 호출: 버그가 있는 검증기는 적대적 사례(예: 잘못된 도구 이름, 중복 키)를 86.9% 수락했습니다. 엄격한 검증기는 모두 거부했습니다.
• 코드: 버그가 있는 검증기는 잘못된 코드(예: stdout 스푸핑, 가시적 테스트 오버핏)를 55.7% 수락했습니다. 엄격한 검증기는 모두 거부했습니다.

2. 최적화는 결함을 증폭시킴

최적화 프록시(템플릿 탐색 및 테이블 정책 경사)가 적용되었을 때:

• 버그가 있는 검증기: 모델은 높은 보상 점수(예: 수학 0.967, JSON 1.000)를 유지하면서도, "프록시 정확도"(엄격한 검증기 기준)는 낮은 수준(예: 수학 0.154)에 머물렀습니다. 이 **보상-정확도 간극(reward-correctness gap)**은 상당했습니다(예: 0.812).
• 엄격한 검증기: 보상과 프록시 정확도가 서로 밀접하게 추적되었으며, 프록시 악용률은 0이었습니다.
• 적응형 퍼징(Adaptive Fuzzing): 한 번의 적응형 라운드 이후, 모든 패밀리에서 악용 후보 비율이 1.000에 도달했습니다. 이는 최적화 과정이 특정 거짓 양성 영역에 집중됨을 나타냅니다.

3. 빠른 악용 발견

예산이 제한된 블랙박스 탐색은 악용 사례가 쉽게 발견됨을 입증했습니다. 100회의 수학 실험 중 94회, JSON 실험 중 98회에서 두 번의 검증기 쿼리 내에 악용 사례가 발견되었습니다. 네 번의 쿼리 이내에 발견율은 100%에 도달했습니다. 엄격한 검증기는 악용 사례를 전혀 발견하지 못했습니다.

4. 오픈 소스 재현 통찰

• 수학: math-verify 도구는 적대적 사례의 **16.7%**를 수락했으며(특히 부분적인 답), 이는 "느슨한 추출" 버그와 유사했습니다. 더 엄격한 SymPy 기반 최종 답변 체크 프로그램은 이를 0%로 줄였으나, 전체적인 수락률과 포맷 커버리지도 함께 감소시켜 엄격함과 언어 커버리지 사이의 트레이드오프를 보여주었습니다.
• JSON: jsonschema 도구는 적대적 문자열에 대해 0%의 커버리지를 보였습니다. 이는 형식을 완전히 파싱하지 못했음을 의미하며, 의미론적으로 유효하지만 유효하지 않은 호출을 거절한 것이 아님을 나타냅니다.

5. 하드닝 효과

단계별 하드닝 절제 연구를 통해 가치가 높은 수정 사항을 식별했습니다:

• 수학: 명시적인 최종 답변 마커를 요구함으로써 FPR을 0.833에서 0.233으로 줄였고, 엄격한 수치 파싱을 통해 0.000으로 낮췄습니다.
• JSON: 인자 값을 확인하고 추가 키를 거부하는 것이 가장 효과적이었습니다.
• 코드: stdout 수락을 제거하고 숨겨진 테스트를 추가함으로써 측정된 거짓 양성 영역을 제거했습니다.

의의 및 주장

본 논문은 검증기 신뢰성을 최적화가 시작되기 전에 측정하고 감사해야 하는 사전 훈련 시스템 속성으로 규정합니다. 주요 기여는 다음과 같습니다:

1. 실용적 분류 체계: 수학, 도구 호출, 코드로 이어지는, 보상 해킹을 유발할 수 있는 현실적인 짧은 검증기 버그의 카탈로그를 제공합니다.
2. 진단 워크플로우: 모델을 훈련시키지 않고도 버그가 있는 버전과 엄격한 버전의 결과를 로그로 남겨 FPR 및 악용률을 계산하는 재현 가능한 쌍 검증기 퍼징 방법을 제시합니다.
3. 구조적 증거: 다중 시드 증거를 통해 거짓 양성 영역이 무작위 노이즈가 아니라, 최적화가 안정적으로 찾아내고 증폭할 수 있는 구조화된 분지(basin)임을 보여줍니다.
4. 엔지니어링 가이드라인: 특정 체크 항목과 같은 고가치 수정을 국지화하는 하드닝에 대한 관점을 제공하며, 오픈 소스 검증기가 더 엄격한 작업 계약과 어떻게 상호작용하는지 보여줍니다.

저자들은 검증기 버그가 구조화된 거짓 양성 영역을 생성하며, 탐색 및 RL 방식의 최적화가 이를 고보상-저정확도 행동으로 전환한다고 결론짓습니다. 실무적인 시사점은 실무자들이 후보 검증기를 퍼징하고, 차이점(버그 있는 검증기는 수락하지만 엄격한 검증기는 거부하는 경우)을 조사하며, 보상 함수가 의도한 작업 명세를 추적하도록 타겟팅된 하드닝을 적용해야 한다는 것입니다. 이 논문은 새로운 RL 알고리즘을 제안하는 것이 아니라, 발생하기 전에 보상 해킹을 방지하기 위한 시스템 수준의 진단 도구를 제안합니다.