Spurious Rewards Paradox: Mechanistically Understanding How RLVR Activates Memorization Shortcuts in LLMs

기술 요약: 가짜 보상의 역설: RLVR이 어떻게 LLM의 암기 지름길을 활성화하는지에 대한 기계론적 이해

문제 정의
검증 가능한 보상을 이용한 강화 학습(RLVR)은 특히 수학과 같은 결정론적 영역에서 대규모 언어 모델(LLM)의 추론 능력을 향능시키기 위한 지배적인 패러다임이 되었습니다. 일반적인 가정은 성능 향상이 정답 기반의 감독을 통해 견고한 추론 정책을 최적화하는 데서 기인한다는 것입니다. 그러나 최근의 경험적 관찰은 이러한 서사에 도전합니다. Qwen2.5-Math와 같은 모델들은 "가짜 보상(spurious rewards)"—즉, 무작위적이거나, 형식 기반이거나, 혹은 완전히 틀린 신호—로 학습되었음에도 불구하고 표준 벤치마크(예: MATH-500, AIME)에서 상당한 성능 향상을 보여주었습니다. 이전 연구들은 이러한 이득이 데이터 오염(사전 학습 단계에서의 테스트 세트 암기)의 결과일 수 있다고 제안했지만, 중요한 공백이 남아 있었습니다: 만약 데이터가 이미 존재했다면, 왜 초기 정확도는 제한적이었으며, 왜 잘못된 보상으로 학습하는 것이 역설적으로 이 성능을 끌어내는가? 본 논문은 가짜 RLVR이 일반적인 추론에서 "고집스러운 암기(stubborn memorization)"로 전환되는 내부 메커니즘을 조사합니다.

방법론
저자들은 가짜 RLVR 학습 하에서 Qwen2.5-Math-7B 모델의 학습 역학을 해부하기 위해 일련의 기계론적 해석 도구들을 사용합니다. 방법론은 정적 및 동적 분석을 결합합니다:

1. 퍼플렉시티(Perplexity) 분석: 저자들은 거시적인 학습 이상 현상을 식별하기 위해 정답 토큰과 프롬프트 토큰의 퍼플렉시티를 추적합니다.
2. 경로 패칭(Path Patching): 특정 모델 구성 요소에 출력을 인과적으로 귀속시키기 위해, 저자들은 서로 다른 레이어에 걸쳐 "누출(Leakage)" 샘플(암기가 활성화된 경우)과 "안정(Stable)" 샘플(추론이 유지되는 경우) 사이의 활성값을 교체합니다. 이를 통해 메모리 검색을 트리거하는 데 책임이 있는 계산 그래프의 에지를 격리합니다.
3. 로짓 렌즈(Logit Lens) 및 젠슨-샤논 발산(Jensen-Shannon Divergence, JSD): 이 도구들은 레이어별 토큰의 출현을 모니터링하고, 중간 은닉 상태와 최종 출력 분포 사이의 정렬 정도를 정량화하는 데 사용됩니다. 높은 JSD 점수는 모델이 정답을 확정하기 전까지 상당한 계산이 남아 있음을 나타냅니다.
4. 신경 미분 방정식(Neural Differential Equations, NDE): 잔차 스트림 업데이트는 연속적인 궤적($dx(t)/dt = F_\theta(x(t))$)으로 모델링됩니다. 이를 통해 잠재 공간에서 암기 궤적과 추론 궤적이 갈라지는 "분기점(bifurcation points)"을 수학적으로 식별할 수 있습니다.
5. 기계론적 개입(Mechanistic Intervention): 저자들은 암기 회로에 결정적이라고 식별된 특정 다층 퍼셉트론(MLP) 뉴런의 키(key) 값을 스케일링하여 인과적 스티어링(causal steering)을 수행합니다. 이는 해당 뉴런들이 지름길의 활성화 또는 억제에 있어 인과적 충분성을 갖는지 테스트합니다.

주요 기여 및 발견

1. 퍼플렉시티의 역설
본 연구는 가짜 RLVR 이득을 보이는 모델에서 나타나는 고유한 "퍼플렉시티 역설"을 식별합니다. 오염된 데이터셋에서 모델의 정답 토큰에 대한 퍼플렉시티는 크게 감소하는 반면, 프롬프트 측의 퍼플렉시티(일관성)는 저하됩니다. 이러한 발산은 모델이 출력을 최소화하기 위해 입력에 대한 언어 모델링 품질을 희생하면서, 일반적인 추론을 우회하여 암기된 솔루션을 직접 검색하고 있음을 시사합니다.

2. 앵커-어댑터 회로(Anchor–Adapter Circuit)의 발견
기계론적 분석을 통해 저자들은 이러한 동작을 담당하는 이전에 알려지지 않은 회로를 국소화하였으며, 이는 두 가지 뚜렷한 구성 요소로 이루어져 있습니다:

• 기능적 앵커(Functional Anchor, 레이어 18–20): 이 중간 레이어들은 결정적인 트리거 역할을 합니다. 경로 패칭과 NDE 분석 결과, 누출 샘플과 안정 샘플 사이의 "분리력(separation force)"이 여기서 정점에 달함을 밝혀냈습니다. 이곳은 모델이 암기된 정답을 검색하기로 인과적으로 결정하고 고확률 트리거 토큰을 주입하는 지점입니다.
• 구조적 어댑터(Structural Adapters, 레이어 21+): 후속 레이어들은 새로운 지식을 저장하기 위함이 아니라, 기능적 앵커로부터 오는 신호를 수용하도록 내부 표현을 변형하기 위해 급격한 가중치 재구성(high JSD in $W_{up}$ and $W_{gate}$)을 겪습니다. 이 레이어들은 특징 공간을 회전시켜 암기된 솔루션과 정렬시키는 어댑터 역할을 합니다.

3. 오염의 경험적 검증
절제 연구(Ablation studies)는 이 회로가 데이터셋 의존적임을 확인합니다. 기능적 앵커 레이어들을 베이스 모델 가중치로 리셋하면, 깨끗하고 누출이 없는 데이터셋(예: LiveMathBench)의 성능에는 거의 영향을 주지 않으면서도 오염된 벤치마크(예: MATH-500)에서의 정확도가 크게 떨어집니다. 반대로, 이 레이어들을 조작하는 것은 실제 추론에 의존하는 "안정(Stable)" 샘플에는 미미한 영향만을 미치며, 이는 일반적인 추론 능력이 네트워크 전체에 분산되어 있고 이 특정 회로에 결정적으로 의존하지 않음을 나타냅니다.

4. MLP 개입을 통한 인과적 스티어링
저자들은 식별된 회로 내의 특정 MLP 뉴런의 키 값을 스케일링하는 것이 양방향 인과적 스티어링을 가능하게 함을 입증합니다.

• 증폭(Amplification): 스케일링 계수를 높이면 오염된 데이터에 대한 모델의 의존도를 인위적으로 높여, 베이스라인 모델이 실패했던 샘플에서도 성능을 회복합니다.
• 억제(Suppression): 스케일링 계수를 낮추면 지름길이 억제되어 모델의 기저 성능(baseline performance)이 드러납니다.
  이는 해당 뉴런들이 지름길 활성화의 메커니즘이라는 결정적인 인과적 증거를 제공합니다. 나아가, 누출 프로브가 높은 오염 확률을 감지할 때만 선택적으로 회로를 억제하는 "프로브 게이티드(probe-gated)" 개입 방식이 제안되었으며, 이는 새로운 벤치마크의 성능을 해치지 않으면서 의심스러운 이득을 효과적으로 감사할 수 있습니다.

의의 및 주장
본 논문은 가짜 RLVR 신호가 어떻게 LLM의 내부 아키텍처를 물리적으로 재구성하여 추론보다 암기를 선호하게 만드는지에 대한 최초의 기계론적 설명을 제공한다고 주장합니다. "앵커-어댑터" 회로와 "퍼플렉시티 역설"을 식별함으로써, 저자들은 다음을 위한 로드맵을 제시합니다:

• 역량과 오염의 구별: 진정한 추론 일반화와 사전 암기된 데이터의 검색을 구분하기 위한 도구 제공.
• 데이터 오염 완화: 재학습 없이도 오염된 성능을 억제할 수 있는 특정 개입 방법을 보여줌으로써, 모델을 사후적으로 "탈오염(decontaminate)"하는 방법 제시.
• RLVR 안전성 향 향상: RLVR이 지름길을 통한 최적화에 취약함을 강조하며, 누출에 강한 더 정교한 보상 함수와 평가 벤치마크의 필요성을 시사.

저자들은 자신의 연구가 모든 LLM에 적용되는 보편적 법칙이라기보다, 오염된 데이터에서 작동하는 Qwen 제품군 내의 특정 메커니즘에 대한 증거라는 점에서 신중한 태도를 유지합니다. 그들은 본 연구가 비판적인 영역에 배치되는 AI 시스템의 투명성과 안전성을 높이기 위한 진단 도구로서 역할을 한다고 강조합니다.