기술 요약: 검증 가능한 보상을 활용한 강화학습에서의 데이터 멤버십 감사

1. 문제 정의 및 동기

검증 가능한 보상을 활용한 강화학습 (RLVR) 은 대규모 언어 모델 (LLM) 의 중요한 훈련 단계로 부상했으며, 특히 DeepSeek-R1 및 Kimi-k2.5 와 같은 모델의 추론 능력을 향상시키는 데 핵심적입니다. 기존의 지도 미세조정 (SFT) 또는 선호도 기반 정렬 (RLHF) 과 달리, RLVR 은 모델 자체에서 후보 응답을 생성하고 규칙 기반 검증기 (예: 정확한 수학 답변 또는 코드 실행) 를 통과하는 응답들을 강화합니다.

이 패러다임은 데이터 노출 감사에 독특한 과제를 제기합니다. 기존 멤버십 추론 공격 (MIA) 은 일반적으로 모델이 고정된 목표 문자열(예: SFT 의 특정 답변 또는 RLHF 의 선호 응답) 에 과적합되는 것을 감지하는 데 의존합니다. 그러나 RLVR 은 사전에 정의된 응답을 최적화하는 것이 아니라, 검증기를 통과하는 어떤 응답이든 생성할 확률을 최대화하도록 정책을 최적화합니다. 따라서 고정된 목표 문자열이 없어 점수를 매길 수 없기 때문에 표준 확률 기반 MIA 는 실패합니다.

본 논문은 고정된 목표 응답이 없더라도 특정 프롬프트 (종종 독점 벤치마크 또는 비공개 파이프라인) 가 RLVR 사후 훈련에 사용되었는지 감사할 필요성을 다룹니다.

2. 방법론: 행동 이산성 감사 (DIBA)

저자들은 **DIBA(행동 이산성 감사, Divergence-in-Behavior Auditing)**를 제안합니다. 이는 화이트박스, 쿼리 수준 감사 프레임워크입니다. DIBA 는 공개된 RLVR 미세조정 모델 ($\pi_{ft}$) 과 RLVR 이전의 기준 체크포인트 ($\pi_{ref}$) 를 비교하여 작동합니다.

핵심 통찰

저자들은 RLVR 이 고정된 문자열에 적합하지는 않지만, 두 차원을 따라 관찰 가능한 행동 흔적을 남긴다고 관찰합니다:

1. 보상 측면 증거: RLVR 은 프롬프트에 대해 모델이 검증 가능한 성공을 거두는 빈도를 변경합니다.
2. 정책 측면 증거: RLVR 은 기준 정책에 비해 생성된 궤적의 확률 분포에서 행동적 이동을 유발합니다.

DIBA 프레임워크

DIBA 는 주어진 쿼리 $q$에 대해 여러 확률적 롤아웃 ($N$개 샘플) 의 신호를 집계하여 안정적인 감사 신호를 생성합니다. 두 축을 따라 특징을 구성합니다:

• 보상 측면 신호 (Advantage):

  • 규칙 기반 검증기 $R$을 사용하여 미세조정 모델 ($FT_{score}$) 과 기본 모델 ($Base_{score}$) 에 대한 기대 보상을 계산합니다.
  • $s_{Adv} = [ \frac{1}{N}\sum R(o^{ft}_i), \frac{1}{N}\sum R(o^{ref}_i) ]$.
  • 이는 RLVR 이 모델의 작업 해결 능력을 향상시켰는지 포착합니다.

• 정책 측면 신호 (Divergence):

  • K3 이산성: 편향되지 않은 KL-이산성 추정기를 사용하여 미세조정 모델 자체의 롤아웃에서 $\pi_{ft}$와 $\pi_{ref}$ 간의 토큰 수준 이산성을 측정합니다.
  • 신뢰도 이동: 로그 가능도 비율 ($\log \pi_{ft} - \log \pi_{ref}$) 과 Zlib 정규화 변형을 계산하여 모델의 신뢰도와 중복성 변화를 포착합니다.
  • 결정적으로, 기준 모델은 고정된 목표에 대한 보정기 역할을 하는 것이 아니라, 반사실적 비교를 위한 능동적 기준선으로 작용합니다.

예측

이러한 특징들은 연결되어 스태킹 예측기 (랜덤 포레스트 + 로지스틱 회귀) 에 입력되어 프롬프트 수준의 멤버십 점수를 출력합니다.

3. 주요 기여

1. RLVR 감사의 체계적 연구: 본 논문은 RLVR 의 노출 위험이 고정된 목표 적합이 아닌 프롬프트 조건부 행동 흔적과 더 밀접하게 연관되어 있음을 규명합니다.
2. DIBA 제안: 기준 모델에 대한 보상 측면 변화와 정책 측면 행동 이산을 분석하여 노출 신호를 추정하는 비교 감사 프레임워크입니다.
3. 종합적 평가: 저자들은 RLVR 감사의 한계를 규명하여, 언제 성공하는지 (능동적 학습 흔적) 와 언제 실패하는지 (이미 마스터된 프롬프트 또는 포화된 보상) 를 식별합니다. 또한 비전 - 언어 모델 (VLM) 과 다양한 전이 설정으로 분석을 확장합니다.

4. 실험 결과

성능

• 화이트박스 설정: DIBA 는 LOSS, Zlib, Min-K% 등의 보정 및 자체 생성 변형을 포함한 강력한 전이 기준선보다 일관되게 우월한 성능을 발휘합니다.
  • AUC: 다양한 모델 (Qwen-3B/7B) 과 알고리즘 (GRPO, DAPO) 에서 약 0.8을 달성합니다.
  • 고정밀 영역: 기준선보다 한 자릿수 높은 TPR@0.1%FPR을 달성합니다 (예: DAPO-3B 의 경우 0.154 대 기준선의 약 0.01).
• 특징 분석:
  • **FT 점수 (보상)**는 강력한 전체 순위 (높은 AUC) 를 제공하지만 낮은 FPR 영역에서는 실패합니다.
  • 이산성은 고정밀 감지 (낮은 FPR) 에 가장 효과적인 특징으로, 정책 이동의 중요성을 강조합니다.
  • 보상 및 정책 신호의 결합은 시너지 효과를 통한 개선을 가져옵니다.

감사 영역 및 한계

• 능동적으로 학습된 프롬프트: RLVR 이 비자명한 행동 변화를 유발하는 곳에서 DIBA 가 가장 효과적입니다.
• 이미 마스터된 프롬프트: 감지가 가장 약합니다. 기본 모델이 이미 프롬프트를 완벽하게 해결한다면, RLVR 은 추가적인 업데이트를 거의 유발하지 않아 감지 가능한 흔적을 남기지 않습니다.
• 전혀 학습되지 않은 프롬프트: 모델이 작업을 전혀 학습하지 못하면 감지도 약합니다.
• 훈련 역학: 감사 신호의 강도는 훈련 및 테스트 보상 간의 격차 확대와 상관관계가 있으며, 훈련이 진행됨에 따라 점진적으로 나타납니다.

전이성 및 일반화

• 모델 크기: 동일한 RLVR 알고리즘 내에서 모델 크기 (3B 대 7B) 간 전이는 강력합니다.
• 알고리즘 불일치: 서로 다른 RLVR 알고리즘 간 전이 (예: GRPO 에서 DAPO 로) 는 특히 고정밀 영역에서 덜 안정적입니다.
• 그레이박스 설정: 신중하게 선택된 쉐도우 데이터를 사용하면 정확한 분포 매칭이 없더라도 DIBA 는 여전히 유용합니다 (AUC > 0.7).
• 멀티모달 (VLM): DIBA 는 비전 - 언어 모델로 확장됩니다 (AUC 약 0.7). 그러나 시각 인코더의 노이즈로 인해 고정밀 감지 (TPR@0.1%FPR) 는 더 어렵습니다.
• 작업 전이: 지시 따르기 및 도구 사용 데이터셋에서 신호가 유지됩니다.

완화 방안

• 정규화: KL 정규화 ($\beta$) 를 증가시키는 것은 제한적인 보호를 제공합니다. 이는 종종 진정한 개인정보 보호가 아닌 과소적합으로 이어집니다.
• 사후 모호화: 출력을 재구성하면 텍스트 수준 감사 가능성은 감소할 수 있습니다 (AUC/TPR 감소). 그러나 감사자가 모델 가중치나 로짓에 접근할 수 있다면 노출을 완전히 제거할 수는 없습니다.

5. 중요성 및 주장

본 논문은 DIBA 를 화이트박스 RLVR 준수 설정을 위한 실용적 감사자로 위치시킵니다. 주요 중요성은 "고정된 목표에 적합"하는 것에서 "행동 이산성 감지"로 멤버십 추론의 패러다임을 전환하는 데 있습니다.

저자들은 다음과 같이 주장합니다:

1. 노출은 감지 가능합니다: RLVR 훈련은 고정된 목표 문자열이 없더라도 표적 감사를 통해 드러날 수 있는 관찰 가능하고 프롬프트별 흔적을 남깁니다.
2. 맥락이 중요합니다: 데이터 노출의 감지 가능성은 균일하지 않습니다. 훈련이 관찰 가능한 보상 변화와 행동 이동을 유발할 때 가장 강하며, 기본 모델이 이미 해당 능력을 보유하고 있을 때 가장 약합니다.
3. 한계: 이 방법은 구성에 민감합니다 (RL 알고리즘 및 모델 계열에 의존적) 그리고 기본 모델이 이미 완벽하게 해결한 프롬프트의 사용은 감지할 수 없습니다 ("기존 지식" 한계).

이 연구는 신흥 RLVR 패러다임에서의 중요한 개인정보 위험을 강조하며, 추론 향상을 위해 사용되는 독점 프롬프트 스위트가 노출 감사에 취약함을 시사합니다. 이는 RLVR 훈련을 위한 새로운 개인정보 보호 전략이 필요함을 의미합니다.