Reward Models Can Improve Themselves: Reward-Guided Adversarial Failure Mode Discovery for Robust Reward Modeling

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 정렬 (Alignment) 에 핵심적인 역할을 하는 보상 모델 (Reward Model, RM) 은 인간 선호도를 학습하여 모델의 출력을 평가하고 순위를 매기는 데 사용됩니다. 그러나 기존 보상 모델은 다음과 같은 심각한 한계를 가지고 있습니다.

• 분포 외 (OOD) 취약성: 인간 선호도의 복잡성과 학습 데이터의 제한된 범위로 인해, 데이터 분포가 변하거나 적대적 교란 (Adversarial Perturbation) 이 발생하면 보상 모델이 실패합니다.
• 잘못된 점수 부여 (Mis-specification): 선호도가 명확한 응답 (예: 유해하지 않은 응답) 에 대해 낮은 점수를 주거나, 반대로 유해한 응답에 높은 점수를 주는 등 잘못된 평가를 수행할 수 있습니다. 이는 보상 해킹 (Reward Hacking) 과 과도한 최적화 (Over-optimization) 로 이어집니다.
• 기존 방법의 비실용성: 기존 실패 모드 (Failure Mode) 탐지 방법은 사전 지식 (특정 속성이나 선호도 분포에 대한 정보) 에 의존합니다. 이는 실제 환경에서 이러한 정보가 unavailable 한 경우 적용하기 어렵고, 모델의 아키텍처나 학습 방법에 따른 의존성을 고려하지 못해 일반화되지 못합니다.

2. 제안 방법론 (Methodology: REFORM)

저자들은 보상 모델이 스스로의 실패 모드를 발견하고 이를 통해 스스로를 개선할 수 있는 REFORM (Reward-Guided Adversarial Failure Mode Discovery) 프레임워크를 제안합니다. 이 프레임워크는 크게 두 단계로 구성됩니다.

A. 보상 가이드 제어 디코딩을 통한 실패 모드 발견 (Failure Mode Discovery)

기존의 속성 기반 (Attribute-based) 또는 무작위 교란 방법 대신, 보상 모델 자체를 활용하여 실패 모드를 생성합니다.

• 원리: 잘 정렬된 정책 (Aligned Policy, $\pi_{\mathcal{D}}$) 이나 정렬되지 않은 정책 (Misaligned Policy, $\pi_{\mathcal{D}^-}$) 을 사용하여 응답을 생성하되, 보상 모델의 점수를 최소화 (또는 최대화) 하도록 제어 디코딩 (Controlled Decoding) 을 수행합니다.
• 목표:
  1. W1 (클래스 일관성): 생성된 응답은 명확한 선호도 클래스 (선호됨/비선호됨) 를 유지해야 함.
  2. W2 (점수 불일치): 보상 모델이 해당 클래스에 대해 잘못된 점수 (예: 선호 응답에 낮은 점수) 를 부여해야 함.
• 수식적 접근: 토큰 선택 시, 선호 정책의 확률 ($\log \pi_{\mathcal{D}}$) 을 유지하면서 보상 모델의 점수 ($r_\phi$) 를 최소화하는 방향으로 토큰을 선택합니다.
  $$\arg \min_{y^{(i)} \in v^i_k} [r_\phi(x, [y_{<i}, y^{(i)}]) + \alpha \cdot \log \pi_{\mathcal{D}}(y^{(i)} | x, y_{<i})]$$
  여기서 $\alpha$ 는 유창성 (Fluency) 과 실패 발견 사이의 균형을 조절하는 하이퍼파라미터입니다.

B. 실패 모드 인식 미세 조정 (Failure-Mode-Aware Finetuning)

발견된 실패 모드 (Adversarial Examples) 를 활용하여 보상 모델을 재학습합니다.

• 데이터 증강: 원래 학습 데이터 중 가장 영향력이 큰 5%(Bradley-Terry 손실이 낮은 샘플) 를 선정합니다.
• 오류 수정: 이 샘플들에 대해 생성된 실패 모드 변형체 (예: 선호 응답이 낮은 점수를 받은 경우) 를 찾아내고, 이를 정답으로 교정하여 새로운 선호 쌍을 생성합니다.
• 재학습: 원본 데이터와 증강된 데이터를 결합하여 보상 모델을 다시 학습시킵니다. 이를 통해 모델은 분포 외 교란에 강인해지지만, 원래의 성능은 유지합니다.

3. 주요 기여 (Key Contributions)

1. 선호도 분포 무관한 실패 모드 탐지: 외부 지식이나 속성 정보 없이 보상 모델 자체를 이용해 실패 모드를 효율적으로 (Tractable) 발견하는 방법을 제시했습니다.
2. 자기 개선형 보상 모델링 프레임워크 (REFORM): 발견된 적대적 예제를 학습 데이터에 포함시켜 보상 모델의 강인성 (Robustness) 을 향상시키는 전체 파이프라인을 제안했습니다.
3. 성능과 강인성의 동시 달성: 강인성을 높이는 과정에서 기존 보상 모델의 정확도나 하류 태스크 (Alignment) 성능이 저하되지 않음을 입증했습니다. 오히려 위장 상관관계 (Spurious Correlations) 를 제거하여 정렬 품질을 향상시켰습니다.

4. 실험 결과 (Results)

저자들은 Anthropic Helpful-Harmless (HH) 와 PKU Beavertails 두 가지 데이터셋에서 Mistral 7B 및 Qwen 2.5 모델을 사용하여 실험을 수행했습니다.

• RQ1 (실패 모드 탐지): REFORM 은 무작위 교란이나 속성 기반 방법보다 선호 응답 (Preferred Responses) 에서 실패 모드를 훨씬 효과적으로 발견했습니다. (적합성, 가독성, 오분류 성공률 기준)
• RQ2 (강인성 향상): REFORM 으로 학습된 보상 모델은 Verbosity(불필요한 길이), 대문자화, 반복, 오타 등의 적대적 교란에 대해 기존 모델보다 훨씬 높은 강인성을 보였습니다. 승률 (Win Rate) 하락폭이 현저히 줄었습니다.
• RQ3 (성능 유지 및 하류 태스크):
  • 정확도: 교란이 없는 테스트 데이터에서도 기존 모델과 유사한 정확도를 유지했습니다.
  • 하류 정렬 (BoN, PPO, DPO): REFORM 보상 모델을 사용하여 학습된 정책 (Policy) 은 가독성, 유용성, 다양성 측면에서 기존 모델과同等하거나 더 좋은 성능을 보였습니다. 특히 위장 상관관계 (Spurious Correlations, 예: 특정 단어 반복에 대한 과대평가) 를 제거하여 더 안전한 응답을 생성했습니다.

5. 의의 및 결론 (Significance)

이 논문은 보상 모델이 단순히 정적 (Static) 인 평가 도구가 아니라, 적대적 예제를 스스로 발견하고 학습함으로써 스스로를 개선할 수 있는 동적 (Dynamic) 인 시스템이 될 수 있음을 보여줍니다.

• 실용성: 대규모 데이터 증강이나 수동 라벨링 없이, 소량의 데이터 (5%) 만으로도 모델의 취약점을 보완할 수 있어 비용 효율적입니다.
• 안전성: LLM 의 정렬 과정에서 발생할 수 있는 보상 해킹과 분포 외 실패를 사전에 예방하여, 보다 안전하고 신뢰할 수 있는 AI 시스템 구축에 기여합니다.
• 한계점: 현재는 텍스트 공간에서의 실패 모드 탐지에 국한되어 있으며, 잠재 공간 (Latent Space) 에서의 강인성 보장이나 모든 가능한 변형체 탐지는 여전히 과제로 남아있습니다.

요약하자면, REFORM은 보상 모델의 취약점을 "적대적 공격"처럼 활용하여 이를 학습 데이터로 전환함으로써, 더 견고하고 신뢰할 수 있는 LLM 정렬 시스템을 만드는 새로운 패러다임을 제시합니다.