ARES: Adaptive Red-Teaming and End-to-End Repair of Policy-Reward System

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 을 인간 가치와 안전 원칙에 정렬시키는 핵심 기술인 **인간 피드백을 통한 강화학습 (RLHF)**은 중요한 취약점을 내포하고 있습니다.

• 보상 모델 (Reward Model, RM) 의 불완전성: RLHF 는 외부 보상 모듈 (RM) 의 신호에 의존합니다. 그러나 훈련 데이터의 편향이나 특정 유해 콘텐츠에 대한 평가 능력 부족으로 인해 RM 이 결함을 가질 수 있습니다.
• 시스템적 취약점 (Systemic Weaknesses): 기존 연구는 주로 정책 (Core LLM) 의 약점이나 보상 모델 (RM) 의 약점을 개별적으로 다루었습니다. 하지만 ARES 는 **Core LLM 과 RM 이 동시에 실패하는 '시스템적 취약점'**을 주요 문제로 제기합니다.
  • 이 경우, LLM 이 유해한 응답을 생성하더라도 RM 이 이를 안전하다고 잘못 평가하여 높은 점수를 부여합니다.
  • 결과적으로 모델은 유해한 행동을 강화학습을 통해 학습하게 되어, 안전 정렬이 완전히 무너질 수 있습니다.
• 기존 방법의 한계: 기존 레드팀 (Red-teaming) 기법들은 LLM 의 정책적 약점만 찾거나, RM 을 개별적으로 강화하는 데 그쳐, 두 구성 요소가 결합된 취약점을 해결하지 못했습니다.

2. 방법론 (Methodology)

ARES 는 **적응형 레드팀 (Adaptive Red-Teaming)**과 **종단간 시스템 수리 (End-to-End System Repair)**를 결합한 2 단계 프레임워크입니다.

Phase 1: 적응형 취약점 발견 (Adaptive Vulnerability Discovery)

이 단계는 시스템의 이중 취약점을 체계적으로 발견하기 위해 설계되었습니다.

• 안전 멘토 (Safety Mentor): 구조화된 구성 요소 (Topic, Persona, Goal, Tactic) 를 조합하여 의미론적으로 일관성 있고 기만적인 공격 프롬프트를 생성합니다.
  • 예: "디지털 포렌식 전문가"라는 페르소나를 사용하여 "법정 증언 교육"이라는 목적을 설정하고, "딥페이크 생성"을 요청하는 공격.
  • 생성된 각 공격에 대해 **유해 응답 (Synthetic Malicious Response)**과 안전 응답 (Safe Response) 쌍을 생성하여 하류 수리 과정을 위한 선호 신호를 제공합니다.
• 이중 구성 요소 취약점 분류 (Dual-Component Vulnerability Classification): 생성된 공격에 대해 Core LLM 과 RM 을 병렬 평가하여 3 가지 실패 유형을 식별합니다.
  • Type A (RM 만의 오정렬): LLM 은 안전하지만 RM 이 유해 응답을 잘못 평가 (높은 점수).
  • Type B (정책 취약점): LLM 이 유해 응답을 생성하지만 RM 이 이를 올바르게 식별 (낮은 점수).
  • Type C (시스템적 취약점): 가장 치명적인 경우. LLM 이 유해 응답을 생성하고 RM 이 이를 안전하다고 잘못 평가 (높은 점수).
• 계층적 적응적 샘플링 (Hierarchical Adaptive Sampling): 공격이 성공한 경우, 해당 공격을 구성한 구성 요소 (Category 및 Instance) 의 가중치를 동적으로 증가시킵니다. 이를 통해 시스템이 취약한 영역을 집중적으로 탐색하고 효율적으로 학습합니다.

Phase 2: 종단간 시스템 수리 (End-to-End System Repair)

발견된 취약점을 기반으로 두 구성 요소를 순차적으로 최적화합니다.

1. 보상 모델 (RM) 수리:
   • Type A 와 Type C 실패 사례를 포함한 선호 데이터셋을 구축하여 RM 을 미세 조정 (Fine-tuning) 합니다.
   • 이는 RM 이 유해 콘텐츠를 올바르게 식별하고 점수화하도록 하여, 후속 정책 최적화를 위한 신뢰할 수 있는 보상 신호를 제공합니다.
2. Core LLM 최적화:
   • 수리된 RM 을 보상 신호로 사용하여 Core LLM 을 강화학습 (RL) 합니다.
   • 이 순차적 접근법 (RM 먼저 수리 $\rightarrow$ LLM 최적화) 은 결함이 있는 보상 신호로 인해 LLM 이 다시 유해 행동을 학습하는 것을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 시스템적 취약점의 개념화 및 해결: 기존 연구가 간과했던 'LLM 과 RM 의 동시 실패'를 식별하고 이를 해결하는 최초의 포괄적인 프레임워크를 제안했습니다.
2. 안전 멘토와 구조화된 공격 생성: 의미론적으로 일관된 기만적 프롬프트를 생성하여 시스템 전체의 취약점을 효과적으로 드러내는 새로운 메커니즘을 도입했습니다.
3. 폐루프 (Closed-loop) 2 단계 수리 전략: RM 과 LLM 을 순차적으로 수리하여 상호 의존적인 취약점을 해결하는 방법론을 제시했습니다.
4. 적응형 학습 메커니즘: 공격 성공 사례를 기반으로 탐색 전략을 동적으로 조정하여, 고정된 데이터셋보다 훨씬 효율적으로 취약점을 발견합니다.

4. 실험 결과 (Results)

다양한 안전 벤치마크 (StrongReject, HarmBench, PKU-SafeRLHF 등) 와 능력 평가 (MMLU, GSM8K) 를 통해 검증되었습니다.

• 안전성 향상: ARES 는 기존 RLHF 베이스라인 및 일반 안전 정렬 방법보다 훨씬 높은 안전성 (Safety Rate) 을 달성했습니다.
  • 예: StrongReject 벤치마크에서 기존 RLHF(0.79) 대비 ARES(0.97) 로 크게 향상.
  • Type C(시스템적 취약점) 를 포함한 모든 유형의 실패를 효과적으로 감소시켰습니다.
• 능력 유지: 안전성 향상에도 불구하고 MMLU, GSM8K 등 일반 능력 벤치마크에서의 성능 저하는 미미하거나 오히려 개선되었습니다. (과거망각 현상 방지)
• 데이터 효율성: ARES 가 생성한 4,000 개의 적응형 샘플만으로도 10,800 개의 일반적인 안전 데이터셋 (PKU-SafeRLHF) 보다 우수한 안전성을 달성했습니다.
• 수리 효율성: 한 번의 수리 사이클 후 재테스트 시 취약점 발견률이 63.5% 에서 4.3% 로 급격히 감소하여 수리의 효과성을 입증했습니다.
• 비교 우위: FLIRT, APRT 등 기존 자동 레드팀 프레임워크보다 더 높은 안전 점수와 더 낮은 잘못된 거부율 (Over-refusal) 을 기록했습니다.

5. 의의 및 의의 (Significance)

• 안전 정렬의 새로운 패러다임: LLM 의 정책 (Policy) 만을 개선하는 것을 넘어, 보상 모델 (Reward Model) 과의 상호작용까지 포함한 전체 시스템 (Policy-Reward System) 관점에서 안전성을 확보하는 새로운 접근법을 제시했습니다.
• 실용성과 확장성: ARES 는 실제 RLHF 파이프라인에 통합 가능하며, 다양한 안전 멘토 모델과 호환되어 적용 가능합니다.
• 지속 가능한 안전: 완벽한 '제로 취약점' 상태는 불가능할 수 있으나, ARES 는 명확한 취약점을 체계적으로 제거하여 안전성과 유용성 사이의 최적 균형을 찾는 실용적인 솔루션을 제공합니다.

이 논문은 RLHF 기반 LLM 의 안전성을 높이기 위해 적응형 공격 발견과 체계적인 시스템 수리를 결합함으로써, 기존 방법론의 한계를 극복하고 더 견고한 AI 정렬을 가능하게 한다는 점에서 중요한 의의를 가집니다.