기술 요약: 전략적 에이전트 정책을 위한 안전한 평형 정책 최적화 (Safe Equilibrium Policy Optimization)

문제 정의

강화 학습(RL)으로 미세 조정된 대규모 언어 모델(LLM)은 일반적으로 멀티 에이전트 환경의 전략적 구조를 무시한 채 작업 특정적 보상만을 최적화한다. 이러한 에이전트들은 자연어 게임 상태 설명에 기반하여 조건화되고 자유 형식의 생성을 통해 행동을 출력하기 때문에, 약한 상대방을 착취하거나, 해로운 평형(예: 알고리즘 담합)으로 협력하거나, 외부 비용을 전가하는 것과 같은 전략적 실패 모드에 취약하다. RLHF나 Constitutional AI와 같은 표준 정렬 방법은 단일 에이전트를 고정된 선호 모델에 정렬하는 데는 성공하지만, 멀리 에이전트 설정에서는 유효한 보상 함수가 다른 에이전트의 전략에 따라 동적으로 변한다는 점을 간과한다. 결과적으로, 고립된 상태에서 "도움이 되는(helpful)" 에이전트로 훈련되었더라도 전략적 환경에 배치되면 여전히 착취하거나 담합하는 법을 배울 수 있으며, 이는 일반적인 정렬의 문제가 아니라 목적 설계(objective design)의 실패를 의미한다.

방법론: 안전한 평형 정책 최적화 (SEPO)

저자들은 세 가지 뚜렷한 전략적 실패 모드에 대한 명시적 페널티를 추가하여 표준 작업 효용을 증강하는 훈련 프레임워크인 **Safe Equilibrium Policy Optimization (SEPO)**를 제안한다. 목적 함수는 다음과 같이 정의된다:

$$J_{SEPO}(\pi) = u(\pi) - \lambda_e \cdot e(\pi) - \lambda_c \cdot c(\pi) - \lambda_x \cdot x(\pi)$$

여기서:

• $u(\pi)$: 협력적인 훈련 상대군을 상대로 한 기대 페이오프(expected payoff).
• $e(\pi)$ (착취 가능성, Exploitability): 적대적 상대방이 에이전트로부터 얻는 평균 페이오프 우위. 이는 적대적 전략 유형 풀을 대상으로 추정된다. 이 항을 최소화함으로써 정책을 최적 대응 안정성(best-response stability, 내쉬 평형 근사)으로 유도한다.
• $c(\pi)$ (담합 위험, Collusion Risk): 담합하는 파트너와 결합했을 때 발생하는 해로운 협력의 비율. 이는 공동으로 수익이 나지만 사회적으로 해로운 상관 평형(correlated equilibria)을 페널티화한다.
• $x(\pi)$ (외부성 비용, Externality Cost): 양자 간 상호작용 외부에서 발생하는 도메인 특정적 해악(예: 복지 부족, 자원 고갈).

구현 세부 사항

SEPO는 Supervised Fine-Tuning (SFT) 웜스타트 이후 Gemma 4 E4B-it 및 Qwen 3.5-4B 모델에 적용되는 **Group Relative Policy Optimization (GRPO)**를 위한 보상 신호로 구현된다.

주요 기술적 혁신:

1. 롤아웃당 착취 계산 (Per-Rollout Exploit Computation): 논문은 상수 착취 페널티가 GRPO의 어드밴티지 정규화 과정에서 (상수 제어 변수 특성으로 인해) 상쇄되어 그래디언트가 0이 된다는 점을 식별했다. 이를 해결하기 위해, SEPO는 신선하게 샘플링된 상대군을 대상으로 롤아웃당 착취 가능성을 계산함으로써, 페널티 항이 그룹 전체에서 변화하도록 하여 실제적인 그래디언트 신호를 생성한다.
2. 삼중 풀 상대군 설계 (Three-Pool Opponent Design): 훈련은 세 개의 엄격히 분리된 상대군 풀을 활용한다:
   • 훈련 풀 (Training Pool): 효용 신호 생성을 위한 다양한 협력적 전략들.
   • 착취 풀 (Exploit Pool): $e(\pi)$를 추정하기 위한 적대적 전략들 (예: AlwaysDefect).
   • 담합 풀 (Collusive Pool): 탐욕적 성향을 드러내어 $c(\pi)$를 추정하기 위해 설계된 협력적 파트너들.
3. 라운드당 어드밴티지 정규화 (Per-Round Advantage Normalization): 에피소드 전체에 걸쳐 어드밴티지를 정규화하는 대신, SEPO는 게임 라운드별로 정규화한다. 이는 SFT 모델이 거의 결정론적(deterministic)일 때 어드밴티지 신호가 붕괴되는 것을 방지하며, 특정 단계에서의 발산하는 행동들이 0이 아닌 그래디언트를 생성하도록 보장한다.
4. 제약된 폴백 디코딩 (Constrained Fallback Decode): 자유 형식 생성에서의 파싱 실패를 처리하기 위해, 시스템은 정규 표현식 휴리스틱에 의존하지 않고 유효한 행동을 추출하기 위한 강제 다음 토큰 디코딩 메커니즘을 사용하여 모델의 추론 컨텍스트를 보존한다.

실험 설정

본 프레임워크는 다섯 가지 전략적 도메인에서 평가되었다:

1. 반복 죄수의 딜레마 (Iterated Prisoner's Dilemma, IPD)
2. 반복 밀봉 입찰 경매 (Repeated Sealed-Bid Auctions)
3. 단일 이슈 협상 (Single-Issue Negotiation)
4. GTBench 다중 이슈 협상 (GTBench Multi-Issue Negotiation)
5. 쿤 포커 (Kuhn Poker)

모델은 Gemma 4 E4B-it와 Qwen 3.5-4B를 대상으로 테스트되었다. 베이스라인으로는 오프더셸프 모델(Base)과 SFT 전용 모델(SFT-only)이 포함되었다.

주요 결과

• Kuhn Poker: SEPO는 두 모델 모두에서 최적 체크포인트에서 **제로 착취-풀 우위(zero exploit-pool advantage)**를 달술하였으며, 적대적 풀에 대해 내쉬 혼합 전략으로 성공적으로 수렴하였다.
• 협상 (GTBench): SEPO는 **양의 안전 결과(positive-safety outcome)**를 달성하였으며, 테스트된 모든 협상 구성 중 유일하게 양의 정규화 상대적 우위(Normalized Relative Advantage, NRA)를 산출하였다.
• SFT 퇴보 수정: 모든 게임에서 SFT 단독 훈련은 착취 저항성을 일관되적으로 저하시키는 것으로 나타났다. SEPO는 이러한 퇴보를 성공적으로 수정하여, 베이스 모델 및 SFT 베이스라인 대비 안전 지표를 개선하였다.
• 경매 도메인: SEPO는 안전성을 개선하고 외부성 비용을 감소시켰다. 그러나 경매 도메인에서는 모든 조건이 "안전-부정적(safety-negative)" 상태로 남았는데, 이는 공격적인 착취자에 맞서 과다 입찰을 요구하는 도메인 구조상 페이오프 극대화와 안전 제약 조건을 모두 만족하는 내쉬 평형이 존재하지 않기 때문이다.
• IPD: 모델에 따라 결과가 달랐다. Qwen은 안전성(7배)에서 상당한 개선을 보였고, 착취 가능성을 5.000에서 1.250으로 감소시켰다. Gemma 4는 완만한 안전성 개선을 보였으나, 훈련 예산 내에서 Tit-for-Tat 행동으로 수렴하지는 못했다.

의의 및 주장

본 논문은 SEPO가 글로벌 선호 모델에 의존하는 대신, 안전을 페널티를 부여할 수 있는 구체적인 실패 모드(착취 가능성, 담합, 외부성)로 분해함으로써 멀티 에이전트 정렬의 핵심적인 격차를 해결한다고 주장한다.

• 이론적 기여: 본 목적 함수는 내쉬 및 상관 평형 개념과 공식적으로 연결되며, 안정적이지만 사회적으로 해로운 평형을 페널티화하는 메커니즘을 제공한다.
• 실무적 구현: 본 연구는 효과적인 전략적 안전 그래디언트를 생성하기 위해 롤아웃당 상대 상호작용과 원칙적인 삼중 풀 설계가 필수적임을 입증한다.
• 경험적 검증: SEPO가 표준 SFT 또는 보상 기반 RL에서 흔히 발생하는 과도한 협력 또는 착취적 행동을 교정하여, 다양한 도메인에서 전략적 안전성을 개선할 수 있다는 증거를 제시한다.

저자들은 SEPO가 모든 전략적 안전 문제를 해결하지는 못하지만(경매와 같은 특정 도메인의 구조적 한계 언급), 협상, 자원 관리, 자동 거래와 같은 고위험 멀티 에이전트 환경에서 작동하는 에이전트를 위한 강력한 훈련 목적을 제공한다고 결론짓는다. 추가 연구를 지원하기 위해 코드와 SFT 데이터셋이 공개된다.