기술 요약: 수동적 대리인에서 전략적 협상가로

문제 정의

AI 에이전트는 스케줄링, 구매, 협상과 같은 본인(principal) 중심의 과업을 수행하기 위해 사용자를 대신하여 행동하는 대리인으로서 점점 더 많이 배치되고 있습니다. 그러나 일반 목적의 어시스턴트를 "도움이 되는(helpful)" 상태로 만드는 성향(투명성, 순응성, 합의에 대한 열망)과 위임(delegation)에 필요한 전략적 요구사항 사이에는 결정적인 불일치가 존재합니다. 적대적이거나 갈등이 있는 상황에서 프런티어 모델들은 요청하지 않았음에도 사적인 정보를 공개하거나, 저항에 직면했을 때 너무 일찍 입장을 양보하는 경향이 있습니다. 본 논문은 사회적 추론(social reasoning), 즉 상대방의 잠재적 선호도를 추론하고, 본인의 사적인 정보를 보호하며, 본인의 효용을 극대화하기 위해 전략적으로 효과적인 행동(예: 언제 양보하고, 거절하고, 앵커링할 것인가)을 선택하는 능력을 다룹니다.

핵심 과제는 프런티어 모델의 규모에 의존하는 대신, 타겟팅된 사후 학습(post-training)을 통해 컴팩트한 모델(4B 파라미터)에 이러한 전략적 능력을 유도하는 것이며, 동시에 이러한 능력이 이질적인 상호작용 구조 전반에 걸쳐 일반화되도록 보장하는 것입니다.

방법론: SOCIALRL

저자들은 사회적 추론을 학습시키기 위한 일반적인 레시피이자 인프라인 SOCIALRL을 제시합니다. 이 접근 방식은 세 가지 주요 구성 요소로 이루어져 있습니다.

1. 디커플링된 학습 인프라 (Decoupled Training Infrastructure)

이질적인 상대(로컬, 원격, 블랙박스)와 함께 복잡하고 다회차적인 상태 유지 상호작용을 지원하기 위해, 저자들은 두 가지 핵심 디커了링을 갖춘 시스템을 구축했습니다.

• 이벤트 기반 에이전트 인터페이스: 환경은 상태 스냅샷이 아닌 비동기 이벤트 스트림(관찰, 통지, 행동)을 통해 에이전트와 통신합니다. 이는 부분 관측 가능성(partial observability)을 지원하며, 환경 로직을 변경하지 않고도 에이전트를 LLM, 코드 에이전트 또는 인간으로 구현할 수 있게 합니다.
• 롤아웃 프록시 (Rollout Proxy): OpenAI 호환 프록시가 에이전트 런타임과 추론 엔진 사이에 위치합니다. 이 프록시는 실행 중 실제 모델의 입력, 출력 및 로그 확률을 기록하여 롤아웃 생성과 학습을 분리합니다. 이를 통해 동일한 인프라가 교체 가능한 구성 요소를 사용하여 강화 학습(RL)과 증류(distillation)를 모두 지원할 수 있게 합니다.

2. 환경 스위트 및 보상 설계

본 연구는 여섯 가지의 이질적인 도메인을 포괄합니다:

• 다중 이슈 배분: Deal-or-No-Deal (DnD), CaSiNo.
• 단일 이슈 가격 협상: Craigslist, Marketplace.
• 다중 이슈 계약 협상: Job Interview.
• 선호 기반 조정: Calendar.

보상 설계: 모든 환경은 $[0, 1]$ 범위로 정규화된 최종 결과 기반 보상을 사용합니다. 이 정규화는 "난이도 인식형(difficulty-aware)"으로, 시나리오별 참조 합의(예: DnD/CaSiNo의 파레토 최적 및 엔비 프리 배분, 또는 협상의 가격 구간)를 기준으로 보상을 보정합니다. 이를 통해 학습 신호가 특정 시나리오의 기회 대비 합의의 질을 반영하도록 보장합니다.

3. 학습 전략

학습은 두 단계로 진행됩니다:

• 단계 1: 도메인 특화 전문가 (In-Domain Specialists). 4B 모델(Qwen3-4B-Instruct)을 각 도메인별로 학습시킵니다. 가격 협상(Craigslist/Marketplace)의 경우, 기초적인 앵커링 행동을 확립하기 위해 PPO 이전에 지도 미세 조정(SFT)을 워밍업으로 사용합니다. 그 외의 도메인에는 직접 PPO를 적용합니다.
• 단계 2: 통합 (Unification). 여섯 개의 도메인 특화 정책을 두 가지 상호 보완적인 방법을 사용하여 단일 통합 정책으로 결합합니다:
  • 전이 인식 캐스케이드 RL (Transfer-Aware Cascade RL): 측정된 교차 도메인 전이 행렬에 의해 결정된 순서에 따라 정책을 순차적으로 학습시킵니다 (예: 파괴적인 기여자(destructive donors)를 초기에 배치하고, 유익한 쌍을 연속적으로 배치).
  • 다중 교사 온-폴리시 증류 (Multi-Teacher On-Policy Distillation, MOPD): 단계 1의 전문가들을 교사로 사용하여 단일 학생 모델로 능력을 증류합니다. "격차 해소(gap-closed)" 커리큘럼은 교사의 이점이 얼마나 남아 있는지에 따라 환경을 적응적으로 샘플링합니다.

4. 명시적 마음 이론(Theory-of-Mind, ToM) 감독

보완 연구로서, 저자들은 명시적인 추론 스캐폴드인 INFER $\rightarrow$ ACT $\rightarrow$ ANTICIPATE를 도입합니다. 이들은 명시적인 선호도 추론과 다음 행동 예측을 포함하는 GPT-5.2의 트레이스를 증류합니다. 이는 명시적인 ToM 추론을 직접 감독하는 것이 결과 기반 RL만 사용하는 것보다 협상 성과를 개선하는지 테스트합니다.

주요 결과

전문가 및 통합 모델의 성능

• 프런티어 성능: 도메인 학습된 4B 전문가들은 훨씬 더 큰 GPT 모델들과 대등한 종합 성능을 달성했습니다. 통합된 4B 모델(Cascade RL 활용)은 여섯 가지 환경 전체에서 평균 효용 0.627을 달 achieve하였으며, 이는 GPT-4.1 (0.625), GPT-5.1 (0.619), GPT-5.2 (0.613)와 일치하거나 이를 상회하는 수치입니다.
• 전이 구조: 환경 간 전이는 매우 비대칭적이며 구조 의존적입니다. 구조적으로 유사한 도메인(예: Craigslist와 Marketplace)은 서로를 크게 향상시킵니다. 반대로, 일부 도메인(예: Calendar)은 다른 도메인에 대해 부정적인 기여자(negative donor) 역할을 합니다.
• 통합 효율성:
  • Cascade RL: 가장 높은 성능(0.627)을 달성하지만, 각 도메인에 대해 전체 RL 단계를 거쳐야 합니다.
  • MOPD: 단 60회의 추가 최적화 단계만으로 전문가들의 평균 이점 중 **92.6%**를 회복하여, 매우 효율적인 통합 경로를 보여주었습니다.

마음 이론(ToM) 감독의 영향

• 프롬프팅 vs 학습: 기본 모델에 ToM 스캐폴드를 단순히 프롬프트로 제공하는 것은 성능을 감소시킵니다 (0.454 $\rightarrow$ 0.353).
• 증류: 명시적 ToM 트레이스(INFER $\rightarrow$ ACT $\rightarrow$ ANTICIPATE)로 학습하는 것은 표준 SFT보다 협상 효용을 개선합니다.
• 핵심 기술: ToM 기술 중에서 다음 행동 예측(상대방의 반응 예측)이 협상 성공과 가장 강한 상관관계를 보이는 구성 요소였던 반면, 선호도 추론 자체는 약한 상관관계를 보였습니다.

행동 분석

상호작용 궤적에 대한 질적 분석은 학습된 모델에서 나타나는 구체적인 전략적 변화를 보여줍니다:

• 선택적 양보: 학습된 에이전트는 더 공격적으로 앵커링합니다 (예: Craigslist에서 목표가보다 낮은 구매자 오프닝 비율이 학습 전 3%에서 학습 후 78%로 증가). 또한 더 느리게 양보합니다.
• 정보 보호: 사적인 유보 가격(reservation prices)이나 목표치를 유출하는 현상이 급격히 감소했습니다.
• 전략적 거절: 거절은 즉각적인 굴복이 아니라, 역제안을 동반한 빈번한 전략적 행동(14~20%의 턴)이 됩니다.
• 확약 언어: 정중함을 유지하면서도 단호한 경계("최종 제안")를 사용하는 빈도가 증가했습니다.

의의 및 주장

본 논문은 타겟팅된 사후 학습을 통해 소형 모델(4B)에서도 전략적 위임을 효과적으로 유도할 수 있음을 주장하며, 이러한 능력이 반드시 프런티어 규모의 모델을 필요로 한다는 통념에 도전합니다. 이 연구의 의의는 다음과 같습니다:

1. 인프라: 이질적인 다중 에이전트 상호작용과 다양한 학습 패러다임(RL, 증류)을 환경과 결합하지 않고 지원하는 일반적이고 디커플링된 플랫폼(SOCIALRL)을 제공합니다.
2. 전이 역학: 사회적 추론 능력이 상호작용 기하학에 기반하여 구조적이고 예측 가능한 방식으로 도메인 간에 전이됨을 입증하였으며, 이를 통해 전문화된 에이전트를 효율적으로 통합할 수 있음을 보여주었습니다.
3. 학습 레시피: SFT(필수 행동 확립용)와 PPO(전략적 최적화용)의 조합, 그리고 잠재적으로 명시적 ToM 증류를 결합하면 본인의 이익을 보호하고 효과적으로 협상하는 에이전트를 생성할 수 있음을 보여줍니다.
4. 행동 변화: "수동적 대리인"에서 "전략적 협상가"로의 전환이 공격적 앵커링, 선택적 양보, 정보 보호, 그리고 거절의 전략적 사용과 같은 구체적이고 학습 가능한 행동을 포함한다는 것을 확립했습니다.

저자들은 강력한 다중 도메인 사회적 행동이 컴팩트한 모델에서도 학습 가능하다는 점과, 도메인 간 전이의 방향성이 전문화된 에이전트를 고성능 정책으로 통합하는 데 있어 결정적인 요소라는 결론을 내립니다.