기술 요약: TERMS-BENCH

문제 정의

협상은 경제적 교환의 핵심 메커니즘이자 에이전트형 언어 모델(LLM)의 전형적인 테스트베드 역할을 하며, 숨겨진 선호도, 전략적 의사소통, 그리고 구속력 있는 제약 조건 하에서의 다회차 상호작용을 요구한다. 그러나 LLM 협상 에이전트를 평가하는 것은 독특한 방법론적 과제를 안겨준다. 즉, 수학이나 코드와 달리 협상은 내재적인 검증기(verifier)가 없다. 기존의 평가 패러다임은 LLM 대 LLM의 상호작용이나 **거래율(deal rate)**과 같은 집계된 결과 지표에 의존한다. 이러한 방식은 두 가지 구조적 한계를 갖는다:

1. 귀속의 불투명성(Opacity of Attribution): 상대방이 명시되지 않은 잠재적 선호도를 가진 블랙박스 정책이기 때문에, 결과가 에이전트의 역량과 상대방의 변동성을 혼재시켜 특정 추론 오류로 실패 원인을 귀속시키는 것을 방지한다.
2. 진단적 정밀도의 손실(Loss of Diagnostic Granularity): 인간의 선호도나 다요소 점수로 검증된 지표라 할지라도, 성능을 스칼라 순위로 축소시켜 버림으로써 에이전트가 협상 워크플로우의 어느 지점(예: 추론 vs 제어)에서 성공하거나 실패하는지를 가린다.

결과적으로, 현재의 벤치마크는 에이전트의 실패가 불안정한 추론, 프롬프트 민감도, 또는 잠재적 행동 변동성 중 어디에서 기인하는지 진단하지 못하며, 이로 인해 실무자들에게 실패의 원인은 불투명하게 남게 된다.

방법론: TERMS-BENCH

저자들은 환경 자체를 검증기로 구축하는 프레임워크인 TERMS-BENCH(Testbed for Economic Reasoning in Multi-turn Strategy)를 소개한다. 다른 LLM을 판사로 사용하는 대신, TERMS-BENCH는 상대방의 잠재적 유형(latent type), 정책(policy), 그리고 보상 구조(payment structure)를 명시적으로 규정함으로써, 에이전트에게는 숨겨져 있으면서도 평가자에게는 관찰 가능한 환경을 만든다.

1. 프레임워크 정식화

TERMS-BENCH는 협상을 다음과 같은 확장형, 불완전 정보 베이지안 게임으로 모델링한다:

• 환경 ($\Gamma$): 가능한 결과 집합, 에이전트($T_A$)와 상대방($T_B$)의 사적 유형 공간, 효용 함수, 그리고 잠재적 유형에 대한 사전 확률($\mu$)로 정의된다. 유형 $t_i$는 예약 가치($r_i$), 외부 옵션($e_i$), 긴급도($\kappa_i$), 그리고 전략적 태도($\eta_i$)를 인코딩한다.
• 프로토콜 ($P$): 이동 순서, 행동 공간(경제적 행위와 자연어의 결합), 정보 공개 규칙, 종료 조건을 고정한다.
• 에이전트 정책 ($\pi$): 정보 상태(이력, 사적 맥락, 신념)를 행동으로 매핑한다.

2. 인스턴스화: 양자 가격 협상

본 논문은 에이전트가 시뮬레이터 기반의 상대방과 스칼라 가격을 협상하는 양자 가격 협상 설정에서 이 프레임워크를 구현한다.

• 진단 도구로서의 상대방: 상대방은 샘플링된 잠재 유형 $t_B$에 의해 매개변수화된 고정된 확률 커널 $\pi_B$에 의해 통제된다. 에이전트는 관찰된 가격과 메시지를 통해 $t_B$를 추론해야 한다.
• 상대방 군집(Families): 특정 능력을 격리하기 위해 저자들은 두 축을 따라 변화하는 6가지 상대방 행동 군집을 정의한다:
  • 경제적 반응성(Economic Reactivity): 행동이 최근의 제안에 얼마나 의존하는지, 혹은 잠재적 유형에 얼마나 의존하는지 (예: 유형-도구적(Type-Instrumental) vs 고-반응성(High-Reactivity)).
  • 단서 신뢰도(Cue Reliability): 언어적 단서(감성, 태도)가 잠재적 태도를 얼마나 정확하게 반영하는지 (예: 정확함(Accurate) vs 정보 없음(Uninformative) vs 노이즈 있음(Noisy) vs 압박함(Pressuring)).
  • 핵심 군집은 솔직함(Candid), 과묵함(Taciturn), 표현적(Expressive), **전략적(Strategic)**이며, 스트레스 테스트로는 확률적(Stochastic) 및 **적대적(Adversarial)**이 포함된다.

3. 평가 지표 및 귀속

TERMS-BENCH는 거래율을 넘어 다축 진단 프레임워크로 나아간다:

• 최종 가치(Terminal Value): ZOPA(협상 가능 영역) 대비 잉여 효율성($SE^+_\pi$).
• 합의 교정(Agreement Calibration): 가능한 에피소드에서의 합의율($AGR^+_\pi$) 및 불가능한 에피소드에서의 허위 합의율($FAGR^-_\pi$).
• 상대방 모델링(Opponent Modeling): 예약 가치, 긴급도, 태도에 대한 신념 오류.
• 프로토콜 준수(Protocol Compliance): 결정적 위반 사례(가격 경계, 개인 합리성) 발생률.

오라클 개입(Oracle Interventions): 실패를 귀속시키기 위해, 프레임워크는 에이전트의 성능을 세 가지 조건과 비교한다:

1. 기본(Base): 에이전트가 처음부터 유형을 추론함.
2. 오라클-사후 확률(Oracle-Posterior): 에이전트가 상대방의 유형에 대한 정확한 베이지안 사후 확률을 전달받음.
3. 공개된 유형(Revealed-Type): 에이전트가 실제 잠재 유형을 전달받음.
4. 모델 기반 오라클(Model-Based Oracle): 지정된 환경에 대해 베이즈 최적(Bayes-optimal)인 동적 계획법 참조 정책($\pi^*$).

이를 통해 성능 격차를 추론($\Delta_{inf}$), 불확실성($\Delta_{unc}$), 제어($\Delta_{ctrl}$) 병목 현상으로 분해할 수 있다.

주요 결과

저자들은 1,800개의 시드 에피소드에 걸쳐 13개의 프런티어 LLM 에이전트(Claude Opus 4.6/4.7, GPT-5.5, Gemini 3.1 Pro 등 포함)와 3개의 고정 양보 베이스라인을 평가했다.

1. 높은 거래율이 잉여 추출을 가림: 대부분의 프런티어 모델은 가능한 에피소드에서 포화 상태에 가까운 거래율($>97\%$)을 달성하지만, 잉여 추출 능력에서는 크게 갈린다. 예를 들어, Claude Opus 4.6은 0.694의 잉여 효율성을 달성한 반면, Doubao-Seed-2.0-Pro는 더 높은 거래율(99.9%)에도 불구하고 0.522를 기록했다.
2. 단서 활용의 실패(Cue-Use Failure): 에이est는 정보적인 단서가 존재할 때보다 단서가 억제되었을 때($\alpha_{cue} < 0$) 일관되게 적은 잉여를 추출했다. 이는 에이전트가 "따뜻한" 단서에 과도하게 양보하거나 "압박" 단서 하에서 취약한 행동을 보여, 언어적 신호와 경제적 전략을 분리하는 데 실패함을 시사한다.
3. 정보-행동 간극(Information-Action Gap): 프런티어 모델들은 잠재 유형 추론을 잉여로 전환하는 데 실패했다.
   • 사후 확률 주입: 에이전트에게 정확한 베이지안 사후 확률을 제공해도 수익은 미미하거나 일관되지 않았으며, 상위 모델들의 격차를 약 1%만 줄였다.
   • 신념 교정: 신념 오류는 시간이 지나도 개선되지 않았으며, 어떤 경우에는 오히려 증가했다. 특히 태도 추론이 주요 오류 원인이었다.
   • 추론 페널티: 에이전트들은 경제적으로 도구적인 역할을 하는 군집에서 고-반응성 군집보다 종종 더 낮은 성능을 보였다.
4. 오라클 분해를 통한 뚜렷한 병목 현상:
   • GPT-4o-mini는 주로 제어 제한적(98%의 격차)이었으며, 제공된 정보를 행동으로 옮기는 데 어려움을 겪었다.
   • Claude Opus 4.7과 Grok 4.20은 불확실성 제한적이었으며, 유형이 공개된 후에도 큰 격차가 남아 있었다.
   • Claude Opus 4.6은 추론, 불확실성, 제어 전반에 걸친 혼합된 프로필을 보였다.
5. 안정적인 협상 지문(Stable Bargaining Fingerprints): 에이전트들은 상대방 군집에 관계없이 일관된 행동 유형(예: "앵커링 후 유지", "중간/균형")과 자기 제약 프로필(IR 위반율 vs 탈퇴 규율)을 보였으며, 이는 환경적 산물이 아닌 모델의 고유한 특성임을 시사한다.
6. 데이터 기반 검증: Amazon 카탈로그 통계를 사용한 데이터 기반 변형 모델 테스트에서 에이전트의 순위는 대체로 유지되었으나(Spearman $\rho=0.90$), "난이도 승수" 효과가 강한 모델과 약한 모델 사이의 성능 격차를 증폭시켰다. 강한 모델은 공적 제품 앵커를 효과적으로 활용한 반면, 약한 모델은 넓은 가격 범위에서 어려움을 겪었다.
7. 상업적 영향: 여러 에피소드를 체이닝하는 "뱅크롤 모드(Bankroll Mode)" 시뮬레이션에서, 매 회차 발생하는 작은 오류들이 누적되어 심각한 파산 실패로 이어졌다. 가장 강한 모델과 가장 약한 모델 사이의 최종 잔고 차이는 약 21배였으며, 이는 단일 에피소드 잉여 효율성의 차이인 약 14배를 훨씬 상회했다.

의의 및 주장

본 논문은 TERMS-BENCH가 협상 평가를 블랙박스 순위 매기기에서 에이전트 귀속 가능한 진단 도구로 재정의한다고 주장한다. 환경을 검증기로 만듦으로써 다음을 가능하게 한다:

• 확장 가능한, 인간 주석이 필요 없는 진단: 주관적인 인간 판사 없이도 특정 실패 모드(추론, 불확치성, 제어)를 식별할 수 있다.
• 숨겨진 실패의 폭로: 높은 거래율이 잉여 추출, 단서 민감도, 자기 제약 측면의 치명적인 결함을 어떻게 가릴 수 있는지 밝혀낸다.
• 실무자를 위한 실행 가능한 통찰력: 에이전트가 어디에서 무너지는지, 그리고 무엇을 강화해야 하는지(예: 신념 교정 개선 vs 전략적 제어 강화)를 보여주는 통제된 토대를 제공한다.

저자들은 본 연구를 배포 가능한 협상 에이전트로 나아가기 위한 필수적인 단계로 위치시키며, 현재의 인스턴스화가 양자 가격 협상에 집중되어 있지만 프레임워크가 다자간 및 다제품 설정으로 일반화될 수 있음을 언급한다. 또한 인간 대상 연구와 더 풍부한 다중 이슈 설정이 현재 범위를 넘어의 전이성을 검증하는 데 중요한 다음 단계임을 인정한다.