상상해 보세요. 한 장터에서 **판매자 (AI)**와 **구매자 (AI)**가 만나 물건을 사고팔려고 합니다.
판매자: "이 물건은 적어도 10 만 원은 받아야 해." (하지만 이 말은 상대방에게 비밀입니다.)
구매자: "최대 15 만 원까지만 줄 수 있어." (이것도 비밀입니다.)
이 두 AI 는 서로의 심리를 파악하며 가격을 흥정해야 합니다. 여기서 중요한 건 세 가지입니다.
합리성: 내가 손해 보는 거래 (예: 10 만 원짜리 물건을 5 만 원에 팔거나, 20 만 원을 주고 사는 것) 를 하지 않는 것.
전략성: 가능한 한 내 이익을 많이 챙기는 것.
거래 성사: 서로 이익이 되는 구간이 있는데도 거래가 안 되는 실수를 하지 않는 것.
기존의 AI 는 "친절하게 말하기"에 익숙해서, 상대방이 억지로 밀어붙이면 손해를 보면서라도 거래를 성사시키는 실수를 자주 했습니다. 또한, "가격을 10 만 원으로 줄게"라고 말했을 때 이것이 진짜 제안인지 가상의 이야기인지 구분이 안 되어 점수를 매기기 힘들었습니다.
2. 해결책: "규칙이 명확한 디지털 장터"
저자들은 이 문제를 해결하기 위해 세 가지 규칙이 있는 디지털 장터를 만들었습니다.
규칙 1: 말과 행동은 분리한다.
AI 는 자유롭게 대화할 수 있지만, 가격 제안이나 거래 수락은 반드시 정해진 버튼 (도구 호출) 을 눌러야 합니다.
비유: 장터에서 "이거 싼 거로 해주세요"라고 떠들기만 하는 게 아니라, **계약서 (도구)**에 서명을 해야 거래가 성사되는 겁니다. 이렇게 하면 AI 가 정말로 거래를 했는지 컴퓨터가 자동으로 점수를 매길 수 있습니다.
규칙 2: 다양한 물건과 상황.
2,000 개 이상의 물건 (저렴한 것부터 비싼 것까지) 을 준비했습니다.
때로는 거래가 가능한 상황 (서로 이익) 이고, 때로는 거래 자체가 불가능한 상황 (서로 손해) 일 수도 있습니다.
규칙 3: AI 대 AI 토너먼트.
최신 AI 5 개를 서로 맞붙여 15,000 번의 협상을 시켰습니다. 마치 바둑 토너먼트처럼 모든 AI 가 서로를 상대로 경기를 한 것입니다.
3. 실험 결과: 어떤 AI 가 이길까? (최상위권 AI 들의 특징)
토너먼트 결과, 가장 잘하는 AI 들은 다음과 같은 인간적인 전략을 사용했습니다.
공격적인 시작 (Anchoring):
판매자 AI 는 물건 값보다 훨씬 비싸게 시작했습니다. (예: 10 만 원짜리 물건을 30 만 원에 제시)
비유: 장터에서 "이거 100 만 원에 팔아요!"라고 외친 뒤, 상대방이 놀라면 "그럼 80 만 원 어때요?"라고 조금씩 내리는 전략입니다.
적절한 양보 (Calibrated Concession):
처음엔 강하게 나갔다가, 상대방의 반응을 보며 적당히 가격을 내렸습니다.
결과: 이렇게 한 AI 는 최대 이익도 챙기고, 거래 성사율도 가장 높았습니다. "강하게 시작해서 유연하게 마무리"하는 것이 정답이었습니다.
약한 AI 의 실수:
너무 친절하고 양보가 빠른 AI 는 상대방에게 모든 정보를 다 알려주는 꼴이 되어, 최저 이익만 챙기거나 거래를 못 했습니다. "너무 착한 AI 는 장터에서 당한다"는 교훈입니다.
4. 훈련 실험: 작은 AI 를 가르치기 (SFT 와 RL 의 충돌)
저자들은 더 작고 저렴한 AI (Qwen 모델) 를 훈련시켜 최상위 AI 수준으로 만들 수 있는지 실험했습니다. 두 단계로 나누어 훈련시켰는데, 여기서 재미있는 모순이 발생했습니다.
1 단계 (SFT - 모방 학습):
잘하는 AI 의 대화 기록을 보고 "배우기" 훈련을 시켰습니다.
결과: AI 가 손해 보는 거래를 피하는 법을 배웠습니다. 하지만 너무 신중해져서 거래를 안 하는 경우가 늘었습니다. (이익은 챙기는데, 거래는 안 함)
2 단계 (RL - 보상 학습):
"거래를 성사시키면 점수를 준다"는 규칙으로 훈련시켰습니다.
결과: 거래 성사율은 다시 높아졌지만, 방금 전까지 배운 '손해 보지 않기'를 잊어버리고 무조건 거래를 성사시키려다 손해를 보는 거래를 다시 시작했습니다.
핵심 교훈:
SFT 는 "신중함"을 가르치고, RL 은 "성사"를 가르칩니다. 이 두 가지가 서로 충돌해서, AI 는 결국 초기 상태와 비슷해지거나 오히려 더 나빠지기도 했습니다.
하지만 흥미로운 점은, SFT 를 통해 AI 는 물건 값에 비례하는 전략 (비싼 물건엔 비싸게, 싼 물건엔 싼 가격에 흥정하는 법) 을 자연스럽게 배웠다는 것입니다. 이는 AI 가 단순히 가격을 외운 게 아니라, 원리를 이해했다는 뜻입니다.
5. 결론: AI 는 이제 협상가가 될 수 있을까?
이 연구는 두 가지 중요한 메시지를 줍니다.
AI 평가: AI 가 협상에서 얼마나 똑똑한지 평가하려면, 단순히 대화만 보는 게 아니라 **구체적인 행동 (가격 제안, 거래 성사)**을 측정해야 합니다.
AI 훈련: AI 를 협상가로 만들려면, "거래를 성사시키는 것"과 "손해를 보지 않는 것" 사이의 균형을 잡는 더 정교한 훈련 방법이 필요합니다.
한 줄 요약:
"AI 는 장터에서 너무 친절하면 당하고, 적당히 강하게 시작해서 유연하게 마무리할 때 가장 잘합니다. 하지만 AI 를 가르칠 때는 '거래 성사'와 '손해 방지'라는 두 마리 토끼를 동시에 잡는 것이 생각보다 어렵습니다."
이 연구는 앞으로 AI 가 고객 서비스, 구매 대행, 분쟁 해결 등 실제 비즈니스 현장에서 진짜 협상 파트너로 활동할 수 있는지를 확인하는 중요한 첫걸음입니다.
논문 요약: 비공개 정보를 가진 양자 간 거래를 위한 언어 모델 훈련 (Training Language Models for Bilateral Trade with Private Information)
이 논문은 불완전 정보 하의 양자 간 협상 (Bilateral Bargaining) 을 대규모 언어 모델 (LLM) 에이전트의 능력을 평가하고 훈련하기 위한 통제된 테스트베드로 활용하는 방법을 제시합니다. 저자들은 구조화된 협상 환경을 구축하여 LLM 이 자연어 메시지와 구속력 있는 제안 (binding offers) 을 구분하여 수행할 수 있도록 하였으며, 이를 통해 frontier 모델들의 벤치마킹과 오픈 가중치 모델의 강화학습 (RL) 기반 훈련을 동시에 수행했습니다.
1. 문제 정의 (Problem)
기존의 일반 목적 LLM 을 협상 에이전트로 직접 사용할 때 발생하는 두 가지 근본적인 한계가 있습니다.
체계적인 행동적 실패 (Systematic Behavioral Failures): 사전 훈련 (Pre-training) 단계에서 유창성과 agreeableness(친화성) 를 최적화하는 목표는 전략적 협상 요구사항과 충돌합니다. 결과적으로 모델들은 음의 효용 (negative utility) 을 초래하는 거래를 수락하거나, 거래 이익이 존재하지 않는 상황 (NGFT, No-Gains-From-Trade) 에서도 합리적으로 거래를 포기하지 못하는 등 비합리적인 행동을 보입니다.
측정의 어려움 (The Measurement Problem): 자유 형식 (free-form) 의 대화에서는 언급된 가격이 구속력 있는 제안인지, 가상의 시나리오인지, 아니면 시장 참조 가격인지 구분하기 어렵습니다. 이로 인해 효용 계산, 양보율 추적, 합의 여부 판별 등을 대규모로 자동화하여 평가하는 것이 불가능합니다.
이러한 문제를 해결하기 위해 저자들은 구조화된 도구 호출 (Structured Tool Calls) 을 통해 구속력 있는 제안을 자연어 메시지와 분리하는 새로운 에이전트 시스템을 제안합니다.
2. 방법론 (Methodology)
2.1 구조화된 협상 환경 (Structured Bargaining Environment)
에이전트 시스템: LLM 은 이벤트 기반 시뮬레이터 내에서 make offer(제안), respond to offer(반응), send message(메시지), search price(가격 조회) 등의 구조화된 도구 호출을 통해 협상합니다.
게임 설정: 구매자와 판매자는 각각 비공개 예약 가격 (Reservation Price, b와 s) 을 가집니다. 상호 이익이 존재하는 경우 (GFT, b≥s) 거래가 성사되어야 하며, 그렇지 않은 경우 (NGFT, b<s) 거래를 포기해야 합니다.
평가 프레임워크 (3 차원):
개인적 합리성 (Individual Rationality, IR): 음의 효용을 초래하는 거래를 수락하지 않는지 (제약 조건 준수).
전략적 효과성 (Strategic Effectiveness): 거래가 성사되었을 때 얼마나 많은 잉여 (Surplus) 를 확보하는지.
배분 효율성 (Allocative Efficiency): 거래 이익이 존재할 때 거래를 성사시키고, 없을 때 포기하는지 (거래 체결률).
2.2 훈련 파이프라인 (Training Pipeline)
오픈 가중치 모델 (Qwen3-8B, 14B) 을 훈련하기 위해 2 단계 파이프라인을 사용합니다.
지도 미세 조정 (SFT): DeepSeek-R1 의 자기 플레이 (Self-play) 데이터를 기반으로 행동 모방 (Behavioral Cloning) 을 수행하여 기본 협상 능력을 학습시킵니다.
강화학습 (RL): 그룹 상대 정책 최적화 (GRPO, Group Relative Policy Optimization) 알고리즘을 사용하여 고정된 Frontier 모델 (GPT-4.1) 과 협상하며 잉여를 극대화하도록 훈련합니다.
3. 주요 기여 (Key Contributions)
구조화된 협상 환경 및 3 차원 평가 프레임워크: 구속력 있는 제안과 자연어 메시지를 분리하여 자동화된 정량적 평가가 가능한 환경을 구축했습니다.
Frontier LLM 에 대한 체계적 벤치마킹: 5 개의 최첨단 모델 (DeepSeek-V3, Gemini-2.5, GPT-4.1, o3 등) 을 라운드 로빈 토너먼트 (15,000 건의 협상) 로 평가하여 전략적 패턴을 규명했습니다.
SFT 와 RL 간의 긴장 관계 진단: 훈련 과정에서 행동 모방 (SFT) 이 부여하는 '선별적 태도'와 온라인 RL 이 유도하는 '거래 체결 편향' 사이의 상충 관계를 발견하고, 이를 해결할 수 있는 보상 설계 방향을 제시했습니다.
4. 주요 결과 (Key Results)
4.1 Frontier 모델 벤치마킹 결과
가장 효과적인 전략: "공격적인 앵커링 (Aggressive Anchoring) 과 교정된 양보 (Calibrated Concession)"입니다.
o3 모델이 가장 우수한 성과를 보였습니다. 판매자 역할에서는 비용을 훨씬 상회하는 높은 가격으로 시작하여 (3.04 배) 점진적으로 양보하며 거래를 성사시켰고, 구매자 역할에서는 상대방의 공격적 제안에 대해 가장 적게 양보했습니다.
이 전략은 잉여 점유율 (Surplus Share) 과 거래 체결률 (Deal Rate) 을 동시에 극대화했습니다.
부적절한 전략: "수용적 전략 (Accommodating Strategies)"은 구매자 역할에서 최악의 결과를 초래했습니다. 빠르게 양보하는 태도는 상대방에게 지불 의사를过早暴露하여 잉여를 모두 잃게 만들었습니다.
가격대 일관성: 강력한 모델 (o3, Gemini-2.5-Pro) 은 상품 가치 (가격대) 에 관계없이 일관된 전략적 성과를 보였습니다. 반면 약한 모델은 고가 상품에서 넓은 합의 가능 구간 (ZOPA) 에 의존하여만 성과를 냈습니다.
4.2 훈련 실험 결과 (Qwen3)
SFT 의 효과: 행동 모방을 통해 잉여 점유율을 약 2 배로 늘렸으나, 거래 체결률은 감소했습니다. 이는 모델이 "좋은 조건을 기다리는 (Hold out)" 법을 배웠기 때문입니다.
RL 의 효과: 거래 체결률은 회복시켰으나, SFT 로 얻었던 잉여 점유율의 이점을 상쇄하여 기저 모델 (Base) 수준으로 떨어뜨렸습니다.
SFT-RL 긴장 관계 (Tension):
원인: 보상 구조가 합리적인 거래 포기 (Walk-away) 와 비합리적인 거래 수락을 구분하지 못함 (둘 다 Rutility=0). RL 은 거래를 성사시키는 것만으로도 보상을 받도록 유도되어 비합리적인 거래를 수락하게 됩니다.
SFT 의 일반화: SFT 는 특정 가격점을 암기하는 것이 아니라, 상품 가치에 비례하여 앵커링하고 양보하는 비례 전략 (Proportional Strategies) 을 학습시켰습니다. 이는 훈련 중 보지 못한 상대 (o3-mini) 에게도 전이되었습니다.
5. 의의 및 결론 (Significance & Conclusion)
이 연구는 LLM 을 단순한 대화형 챗봇을 넘어 합리적 의사결정 에이전트로 훈련하기 위한 중요한 통찰을 제공합니다.
전략적 협상의 본질 규명: 협상에서 '공격적인 시작'과 '전략적 양보'가 상호 배타적이지 않으며, 오히려 높은 거래율과 높은 잉여 확보를 동시에 달성할 수 있음을 실증했습니다.
훈련 방법론의 한계와 방향: 현재 RL 기반 훈련은 '거래 성사'에 대한 보상이 '합리적 포기'에 대한 보상과 구별되지 않아, 모델의 전략적 선별성을 훼손합니다. 이를 해결하기 위해 명시적인 개인적 합리성 (IR) 페널티 도입, 다양한 상대 모델을 활용한 훈련, 단계적 보상 커리큘럼 (먼저 제약 준수, 그다음 잉여 최적화) 등의 개선이 필요함을 제시했습니다.
실용적 적용: 구조화된 도구 호출과 자동화된 평가 메트릭은 향후 복잡한 에이전트 시스템 (구매, 공급망, 분쟁 해결 등) 의 개발과 평가에 표준적인 프레임워크를 제공합니다.
결론적으로, 이 논문은 LLM 이 복잡한 전략적 환경에서 인간과 유사하거나 그 이상의 합리성을 발휘하기 위해서는 단순한 대화 능력 이상으로 구속력 있는 제약 조건 준수와 전략적 최적화를 동시에 학습할 수 있는 정교한 훈련 환경과 보상 설계가 필수적임을 강조합니다.