💬 NLP

Preference Estimation via Opponent Modeling in Multi-Agent Negotiation

이 논문은 대규모 언어 모델 (LLM) 을 활용하여 대화의 질적 정보를 확률적 형식으로 변환하고 이를 구조화된 베이지안 프레임워크에 통합함으로써, 복잡한 다자간 협상 환경에서 상대방의 선호도를 더 정확하게 추정하고 합의 성공률을 높이는 새로운 방법을 제안합니다.

원저자: Yuta Konishi, Kento Yamamoto, Eisuke Sonomoto, Rikuho Takeda, Ryo Furukawa, Yusuke Muraki, Takafumi Shimizu, Kazuma Fukumura, Yuya Kanemoto, Takayuki Ito, Shiyao Ding

게시일 2026-04-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuta Konishi, Kento Yamamoto, Eisuke Sonomoto, Rikuho Takeda, Ryo Furukawa, Yusuke Muraki, Takafumi Shimizu, Kazuma Fukumura, Yuya Kanemoto, Takayuki Ito, Shiyao Ding

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"복잡한 협상 상황에서 상대방이 진짜 무엇을 원하는지, 말과 숫자를 모두 활용해 더 정확하게 알아내는 방법"**을 소개합니다.

기존의 협상 AI 는 상대방이 보낸 '숫자 제안'만 보고 성향을 추측했는데, 이는 마치 사람의 표정이나 말투를 무시하고 오직 '숫자 점수'만 보고 그 사람의 성격을 판단하는 것과 같아 정확도가 떨어졌습니다. 이 연구는 거대 언어 모델 (LLM) 의 뛰어난 언어 이해 능력과 수학적인 확률 이론을 결합하여, "상대방이 어떤 말을 했는지"를 숫자 데이터로 변환해 더 똑똑한 협상 전략을 세우는 방법을 제안합니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

🍕 1. 상황: 6 명이서 피자 한 판 나누기 (협상)

상상해 보세요. 6 명의 친구가 모여서 피자 한 판을 어떻게 나눌지 협상 중입니다.

주제 (Issue): 토핑 5 가지 (페퍼로니, 버섯, 올리브, 파인애플, 치즈).
문제: 각자 취향이 다르고, 특히 2 명은 "이거 없으면 절대 먹지 않겠다"는 **거부권 (Veto)**을 가지고 있습니다.
목표: 6 명 모두 만족하는 조합을 찾아야 합니다.

🕵️‍♂️ 2. 기존 방식의 한계: "숫자만 보는 눈먼 추리"

기존의 협상 AI 들은 상대방이 보낸 "페퍼로니 3 조각, 버섯 2 조각" 같은 숫자 제안만 보고 상대방의 성향을 유추했습니다.

비유: 상대방이 "페퍼로니 정말 싫어!"라고 말하고 있는데, AI 는 그 말을 무시하고 오직 "페퍼로니를 3 조각 줬네? 아마 좋아하는가?"라고 숫자만 보고 판단합니다.
결과: 상대방의 진짜 의도 (말) 와 행동 (숫자) 이 다를 때 AI 는 혼란에 빠지고, 결국 합의에 실패하거나 엉뚱한 결론을 내립니다.

🧠 3. 이 연구의 혁신: "말을 숫자로 번역하는 통역사"

이 논문이 제안한 방법은 **LLM(거대 언어 모델)**을 '통역사'로 활용하는 것입니다.

말을 듣기 (Qualitative Cues): 상대방이 "페퍼로니는 정말 싫어요, 대신 버섯을 더 주세요!"라고 말합니다.
통역하기 (LLM Extraction): LLM 이 이 말을 분석해 "페퍼로니 = 싫음 (부정적), 버섯 = 좋음 (긍정적)"이라는 신호를 추출합니다.
숫자로 변환하기 (Probabilistic Format): 이 신호를 수학적으로 변환합니다. 예를 들어, "페퍼로니를 싫어한다는 말은 페퍼로니 점수가 0 에 가깝다는 확률이 90% 있다"고 계산합니다.
수학적으로 업데이트하기 (Bayesian Fusion): 기존의 '숫자 제안' 데이터와 이 '말에서 나온 신호'를 섞어서 상대방의 성향을 확률적으로 업데이트합니다.

비유: 이제 AI 는 상대방이 "페퍼로니 싫어요"라고 말했을 때, 그 말을 무시하지 않고 **"아, 이 사람은 페퍼로니를 싫어할 확률이 높구나"**라고 바로 반영합니다. 마치 친구와 대화하면서 그 사람의 성격을 빠르게 파악하는 사람처럼 됩니다.

📊 4. 실험 결과: "모두가 만족하는 피자"

연구진은 6 명이서 피자를 나누는 복잡한 시나리오로 실험을 했습니다.

기존 방식 (숫자만 보는 AI): 6 명 모두 만족하는 합의에 도달하는 비율이 낮았습니다. (약 37~56%)
이 연구의 방식 (말 + 숫자 AI): 6 명 모두 만족하는 합의 비율이 62% 로 크게 향상되었습니다.
추천 정확도: 상대방이 진짜 원하는 것을 맞추는 정확도도 기존 방식보다 훨씬 높았습니다.

💡 5. 핵심 요약: 왜 이 방법이 좋은가?

이 방법은 LLM 의 '언어 이해 능력'과 수학의 '엄밀한 논리'를 결혼시킨 것과 같습니다.

기존: "상대방이 A 를 선택했으니 A 를 좋아할 거야." (너무 단순함)
이 연구: "상대방이 A 를 선택했는데, 'B 가 더 좋아'라고 말했어. 그럼 A 는 억지로 선택한 거고, B 를 진짜 좋아하는 확률이 높아. 내 전략을 바꿔야지!" (정교함)

🚀 결론

이 기술은 단순한 협상뿐만 아니라, **여러 이해관계자가 얽힌 복잡한 문제 (예: 기후 변화 협약, 기업 인수합병, 국제 분쟁 해결)**에서 서로의 숨은 의도를 파악하고 모두가 만족하는 해결책을 찾는 데 큰 도움을 줄 것입니다.

즉, **"상대방의 말 한마디 한마디를 놓치지 않고, 그 안에 숨겨진 진심을 수학적으로 계산해 내는 똑똑한 협상 비서"**가 탄생한 것입니다.

1. 연구 배경 및 문제 정의 (Problem)

배경: 복잡한 다자간, 다의제 (Multi-issue) 협상 환경에서 자동화된 협상은 성공적인 합의 달성을 위해 상대방의 선호도를 정확하게 추정하는 '상대방 모델링 (Opponent Modeling)'에 크게 의존합니다.
기존 방법의 한계:
- 전통적인 수치 기반 접근법 (베이즈 학습, 강화 학습 등) 은 제안된 제안서 (numerical proposals) 의 히스토리만을 분석하여 선호도를 추정합니다.
- 이러한 방법은 대화에 내재된 정성적 정보 (Qualitative information) 를 포착하지 못하여, 정보 불확실성이 높은 상황에서 선호도 추정이 불안정하고 불완전해지는 문제가 있습니다.
LLM 의 도입과 새로운 과제:
- 대규모 언어 모델 (LLM) 은 자연어 이해와 심리 이론 (Theory of Mind) 능력을 통해 정성적 선호 신호를 추출할 수 있습니다.
- 그러나 LLM 을 직접 적용할 경우, 장기 협상 중 전략적 일관성 부족, 다양한 문제 설정에 대한 일반화 실패, 정보량 증가에 따른 추론 복잡도 급증 등의 문제가 발생합니다.
- 기존 LLM 기반 협상 연구는 주로 정적 환경이나 짧은 시간의 의도 추론에 집중하여, 동적인 협상 시나리오에서 시간에 따른 신념 (Belief) 업데이트 메커니즘이 부재했습니다.

2. 제안 방법론 (Methodology)

저자들은 자연어 정보를 구조화된 베이지안 (Bayesian) 프레임워크에 통합하여 상대방 선호도를 추정하는 새로운 방법을 제안합니다.

2.1. 핵심 아키텍처

하이퍼파라미터 및 가설 공간 (Hypothesis Space):
- 상대방의 선호도를 나타내는 가설 $h_k$ 를 유지합니다. 각 가설은 '의제별 가중치 벡터 ( $w$ )'와 '옵션 평가 함수 ( $v$ )'의 조합으로 정의됩니다.
- 에이전트는 유한한 가설 공간 $H$ 내에서 상대방의 실제 선호도를 추정합니다.
다중 모달 (Multimodal) 관측 기반 업데이트:
- 수치적 제안 (Numerical Offers): 상대방이 제시한 제안서 $d_t$ 가 특정 가설 $h_k$ 하에 발생할 확률 (Likelihood) 을 계산합니다. (기존의 베이즈 접근법 활용, 제안서의 효용과 목표 효용 간의 거리를 기반으로 정규 분포 근사 사용).
- 언어적 신호 (Linguistic Signals): LLM 을 활용하여 상대방의 발화 $u_t$ $u_{t}$ 를 구조화된 신호 $z_t$ $z_{t}$ 로 변환합니다.
  - 신호 추출: LLM 이 발화에서 '목표 (Target: 특정 의제나 옵션)'와 '입장 (Stance: 선호 또는 반대)'을 추출합니다.
  - 확률화: 추출된 신호를 루체 선택 공리 (Luce's Choice Axiom) 를 적용하여 확률로 변환합니다. 예를 들어, "의제 A 가 중요하다"는 발화는 해당 의제의 가중치가 높을 확률을 높이는 신호로 작용합니다.
베이지안 퓨전 (Bayesian Fusion):
- 수치적 제안과 언어적 신호가 조건부 독립이라는 나이스 베이즈 (Naive Bayes) 가정 하에 두 확률을 결합합니다.
- 사후 확률 $P(h_k | d_t, z_t)$ 를 업데이트하여 상대방에 대한 신념을 동적으로 갱신합니다.

3. 주요 기여 (Key Contributions)

통합 프레임워크 제안: LLM 을 통한 정성적 의도 추출과 베이지안 추론을 통한 정량적 선호도 추정을 결합한 새로운 프레임워크를 제시했습니다.
성능 입증: 수치 데이터만 사용하는 기존 방법이나, 구조화된 프레임워크 없이 LLM 을 직접 추론에 사용하는 방법보다 복잡한 다자간 시나리오에서 우월한 선호도 추정 성능을 보였습니다.
불확실성 하의 합의율 향상: 높은 정보 불확실성 환경에서도 제안된 프레임워크가 합의율 (Agreement Rate) 을 크게 향상시켜, 더 효과적인 자율 협상을 가능하게 함을 입증했습니다.

4. 실험 결과 (Results)

실험 환경: 6 명의 이해관계자 (2 명의 거부권 보유자 포함), 5 개의 의제로 구성된 스포츠 시설 건설 시나리오 (Abdelnabi et al., 2024 의 벤치마크 사용). 총 720 가지 가능한 제안 중 5 명 이상의 합의가 가능한 경우는 2.9% 에 불과한 매우 어려운 환경입니다.
비교 대상:
- Proposed (제안 방법): 베이지안 프레임워크 + LLM 신호 통합 (단일 추정자 vs 상호 추정).
- Base-LLM: 명시적 선호 추정 없이 프롬프트만으로 협상.
- Base-OM: 제안서 히스토리만 사용하는 전통적 베이지안 방법.
- LLM-PE: LLM 이 직접 수치적 점수를 추론 (구조화 없음).
주요 성과:
- 전체 합의율 (FAR): 제안 방법 (상호 추정, 'Proposed (all)') 이 0.62로 가장 높은 성과를 보였습니다. (Base-OM: 0.56, Base-LLM: 0.37).
- 선호도 추정 정확도 (MSE): 제안 방법은 평균 제곱 오차 (MSE) 가 159로, Base-OM(189) 보다 정확도가 높았으며, LLM-PE(163) 보다도 약간 더 낮았습니다. 특히 모든 에이전트에 대해 편향되지 않고 균일한 정확도를 보였습니다.
- 의미: 언어적 신호를 확률적 추론에 통합함으로써, 복잡한 다자간 제약 조건을 만족하는 합의를 더 효과적으로 찾아낼 수 있음을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 **LLM 의 언어적 지능 (Linguistic Intelligence)**과 **수학적으로 엄밀한 베이지안 추론 (Mathematically Rigorous Bayesian Inference)**을 결합하여 자동 협상 시스템의 한계를 극복한 사례입니다.

이론적 의의: 자연어 대화에서 추출된 정성적 정보를 확률적 모델에 체계적으로 통합하는 방법을 제시하여, 기존 수치 기반 모델의 불안정성을 해결했습니다.
실용적 의의: 복잡한 다자간 협상 (예: 정책 결정, 기업 간 계약) 에서 더 높은 합의율을 달성할 수 있는 자율 에이전트 개발의 새로운 방향성을 제시합니다.
한계 및 향후 과제: 현재는 성실한 대화 (sincere dialogue) 를 가정하고 있으나, 실제 협상에서의 기만 (deception) 행동에 대한 강건성 향상, 더 다양한 효용 구조에 대한 일반화 검증, 그리고 계산 복잡도 최적화 등이 향후 연구 과제로 남아있습니다.

요약하자면, 이 연구는 자연어 처리 기술과 전통적인 협상 이론을 융합하여, 에이전트가 상대방의 숨겨진 선호도를 더 정확하게 파악하고 복잡한 상황에서 성공적인 합의를 이끌어내는 새로운 패러다임을 제시했습니다.