기술 요약: LLM은 효과적인 협상가인가?

문제 정의

성공적인 협상은 대화 이해, 파트너의 의도를 추론하는 마음 이론(Theory-of-Mind, ToM) 능력, 전략적 추론, 그리고 효과적인 의사소통의 종합을 필요로 하는 복잡한 인지 과정이다. 거대 언어 모델(LLM)은 다양한 자연어 처리(NLP) 작업에서 놀라운 성능을 보여주었으나, 자동 협상 영역에서의 구체적인 능력은 아직 탐구되지 않았다. LLM을 협상 에이전트로 활용한 기존 연구들은 효과적인 협상에 필요한 다양한 능력들에 대한 체계적인 평가가 부족하다. 이러한 격차는 고급 AI 협상가 개발을 저해하며, 대화 시스템 설계, 교육적 피드백 제공, 데이터 수집 관행의 규모 확장 등에서의 LLM 활용을 제한한다.

방법론

저자들은 네 가지 인간 대 인간 협상 데이터셋(CRA, DND, CA, JI)에서 도출된 35개의 별도 작업들을 통해 LLM의 다면적 능력을 체계적으로 분석하는 포괄적인 프레임워크를 제안한다. 이 데이터셋들은 에이전트가 사전 정의된 선호도에 따라 총 가치를 극대화하기 위해 고정된 수량의 항목을 나누는 데 협상하는 다중 이슈 바게닝 태스크(Multi-Issue Bargaining Task, MIBT) 프레임워크를 기반으로 한다.

평가 프레임워크는 다음 세 가지 축을 따라 작업을 분류한다:

1. 객관성: 객관적 작업(항목 수, 거래 세부 사항 등 사실 기반)과 주관적 작업(만족도, 호감도 등 인간의 지각과 관련된 것)을 구분한다.
2. 시간 단계: 협상의 시작(컨텍스트만 존재), 진행 중(부분적 대화), 종료(전체 대화) 단계에서의 능력을 평가한다.
3. 작업 유형:
   • 이해(Comprehension): 컨텍스트, 결과, 우선순위 이해.
   • 주석 달기(Annotation): 대화 행위(dialogue acts) 및 언어적 전략 식별.
   • 파트너 모델링(Partner Modeling): 파트너의 우선순위 및 주관적 상태 추론 (ToM).
   • 생성(Generation): 맥락에 적절하고 전략적으로 유리한 응답 생성.

본 연구는 제로샷 프롬프팅을 사용하여 다양한 독점 모델(GPT-3.5, GPT-4)과 오픈 소스 모델(Mistral-7B, Wizard-13B, Vicuna-13B/33B)을 평가한다. 베이스라인으로는 다수결 투표 모델(Majority-label voting model)과 특정 작업에 맞춰 미세 조정된 Flan-T5(base)를 포함한다. 평가 지표로는 정확도(Accuracy), 매크로 F1(Macro-F1), 주관적 작업에 대한 피어슨 상관 계수(PCC), 그리고 생성 작업에 대한 BLEU/ROUGE/BERTScore와 함께 일관성(Coherence) 및 전략(Strategy)에 대한 인간 전문가 평점을 사용한다.

주요 기여

1. 새로운 평가 방법론: 협상을 35개의 구체적인 작업으로 분해하여, 엔드 투 엔드(end-to-end) 성능을 넘어 LLM의 능력을 세밀하게 분석할 수 있는 구조화된 방법론을 도입한다.
2. 체계적인 제로샷 평가: 다양한 시나리오에서 즉시 사용 가능한 LLM의 능력을 평가함으로써, GPT-4가 제로샷 설정에서 미세 조정된 베이스라인(Flan-T5)보다 더 뛰어난 성능을 보이는 경우가 많음을 밝혀낸다.
3. 인간-LLM 비교: 전문가의 인간 주석을 통해 모델의 생성물을 인간의 참조 모델과 비교하여, 일치하는 부분과 실패하는 부분을 식별한다.
4. 프롬프팅 전략 분석: 사고 사슬(Chain-of-Thought, CoT) 및 퓨샷(few-shot) 프롬프팅의 효능, 그리고 모델이 본 장면(seen utterances)의 수가 성능에 미치는 영향을 조사한다.

결과

이해 및 파트너 모델링

• 객관적 작업: GPT-4는 이해 작업, 특히 시작 단계(정확도 81.7%)와 종료 단계(정확도 65.3%)에서 탁월한 성능을 보이며, 오픈 소스 모델과 미세 조정된 Flan-T5 베이스라인을 모두 능가한다.
• 주관적 작업: 만족도 및 호감도와 같은 주관적 평가에 있어 모든 모델(GPT-4 포함)은 인간의 판단과 낮은 상관관계를 보인다. 만족도 평가에 대한 GPT-4의 PCC는 0.3에 불과하며, 거래 결과를 인간의 지각과 반대 방향으로 잘못 분류하는 경우가 빈번하다.
• 파트너 모델링: GPT-4는 파트너의 우선순위(객관적)를 추론하는 데 강한 ToM 능력을 보이지만, 파트너의 주관적 상태에 담긴 긍정적 또는 부정적 정도를 포착하는 데는 어려움을 겪는다.

주석 달기 및 생성

• 주석 달기: GPT-3.5와 GPT-4는 미세 조정된 Flan-T5보다 대화 행위 주석에서 더 높은 성능(매크로 F1 각각 62.4%, 52.5%)을 보이지만, 언어적 전략의 미묘함으로 인해 전략 탐지 성능은 떨어진다.
• 생성:
  • 자동 지표: 미세 조정된 Flan-T5는 데이터셋 특화 학습 덕분에 더 높은 BLEU 및 ROUGE 점수를 기록하지만, GPT 모델들은 다양한 데이터셋에서 더 나은 의미적 유사성(BERTScore)을 보여준다.
  • 인간 평가: GPT-4는 인간의 참조 모델과 대등한 수준의 일관성(Coherence) 점수를 달성한다. 그러나 전략(Strategy) 측면에서는 모든 모델이 인간에 비해 현저히 낮은 성능을 보인다. 모델들은 전략적으로 유리한 응답을 생성하는 데 어려움을 겪으며, 공유된 정보를 통합하거나 자신의 우선순위를 준수하는 데 자주 실패한다.

프로프팅 및 강건성

• CoT 프롬프팅: GPT-4에 사고 사슬(CoT) 프롬프팅을 적용하면 다단계 산술 추론 작업(예: 총 거래 포인트 계산)의 성능이 크게 향되어 거의 100%의 정확도에 도달한다.
• 예측 균형: GPT-4는 다른 모델들에 비해 특히 불균형한 작업 시나리오에서 우수한 강건성과 예측 균형(낮은 KL-Divergence)을 보여준다.
• 컨텍스트 민감도: 모델이 보는 발화(utterance)의 수가 증가하면 파트너 모델링(타인 추론) 능력은 향상되지만, 자신의 컨텍스트에 대한 이해도는 저하된다. 이는 최신성 편향(recency bias)을 시사한다.

의의 및 주장

본 논문은 LLM, 특히 GPT-4가 대화 시스템 설계, 교육적 피드백 제공, 데이터 주석 자동화와 같은 협상 연구를 지원할 기초적인 능력을 갖추고 있지만, 아직 완전한 자율적 전략 에이전스로서 효과적이지는 않다고 결론짓는다.

• 현재의 유용성: LLM은 컨텍스트 이해나 객관적 사실을 요구하는 작업에 효과적이다. 이들은 대화 행위 및 전략을 주석 달기 위한 효율적인 도구가 될 수 있으며, 잠재적으로 데이터 수집 관행을 확장할 수 있다.
• 한계점: 전략적 추론과 주관적 인간 상태를 포착하는 능력에는 여전히 상당한 격차가 존재한다. 모델들은 지나치게 동조하는 경합(overly agreeable)하는 경향이 있고, 공유된 정보를 전략적으로 활용하지 못하며, 복잡한 다회차 상호작용에서 일관성을 유지하는 데 어려움을 겪는다.
• 향ated 방향: 저자들은 향후 연구가 전략적 행동과 성격을 제어하기 위해 LLM을 강화 학습(RL) 정책과 결합하는 것에 집중해야 한다고 제안한다. 또한, 긴 컨텍스트 처리를 개선하고 생성을 하위 목표(subgoals)로 나누는 구조적 추론 접근법을 개발하는 것이 AI 협상 에이전트를 발전시키는 데 필요하다.

본 연구는 GPT-4와 같은 독점 모델이 유망함을 보여주지만, 작은 규모의 오픈 소스 모델들은 핵심 협상 작업에서 사소한 베이스라인과 유사한 성능을 보인다는 점을 강조하며, 이 분야에서 오픈 소스 아키텍처의 추가적인 발전이 필요함을 시사한다.