기술 요약: 감사 가능한 협상을 위한 언어 모델로의 베이지안 신념 상태 증류

문제 제기

협상 에이전트는 상대방의 숨겨진 가치를 추론하고, 대화 턴을 거치며 이러한 신념을 업데이트하며, 불확실성 하에서 행동을 선택할 수 있어야 합니다. 종단 간 대규모 언어 모델 (LLM) 은 유창한 협상 대화를 생성할 수 있지만, 상대방에 대한 신념의 내부 표현은 일반적으로 암묵적이고 불투명합니다. 이러한 투명성 부재는 에이전트의 행동이 상대방에 대한 안정적이고 업데이트된 모델에서 비롯된 것인지, 아니면 피상적인 대화 모방에서 비롯된 것인지 구분하기 어렵게 만듭니다. 반면, 전통적인 베이지안 인지 모델은 명시적인 사전 확률, 가능도, 그리고 사후 확률을 제공하지만, 종종 자유 형식의 전략적 협상 언어로 확장되지 않는 수동 설계된 가능도 함수에 의존합니다. 핵심 과제는 LLM 의 언어적 유연성과 베이지안 추론의 해석 가능성을 결합하여 효과적이면서도 감사 가능한 협상 에이전트를 만드는 것입니다.

방법론: BOND 프레임워크

저자들은 언어 해석, 신념 수정, 행동 선택을 분리하는 모듈식 프레임워크인 BOND(Bayesian Opponent-belief Negotiation Distillation, 베이지안 상대방 신념 협상 증류) 를 제안합니다. 이 시스템은 두 참가자가 음식, 물, 장작 세 가지 항목에 대해 사적인 우선순위 순서를 가지고 협상하는 CaSiNo 협상 도메인에서 작동합니다. 가설 공간은 여섯 가지 가능한 우선순위 순서 ($\Theta$, 여기서 $|\Theta|=6$) 로 구성됩니다.

1. 베이지안 교사 (Teacher)

교사 에이전트는 블랙박스 정책이 아닌 "가능도 추정기"로 기능합니다. 그 아키텍처는 네 단계로 구성됩니다:

• 언어 점수 매기기: LLM(Llama-3.1-8B-Instruct with LoRA) 이 관찰된 대화 맥락과 여섯 가지 후보 상대방 우선순위 순서 각각의 호환성을 점수화합니다. 이러한 점수들은 가능도 유사 신호로 작용합니다.
• 베이지안 업데이트: 베이지안 모듈은 다음 공식을 사용하여 이러한 점수를 여섯 가지 순서에 대한 사후 분포로 변환합니다:
  $$p_t(\theta) = \frac{\tilde{L}_t(\theta)p_{t-1}(\theta)}{\sum_{\theta' \in \Theta} \tilde{L}_t(\theta')p_{t-1}(\theta')}$$
  여기서 $\tilde{L}_t$는 온도 스케일링되고 잘린 가능도 점수를 나타냅니다. 사전 확률은 초기에 균일합니다.
• 메뉴 점수 매기기: 에이전트는 실현 가능한 할당 목록을 열거하고, 자신의 효용과 사후 분포에 대해 주변화된 상대방의 기대 효용을 기반으로 이를 점수화합니다.
• 결정: 에이전트는 메뉴 점수에 기반하여 행동 (수락, 거절, 반제안 등) 을 선택합니다.

2. 학생 모델로의 증류

저자들은 베이지안 교사를 더 작은 8B 학생 모델로 증류합니다. 표준 종단 간 에이전트와 달리, 학생은 다음을 포함하는 구조화된 태그가 있는 출력을 생성하도록 훈련됩니다:

• <posterior>: 여섯 가지 상대방 우선순위 순서에 대한 정규화된 확률 분포.
• <selected_intent>: 선택된 행동 (예: 제출, 수락, 거절).
• <selected_content>: 적용 가능한 경우 특정 할당.
• <utterance>: 자연어 응답.

이 설계는 신념 상태를 외부화하여 모든 턴에서 점수화하고 검사할 수 있게 합니다.

3. 평가 프로토콜

시스템은 150 개의 CaSiNo 대화 (1,054 개의 턴 수준 예측) 로 구성된 홀드아웃 세트에서 평가됩니다. 주요 지표는 다음과 같습니다:

• 사후 확률 브라이어 점수 (Posterior Brier Score): 예측된 확률 분포가 실제 상대방 순서에 대해 얼마나 잘 보정되었는지를 측정합니다.
• 수락 예측 (F1): 수락/거절 결정의 정확도.
• 입찰 유사도: 예측된 할당과 인간의 할당 간의 코사인 유사도.
• 감사 가능성 진단: 오류를 "신념 오류"(잘못된 사후 확률) 대 "정책 오류"(사후 확률이 주어졌을 때 잘못된 행동) 로 분해하고, 사후 확률 태그를 강제로 교체하는 개입을 분석합니다.

주요 결과

사후 확률 보정 및 증류

• 교사 성능: 베이지안 교사는 여섯 가지 상대방 우선순위 가설에 대해 평균 브라이어 점수 0.085를 달성하여, $5/36 \approx 0.139$인 균일 참조치를 크게 상회합니다.
• 학생 성능: 증류된 8B 학생은 이러한 신호의 상당 부분을 유지하여 브라이어 점수 0.114를 달성합니다. 이 또한 균일 참조치보다 훨씬 낮아, 학생이 보정된 신념 상태를 생성하는 방법을 성공적으로 학습했음을 나타냅니다.
• 70B 베이스라인과의 비교: 70B 구조화된 체인 오브 생각 (CoT) 베이스라인은 더 높은 수락-F1(0.947 대 0.908) 을 달성하지만 보정된 사후 확률을 제공하지는 못합니다. 자기 일관성을 통해 사후 확률을 생성하도록 강제할 때, 70B 베이스라인은 브라이어 점수 0.194를 달성하는데, 이는 균일 참조치보다 나쁘고 8B 학생보다 현저히 나쁩니다.

감사 가능성 및 오류 분해

• 오류 분리: 181 개의 결정 턴에 대한 분석은 신념 오류와 행동 오류가 분리 가능함을 보여줍니다. 예를 들어, 67 개의 턴은 올바른 MAP(최대 사후 확률) 신념을 가졌지만 일관되지 않은 행동을 보였고, 27 개의 턴은 잘못된 신념을 가졌지만 그 잘못된 신념과 일관된 행동을 보였습니다.
• 개입 한계: 사후 확률 태그가 정답 (correct-prefix 개입) 이나 잘못된 값 (adversarial-prefix 개입) 으로 강제로 교체되었을 때, 학생의 행동은 **1.5% 에서 1.8%**의 경우에만 변경되었습니다. 이는 학생이 신념을 정확하게 보고하는 방법을 학습하지만, 보고된 사후 확률과 행동 선택 간의 인과적 결합 (사후 확률 $\to$ 플래너 의존성) 은 교사보다 증류된 학생에서 더 약함을 시사합니다.

제거 실험 결과

• 전체 맥락 대 점진적: 교사는 전체 대화 맥락을 점수화하는 데 의존합니다. 점진적 접근 (최신 발화만 점수화) 은 실패하여 균일보다 나쁜 사후 확률을 생성했는데, 이는 LLM 의 주의 메커니즘이 시간적 증거 통합에 중요함을 나타냅니다.
• 태그의 역할: 훈련 중 사후 확률 태그를 제거 (행동 전용 학생) 한 결과 결정 지표 (수락-F1 0.921) 가 약간 개선되어, 사후 확률 태그의 주요 가치가 결정 성능이 아닌 검열 가능성임을 확인시켰습니다.

중요성과 주장

이 논문은 증류된 학생이 승리 결과 측면에서 우월한 협상 정책이라고 주장하지 않습니다. 실제로 70B 베이스라인은 결정 지표에서 이를 능가합니다. 대신 BOND 의 중요성은 감사 가능성에 있습니다:

1. 외부화된 신념 상태: 이 프레임워크는 유효하고 점수화 가능한 신념 인터페이스를 더 작은 모델로 성공적으로 증류합니다. 학생은 모든 턴에서 보정된 사후 확률 분포를 노출하여 연구자들이 "잘못된 신념" 실패와 "올바른 신념/잘못된 행동" 실패를 구분할 수 있게 합니다.
2. 블랙박스 성능보다 투명성: 이 연구는 구조화된 프롬프팅을 사용하는 훨씬 큰 모델 (70B) 보다 보정된 유효한 신념 상태를 노출할 수 있는 더 작은 모델 (8B) 이 가능함을 보여줍니다.
3. 현재 증류의 한계: 저자들은 겸손하게 표준 지도 미세 조정 (SFT) 증류가 의사결정을 위한 신념의 사용보다 신념의 보고를 더 효과적으로 전달한다고 지적합니다. 학생에서의 약한 신념 - 행동 결합은 향후 감사 가능한 에이전트가 보고된 신념에 엄격하게 조건부인 행동을 보장하기 위해 제약된 디코딩 또는 보조 계획 손실이 필요함을 시사합니다.

요약하자면, BOND 는 협상 에이전트의 숨겨진 상대방 모델을 명시적이고, 증류 가능하며, 점수화 가능하게 만드는 방법을 제공하여 협상 에이전트가 어디서 그리고 왜 실패하는지 이해하기 위한 새로운 진단 렌즈를 제시합니다.