기술 요약: EmoDistill

문제 정의

사전 훈련된 대규모 언어 모델 (LLM) 은 일반적으로 인간 피드백을 통한 강화 학습 (RLHF) 과 직접 선호도 최적화 (DPO) 를 통해 안전하고, 정중하며, 수용적이도록 최적화됩니다. 일반적인 지원에는 효과적이지만, 이러한 정렬은 적대적 협상에서 전략적 취약점을 만듭니다. 이러한 환경에서 감정적으로 구성된 언어는 부주의하게 에이전트를 상대방의 이익에 양보하도록 유도할 수 있습니다.

감정 인식 협상에 대한 기존 접근법은 두 가지 주요 한계에 직면해 있습니다:

1. 온라인 학습 비용: 온라인 강화 학습 (예: PPO) 에 의존하는 방법은 다중 턴 에이전트 간 상호작용에 대해 계산 비용이 많이 들고 불안정합니다. 이는 비용이 많이 드는 API 롤아웃을 필요로 하며, 희소한 궤적 수준의 피드백 처리에 어려움을 겪기 때문입니다.
2. 전략과 표현의 분리: 기존 방법들은 종종 감정 선택을 결정 변수로 취급하지만 발화 생성기는 고정된 상태로 둡니다. 결과적으로 선택된 감정 (예: "분노") 이 협상 맥락 내에서 그 감정을 전략적으로 표현하는 구체적인 기술을 모델이 갖추지 못했기 때문에, 모호한 정중함이나 조기 양보를 통해 실현될 수 있습니다.

핵심 과제는 온라인 학습의 비용을 치르지 않으면서 대화 상태, 감정적 입장, 구체적인 발화, 그리고 심사자 피드백을 재사용 가능한 협상 수순으로 결합하는 감정적 협상 기술을 학습하는 것입니다.

방법론: EmoDistill

저자들은 사전 계산된 LLM 대 LLM 궤적에서 감정적 협상 기술을 더 작은 언어 모델 (SLM) 로 증류하는 오프라인 프레임워크인 EmoDistill을 제안합니다. 이 프레임워크는 문제를 감정 선택과 감정 표현이라는 두 가지 명확한 구성 요소로 분해합니다.

1. 오프라인 궤적 데이터셋 및 신호 설계

시스템은 도메인당 $N=80$개의 시나리오 $\times$ $M=100$개의 무작위 감정 시퀀스 롤아웃으로 구성된 데이터셋을 구축합니다 (총 8,000 개의 궤적). 각 궤적은 두 가지 보완적인 신호로 주석 처리됩니다:

• 객관적 신호 ($R(\tau)$): 협상 역학 (예: 상대방의 앵커와 중점 에이전트의 목표 간의 격차 축소) 및 최종 합의에 기반한 궤적 수준의 반환값입니다.
• 주관적 신호 ($r_t$): 앵커링, 레버리지, 그리고 감정적 입장과의 일관성을 기반으로 중점 발화의 품질을 평가하는 LLM 심사자 (Qwen3.5-Plus) 가 할당하는 턴별 밀집 점수입니다.

2. 3 단계 훈련 파이프라인

EmoDistill 은 이러한 신호를 활용하여 LoRA 어댑터를 갖춘 7B 파라미터 SLM(Qwen2.5-7B-Instruct) 을 3 단계를 거쳐 훈련합니다:

• 1 단계: 감정 선택 (암시적 Q-학습 - IQL)

  • 목표: 대화 상태가 주어졌을 때 어떤 감정을 표현할지 학습합니다.
  • 메커니즘: IQL 선택기는 오프라인 데이터셋을 사용하여 객관적 궤적 반환값 $R(\tau)$을 보상으로 활용하여 훈련됩니다. 이는 28 개 라벨의 GoEmotions 어휘에서 최적의 감정 행동 $e$를 선택하는 정책 $\pi_\phi(e|s)$을 학습합니다.
  • 출력: 발화 생성기를 업데이트하지 않고도 (예: 두려움에서 분노로 전환하는) 고가치 감정 시퀀스를 식별하는 선택기입니다.

• 2 단계: 표현 초기화 (LoRA-SFT)

  • 목표: 선택된 감정을 어떻게 표현할지 학습합니다.
  • 메커니즘: SLM 은 하이브리드 필터를 사용하여 지도 미세 조정 (SFT) 을 통해 미세 조정됩니다. 데모는 $q_t^{hyb} = r_t + \frac{1}{2}R(\tau)$ 점수에 따라 선택되어, 모델이 국소적으로 잘 형성된 (높은 심사자 점수) 동시에 전역적으로 생산적인 (높은 궤적 반환값) 턴을 모방하도록 보장합니다.
  • 출력: 상태와 선택된 감정에 조건부인 구체적이고 전략적인 발화를 생성하도록 초기화된 LoRA 어댑터입니다.

• 3 단계: 표현 정제 (심사자 정책 최적화 - JPO)

  • 목표: 밀집 피드백을 사용하여 표현 정책을 정제합니다.
  • 메커니즘: JPO 는 오프라인 PPO-클립된 대리 목적 함수를 적용합니다. 이는 정책 업데이트에 턴별 심사자 어드밴티지($A_t$) 를 사용합니다. 중요하게도, JPO 는 음수 어드밴티지 샘플을 $\kappa$ 인자로 하위 가중치 처리하는 비대칭 어드밴티지 메커니즘을 사용합니다. 이를 통해 모델은 협상 궤적을 개선하는 특정 감정 표현을 학습하면서도 SFT 동안 확립된 "거래 성사" 사전 지식을 유지할 수 있습니다.
  • 출력: 효용을 극대화하기 위해 감정 표현의 구체적인 어휘를 최적화하는 정제된 정책입니다.

주요 기여

1. EmoDistill 프레임워크: LLM 수준의 감정 전환 및 표현 전략을 더 작은 7B SLM 으로 증류하는 오프라인 파이프라인을 도입하여, 라이브 API 롤아웃 없이 고성능 협상을 가능하게 합니다.
2. 선택과 표현의 분리: (IQL 을 통한) 감정 선택과 (LoRA-SFT 및 JPO 를 통한) 선택된 감정의 표현 방식 최적화가 서로 구별되며 상호 보완적임을 보여주는 실증적 증거입니다. 전체 파이프라인은 감정만 선택하거나 고정된 생성기만 사용하는 베이스라인보다 우수한 성과를 거둡니다.
3. 심사자 정책 최적화 (JPO): 밀집된 턴별 LLM 심사자 어드밴티지를 활용하여 감정 표현을 개선하는 새로운 정제 방법입니다. 시퀀스 수준 방법과 달리 JPO 는 동일한 협상 궤적 내의 고품질과 저품질 표현을 구분하는 세분화된 신용 할당을 가능하게 합니다.

실험 결과

이 프레임워크는 신용 회수 (CRAD), 재난 구조, 병원 수술 일정 조정, 학생 수면 일정 조정이라는 네 가지 고위험 협상 도메인에서 평가되었습니다.

• 성능: 전체 EmoDistill 정책 (IQL+SFT+JPO) 은 네 개 도메인 중 세 개에서 가장 높은 효용(거래 품질로 가중된 성공률) 을 달성하여, 일반 LLM/SLM 베이스라인, 무작위 감정 프롬프팅, 그리고 IQL-only 베이스라인을 능가했습니다.
• 결손 연구:
  • 구성 요소 분석: 감정 선택기 (IQL) 나 표현 정제 (JPO) 중 하나를 제거하면 성능이 크게 저하되어 두 구성 요소의 필요성이 확인되었습니다.
  • 신호 분석: SFT 는 좋은 데모를 선택하는 하이브리드 품질 필터로부터 가장 큰 혜택을 받았으며, JPO 는 밀집된 턴별 심사자 어드밴티지로부터 가장 큰 혜택을 받았습니다.
  • 감정 제거 결손: 명시적인 감정 조건부 채널을 제거하면 신뢰성과 효용이 낮아져, 감정적 전략이 명시적 제어 인터페이스 없이는 완전히 내재화되지 않음을 시사합니다.
• 전이: 증류된 기술은 도메인 간 및 보이지 않는 상대방 (예: DeepSeek-V3, GPT-4o-mini) 에 대해 부분적으로 전이되었습니다. 성공률은 잘 전이되었으나, 가치 추출 (효용) 은 도메인별 협상 기하학에 민감하게 남아 있었습니다.
• 위험 통제: JPO 의 매개변수 $\kappa$는 합의 성공과 거래당 가치 간의 균형을 조정할 수 있게 했으며, $\kappa=0.5$는 CRAD 도메인에서 최적의 균형을 제공했습니다.

중요성 및 주장

이 논문은 협상에서의 감정은 단순한 생성 스타일이 아니라 통제 가능한 협상 인터페이스로 취급되어야 한다고 주장합니다. 감정적 입장의 선택과 발화 생성을 분리함으로써 EmoDistill 은 더 작은 모델들이 표준 LLM 의 "정중성 편향"에 강건한 효과적이고 전략적인 협상 행동을 학습할 수 있게 합니다.

저자들은 그들의 접근 방식이 다음과 같음을 강조합니다:

• 온라인 비용 회피: 사전 심사된 LLM 대 LLM 상호작용의 오프라인 데이터에만 의존함으로써 다중 에이전트 환경에서 온라인 RL 의 prohibitive 비용과 불안정성을 우회합니다.
• 방어적 통제 제공: 감정적 영향을 학습 가능한 기술로 모델링함으로써 에이전트가 상대방의 조작적 감정 구성에 저항하고 적대적 환경에서 사용자 목표를 유지할 수 있게 합니다.
• 모듈형 기술 제공: 이 프레임워크는 감정적 협상을 증류, 전이, 정제가 가능한 재사용 가능한 기술로 취급하여 정적 프롬프트 엔지니어링을 넘어섭니다.

저자들은 한계에 대해 겸손하게 언급하며, 이 프레임워크가 고정된 오프라인 궤적에 의존하여 분포 이동을 초래할 위험이 있고, 최적의 성능을 위해 명시적인 감정 채널이 필요하며, 인간 - 에이전트 상호작용에서는 아직 검증되지 않았음을 지적합니다. 그들은 이 작업을 고위험 환경에서 더 강건하고 전략적인 자율 에이전트로 나아가는 한 걸음으로 위치시킵니다.