1. 문제 정의 (Problem Definition)

• 배경: 대규모 언어 모델 (LLM) 은 단일 턴 (single-turn) 설정에서 인간이 작성한 것보다 더 공감적인 응답을 생성하는 것으로 평가받습니다. 그러나 LLM 은 어휘, 구문, 담화 구조에서 반복적이고 공식적 (formulaic) 인 패턴을 반복하는 경향이 있습니다.
• 핵심 문제: 기존 연구는 LLM 의 반복성을 어휘나 문법 수준에서 분석했으나, 공감 대화의 맥락에서 '담화 행위 (discourse moves)' 또는 '전술 (tactics)' 수준의 반복성을 다룬 연구는 부족했습니다.
  • 공감적 대화는 한 번의 따뜻한 메시지가 아니라, 대화의 흐름에 따라 새로운 우려가 제기될 때마다 지원자가 접근 방식을 적응적으로 변화시키는 것을 요구합니다.
• 발견: 본 논문은 LLM 이 인간 지원자에 비해 이전 턴에서 사용된 전술을 다음 턴에서 재사용할 확률 (Tactic Stickiness) 이 거의 두 배 (0.50~0.56 vs 0.27) 높다는 것을 규명했습니다.
• 한계: 기존의 표준 유사도 지표 (BLEU, BERTScore 등) 는 어휘나 의미적 유사성은 포착할 수 있지만, 담화 기능 (예: 위로하기, 질문하기, 조언하기) 의 반복성은 전혀 포착하지 못합니다. 이로 인해 LLM 은 대화 내내 동일한 전술 (예: 계속 조언하기) 을 반복하며, 이는 사용자의 재참여 의지를 감소시키는 요인이 됩니다.

2. 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 MINT (Multi-turn Inter-tactic Novelty Training) 라는 새로운 강화 학습 (RL) 프레임워크를 제안했습니다.

A. 전술 분류 및 태깅 (Tactic Taxonomy & Tagging)

• 전술 분류 체계: 심리학 문헌을 기반으로 한 10 가지 공감 전술 (Advice, Validation, Questioning, Paraphrasing, Reappraisal 등) 을 정의했습니다.
• 자동 태깅: 인간이 주석 단 3,164 문장을 기반으로 10 개의 LoRA 어댑터를 미세 조정하여, 각 문장이 어떤 전술을 포함하는지 분류하는 Sentence-level Taggers 를 구축했습니다 (평균 F1 점수 0.80).

B. MINT 프레임워크 (Reinforcement Learning Framework)

MINT 는 기존 RLHF 와 달리 다중 턴 간의 전술 다양성을 명시적인 보상 신호로 포함합니다.

1. 목표: 대화의 흐름에 따라 모델이 이전 턴과 다른 전술을 사용하도록 유도하면서도, 공감의 질 (Quality) 을 유지하는 것.
2. 보상 함수 (Reward Function):
   • 기질 보상 (Base Quality Reward, $R_q$): 공감의 질을 평가하는 모델 (PsychoCounsel 등) 로부터 얻은 점수.
   • 교차 턴 전술 신규성 (Cross-Turn Tactic Novelty, $D_{KL}$): 현재 턴의 전술 분포 ($Q_t$) 와 이전 턴의 전술 분포 ($P_{t-1}$) 간의 **KL 발산 (KL Divergence)**을 계산합니다. 이전 턴과 다른 전술을 사용할수록 보상이 증가합니다.
   • 턴 내 전술 폭 (Within-Turn Breadth, $H$): 단일 응답 내에서 다양한 전술이 사용되었는지 나타내는 엔트로피 (Entropy) 항을 추가합니다.
   • 최종 보상: $R = Q + \lambda [\gamma_{kl} D_{KL} + \gamma_{ent} H]$ 형태로 조합됩니다.
3. 학습 알고리즘: 그룹 상대 정책 최적화 (Group Relative Policy Optimization, GRPO) 를 사용하여 학습합니다.

3. 주요 기여 (Key Contributions)

1. 다중 턴 담화 반복성 발견: 단일 턴 설정이 아닌 다중 턴 대화에서 LLM 이 인간보다 전술을 훨씬 더 많이 반복한다는 최초의 실증적 증거를 제시했습니다. 또한 이 반복성이 표준 유사도 지표로는 감지되지 않음을 보였습니다.
2. MINT 프레임워크 제안: 대화 역사 (history) 에 조건부 (conditioned) 로 담화 기능 수준의 전술 다양성을 최적화하는 첫 번째 강화 학습 프레임워크를 개발했습니다.
3. 검증된 평가 프로토콜: 전문가 수준의 합의 (Weighted Cohen's $\kappa_w = 0.58$) 를 달성하는 턴 단위 (turn-level) 공감 평가 프로토콜을 정립했습니다.

4. 실험 결과 (Results)

• 데이터셋: WildChat 및 SENSE-7 에서 추출한 322 개의 다중 턴 감정 지원 대화 (1,719 개의 지원자 턴) 를 학습에 사용했습니다.
• 모델: Qwen3-1.7B 및 Qwen3-4B 모델을 베이스로 실험했습니다.
• 성능 비교:
  • 공감 점수 (Empathy Quality): MINT(Q + DKL) 는 Vanilla 프롬프트 대비 평균 25.3% 향상된 공감 점수를 기록했습니다.
  • 전술 반복성 (Tactic Stickiness): 4B 모델에서 전술 반복성 (Stickiness) 을 26.3% 감소시켰습니다.
  • 기타 베이스라인 비교:
    • 품질만 최적화 (PsychoCounsel): 공감 점수는 높았으나, 전술 반복성 (Stickiness) 이 여전히 높았습니다.
    • 토큰 수준 다양성 (R1-Zero-Div): 토큰 수준의 다양성을 높였으나, 이는 의미 있는 담화 전술의 변화로 이어지지 않았습니다.
    • MINT 의 우위: MINT 는 공감의 질을 희생하지 않으면서도 담화 전술의 다양성을 극대화하여 모든 베이스라인을 능가했습니다.
• 사용자 만족도: 전술 반복성 (Stickiness) 이 높을수록 사용자가 시스템을 다시 사용할 의향 (UseAgain) 이 유의미하게 감소함 ($\rho = -0.287, p=0.017$) 을 확인하여, 다양성 개선의 실용적 가치를 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 핵심 통찰: 현재 LLM 이 부족한 것은 공감 능력 자체가 아니라, 대화의 흐름 (arc) 전반에 걸쳐 전략적으로 담화 전술을 변화시키는 능력입니다.
• 기술적 함의: 단순히 토큰 수준의 다양성을 높이는 것만으로는 충분하지 않으며, 담화 기능 (Discourse Function) 수준에서 다양성을 최적화해야 진정한 공감적 대화를 구현할 수 있음을 보여줍니다.
• 실용적 가치: MINT 를 통해 LLM 기반 감정 지원 챗봇이 대화 내내 단조로움을 피하고 사용자의 변화하는 요구에 유연하게 대응할 수 있게 되었습니다. 이는 장기적인 정서적 지원 도구로서의 LLM 신뢰도를 높이는 중요한 단계입니다.

이 논문은 LLM 의 공감 능력을 평가하고 개선하는 데 있어 단일 턴의 질뿐만 아니라 다중 턴의 전략적 다양성이 필수적임을 강조하며, 이를 위한 구체적인 학습 방법론을 제시했다는 점에서 의의가 큽니다.