기술적 요약: 말하기 전에 세 번 생각하라 (TTBYS)

1. 문제 정의

설득 대화 시스템은 사용자의 잠재적 정신 상태 (Mental States) 를 추론하고 추론하는 능력을 요구하며, 이를 마음의 이론 (Theory of Mind, ToM) 이라고 합니다. 대규모 언어 모델 (LLM) 은 이 분야에서 진전을 이루었지만, 기존 접근 방식들은 종종 단순한 프롬프트 전략에 의존하며 충분한 ToM 지식을欠缺합니다. 그 결과, 정신 상태 (신념, 욕망, 의도) 간의 본질적 의존성을 포착하지 못해 다중 턴 상호작용에서 단편화된 표현과 불안정한 추론이 빈번히 발생합니다.

현재 벤치마크 (예: NegotiationToM, ToMATO, PersuasiveToM) 는 사전 지식의 부재로 인해 LLM 이 신뢰할 수 있는 정신 상태 추론에 어려움을 겪고 있음을 보여줍니다. 또한, 대부분의 기존 방법들은 정신 상태를 독립 변수로 취급할 뿐, 그 순차적 진화를 모델링하지 않아 복잡한 설득 시나리오에서 해석 가능성과 장기적 효과성을 제한합니다.

2. 방법론

2.1 ToM-PD 작업과 BDI 프레임워크

저자들은 신념 - 욕망 - 의도 (Belief–Desire–Intention, BDI) 프레임워크에 기반한 ToM 기반 설득 대화 (ToM-PD) 작업을 공식화했습니다. 자기 상태의 전향적 진화 (신념 $\to$ 욕망 $\to$ 의도 $\to$ 행동) 와는 달리, ToM-PD 작업은 역방향, 단계별 추론 과정으로 모델링됩니다. 에이전트는 설득 대상자의 외부 발화를 관찰하고 다음과 같이 반복적으로 추론해야 합니다:

1. 의도 ($i_t$): 발화의 즉각적인 목표.
2. 욕망 ($d_t$): 설득 대상에 대한 사용자의 태도 (-1: 거부, 0: 망설임, 1: 수용으로 모델링됨).
3. 신념 ($b_t$): 욕망을 이끄는 근본적인 견해나 우려.
4. 전략 ($s_t$): 추론된 상태에 기반한 최적의 설득 응답.

2.2 TTBYS 프레임워크

불안정성과 지식 부족 문제를 해결하기 위해, 저자는 **말하기 전에 세 번 생각하라 (Think Thrice Before You Speak, TTBYS)**라는 지식 강화 단계별 추론 프레임워크를 제안합니다. TTBYS 는 명시적 및 암묵적 사전 경험을 활용하여 LLM 을 세 가지 명확한 추론 단계를 거쳐 안내합니다:

• 첫 번째 생각 (욕망 추론):

  • 현재 대화가 고수준 의도 ($i$) 로 요약됩니다.
  • 이 요약은 지식베이스에서 상위 $N$개의 의미적으로 유사한 역사적 경험을 검색하는 데 사용됩니다.
  • 검색된 경험으로부터 욕망의 확률 분포 ($P_{ex}$) 가 구성됩니다.
  • 이는 LLM 의 직관적 확률 분포 ($P_{ag}$) 와 선형적으로 융합되어 최종 욕망 예측을 결정합니다: $d^*_t = \arg \max (\alpha \cdot P_{ag} + (1-\alpha) \cdot P_{ex})$.

• 두 번째 생각 (신념 추론):

  • 추론된 욕망 ($d^*$) 과 대화 요약을 사용하여 신념 정보를 포함한 관련 경험을 검색합니다.
  • 검색된 이러한 경험은 명시적 지식으로 LLM 의 컨텍스트에 직접 주입됩니다.
  • LLM 은 대화, 추론된 욕망, 검색된 예시를 조건으로 신념 설명 ($b^*$) 을 생성합니다.

• 세 번째 생각 (전략 예측):

  • 시스템은 대화 요약과 추론된 신념을 사용하여 공동 검색을 수행합니다.
  • 첫 번째 생각과 유사하게, 경험 기반 전략 분포가 계수 $\beta$를 사용하여 LLM 의 분포와 융합되어 최적의 전략을 선택합니다.

2.3 ToM-BPD 데이터셋

연구를 촉진하기 위해 저자들은 PersuasiveToM 벤치마크에서 파생된 대규모 주석 데이터셋인 **ToM 기반 광범위 설득 대화 (ToM-BPD)**를 구축했습니다.

• 주석: 설득 대상자의 욕망 (이산 값 -1, 0, 1) 과 신념 (자연어 문장) 에 대한 세밀한 라벨과 설득자의 전략을 포함합니다.
• 분류 체계: 전략은 정교화 가능성 모델 (ELM) 과 동기 부여 면담을 기반으로 세 가지 그룹 (사회 - 정서적, 인지적, 상호작용적) 과 아홉 가지 세밀한 기법으로 분류됩니다.
• 품질 관리: 데이터셋은 반자동 사전 주석, 다중 라운드 인간 검증, 주석자 자격 시험을 통한 엄격한 주석을 거쳤습니다.

3. 주요 기여

1. 작업 공식화: 해석 가능성을 향상시키기 위해 정신 상태 (의도, 욕망, 신념) 간의 순차적 의존성을 명시적으로 모델링하는 ToM-PD 작업의 도입.
2. 프레임워크 제안: 설득 대화에서 LLM 추론의 견고성과 일관성을 개선하기 위해 구조화된 ToM 경험을 통합하는 TTBYS 프레임워크 개발.
3. 데이터셋 구축: 광범위한 실험과 사례 연구를 통해 검증된 세밀한 정신 상태 주석을 갖춘 다중 도메인 데이터셋 ToM-BPD의 공개.

4. 실험 결과

저자들은 TTBYS 를 여섯 가지 최첨단 LLM (LLaMA-3.1-8B, Qwen-3-8B, Mixtral-7B 포함 및 GPT-5 와 Gemini-3-Pro 와 같은 폐쇄형 소스 모델) 에서 평가했습니다.

• 정적 평가:

  • 성능: TTBYS 가 탑재된 Qwen-3-8B 는 욕망 예측에서 GPT-5 보다 1.20% 더 높게, 신념 예측에서 22.80% 더 높게, 전략 예측에서 16.97% 더 높게 성능을 발휘했습니다.
  • 비교: TTBYS 는 모든 오픈소스 백본에서 일반 제로샷 프롬프팅, 사고의 사슬 (CoT), 기타 ToM 강화 베이스라인 (Hypothetical Minds, Metamind) 보다 일관되게 우월한 성능을 보였습니다.
  • 절차 제거 분석: 경험 기반 신호와 LLM 기반 신호의 균형 잡힌 융합 (계수 $\alpha$와 $\beta$를 통해) 이 최적의 결과를 산출한다는 것이 확인되었습니다. 검색된 경험의 양을 늘리는 것은 일반적으로 성능을 향상시켰으며, 특히 첫 번째와 세 번째 생각 단계에서 두드러졌습니다.

• 상호작용 평가:

  • 제품 구매, 커뮤니티 활동, 공감적 대화 시나리오에서의 시뮬레이션 상호작용은 TTBYS(Qwen-3-8B 사용) 가 식별(정신 상태 파악) 과 설득 효과성 측면에서 GPT-5 베이스라인을 크게 능가함을 보여주었습니다.
  • GPT-5+CoT 는 약간 더 높은 일관성을 보였으나, TTBYS 는 정확한 정신 상태 추론에 기반하여 전략을 적응시키는 능력이 우수함을 입증했습니다.

• 사례 연구:

  • 정성적 분석은 TTBYS 가 베이스라인 모델이 놓친 미묘한 신념 (예: 온라인 프라이버시가 농촌 활성화와 관련된다는 것에 대한 불확실성) 을 포착하여 더 정확한 욕망 예측과 적절한 전략 선택으로 이어졌음을 보여주었습니다.

5. 중요성과 주장

이 논문은 TTBYS가 다음과 같은 이유로 ToM 기반 설득 대화의 최첨단 기술을 크게 발전시켰다고 주장합니다:

• 해석 가능성 강화: 설득 과정을 명시적인 단계 (욕망 $\to$ 신념 $\to$ 전략) 로 분해하고 구조화된 추론을 활용함으로써 시스템의 의사결정이 더 투명하고 추적 가능해집니다.
• 견고성 향상: 사전 경험의 통합은 잠재적 정신 상태를 추론하는 LLM 의 불안정성을 완화하여, 더 작은 오픈소스 모델이 더 큰 폐쇄형 소스 모델과 맞먹거나 능가할 수 있게 합니다.
• 기반 제공: ToM-PD 작업과 ToM-BPD 데이터셋은 사회적 상호작용에서 동적 정신 상태를 모델링하는 향후 연구를 위한 표준화된 벤치마크를 제공합니다.

저자들은 데이터셋 크기가 상대적으로 작고, 이 접근 방식이 완전히 배포된 현실 세계의 설득 시스템에서 아직 검증되지 않았음을 인정하며 한계를 지적합니다. 그들은 프레임워크가 친사회적 응용을 위해 설계되었지만, 조작적 맥락에서의 잠재적 오용을 방지하기 위한 안전 장치가 필요하다고 강조합니다.