기술 요약: ToMAP – 마음 이론(Theory of Mind)을 통한 상대 인지형 LLM 설득 모델 학습

1. 문제 정의

대규모 언어 모델(LLM)이 설득 과업에서 잠재력을 보여주었음에도 불구하고, 현재의 LLM 기반 설득 모델들은 인간 토론의 상호작용적이고 역동적인 특성을 모델링하는 데 있어 상당한 한계에 직면해 있다. 인간 설득자는 관련 명제들의 "인지 그래프(cognitive graph)"를 자연스럽게 구축하며, 상대방의 반론을 선제적으로 예측하고 상대의 정신 상태에 맞춰 논거를 조정하는 능력, 즉 **마음 이론(Theory of Mind, ToM)**을 발휘한다.

반면, 기존의 LLM 설득자들은 다음과 같은 문제를 겪는다:

• 상대 인지 능력 결여: 중심 주장에는 집중하지만, 관련 주장들의 상호 연결된 구조와 상대방의 관점은 간과한다.
• 반복 문제: 더 넓은 인지 그래프로부터 다양한 통찰을 생성하기보다는, 연속된 턴에서 동일한 논거를 반복하는 경향이 있다.
• 경직성: 자기중심적이며, 피설득자의 변화하는 신념에 따라 전략을 역동적으로 조정하지 못한다.

본 논문은 ToM 추론의 결여가 LLM이 인간 수준의 설득 유연성과 다양성을 달una하는 것을 가로막는 주요 병목 현상이라고 상정한다.

2. 방법론: ToMAP 프레임워크

저자들은 설득자가 상대방의 정신 상태를 모델링하고 이에 대응하는 능력을 강화하기 위해, 두 개의 전용 ToM 모듈을 강화 학습(RL)과 통합한 ToMAP (Theory of Mind Augmented Persuader) 학습 프레임워크를 제안한다.

2.1. 핵심 구성 요소

프레임워크는 세 가지 주요 단계로 구성된다:

1. 반론 예측기 (Counterclaim Predictor):

   • 기능: 이 모듈은 설득자가 대상 주장($Q$)에 대해 상대방이 가질 수 있는 잠재적 반론($\neg q_{1...k}$)을 선제적으로 생성하도록 유도한다.
   • 메커니즘: 이를 통해 모델은 토론 주제와 관련된 주장들을 명시적으로 개념화함으로써, 반론이 제기되기 전에 이를 예측하게 된다.

2. 상대 태도 예측기 (Opponent Attitude Predictor):

   • 기능: 이 모듈은 생성된 반론에 대한 피설득자의 현재 동의 수준($s'$)을 추정한다.
   • 메커니즘: 만족스럽지 못한 결과를 보이는 제로샷 프롬프팅과 달리, ToMAP은 사전 학습된 텍스트 인코더(BGE-M3)와 다층 퍼셉트론(MLP)으로 구성된 외부 분류기를 사용한다. 이는 대화 이력과 주장을 각각 인코딩하고 결합하여 5점 척도의 동의 점수를 예측한다. 이를 통해 상대방의 정신 상태에 대한 역동적이고 정량적인 평가를 제공한다.

3. 강화 학습(RL) 통합:

   • 학습 목표: 설득자는 PPO(Proximal Policy Optimization)를 사용하여 학습된다. 보상 함수는 피설득자의 **태도 변화(attitude shift)**를 극대화하도록 설계되었다.
   • 보상 계산: 보상은 설득자의 턴 전후의 동의 점수 차이로부터 도출되며, 이미 높은 동의도를 가진 주장을 변화시키는 난이도를 고려하여 정규화된다.
   • 증강 (Augmentation): 학습 및 추론 과정에서 ToM 정보(예측된 반론 및 해당 반론에 대한 예측 태도 점수)가 설득자의 프롬프트 앞에 추가되어 입력 컨텍스트를 증강한다. 이를 통해 RL 에이전트는 이러한 통찰을 활용하여 전략을 수립하는 법을 배울 수 있다.

2.2. 학습 설정

• 기반 모델: Qwen2.5-3B-Instruct 및 LLaMa3.2-3B-Instruct.
• 피설득자 모델: Qwen2.5-7B-Instruct (학습 중 사용).
• 데이터셋: Cornell CMV (Change My View), Anthropic Persuasion Dataset, 그리고 args.me 코퍼스.
• 평가 지표: 동의 변화량 (대화 시작부터 끝까지 피설득자의 입장이 변화한 비율).

3. 주요 기여

• 새로운 프레임워크: ToM 모듈(반론 및 태도 예측)을 LLM 설득자 학습을 위한 RL과 명시적으로 결합한 최초의 프레임워크인 ToMAP을 도입하였다.
• 효율성: ToMAP으로 학습된 작은 3B 파라미터 모델이 설득 과업에서 훨씬 더 큰 규모의 최신 모델(예: GPT-4o, LLaMa3.1-70B, Deepseek-R1)을 능가할 수 있음을 입증하였다.
• 절제 연구(Ablation) 통찰: ToM 모듈 단독으로는 제로샷 성능을 향상시키지 못하며, 상대 모델링을 효과적으로 활용하기 위해서는 ToM 정보와 RL 학습의 결합이 필수적임을 증명하였다.
• 행동 분석: ToMAP은 베이스라인 모델에 비해 논거의 반복을 줄이고 추론 복잡성(더 긴 사고 체인)을 높이는 것을 보여주었다.

4. 실험 결과

• 성능 향상: ToMAP(3B 파라미터)은 다양한 피설득자 모델과 코퍼스에 걸쳐 베이스라인 설정 대비 39.4%의 상대적 이득을 달성하였다.
• SOTA와의 비교: ToMAP은 동의 변화량 측면에서 GPT-4o 및 Deepseek-R1(671B 파라미터)과 같은 훨씬 더 큰 베이스라인들을 능가하였다.
• 일반화: 모델은 도메인 외 피설드자(예: LLaMa3.1, Phi-4)에 대해서도 안정적인 성능을 보여, 학습된 전략이 견고함을 시사하였다.
• 장기 대화: 10회 턴에 이르는 확장된 대화에서, 베이스라인 RL 모델들은 반복과 적응력 부족으로 인해 성능이 정체되거나 하락한 반면, ToMAP은 꾸준한 설득 이득을 유지하였다.
• 전략 분석: ToMAP은 "공통 기반(Common Ground)", "선제적 반박(Preemptive Rebuttal)", "양보(Concession)"와 같은 상대 인지적 전략을 채택하였으며, 베이스 모델에 비해 수사적 또는 감정적 호소에 덜 의존하였다.

5. 의의 및 주장

본 논문은 ToMAP이 **마음 이론(ToM)**과 상대 모델링을 통합함으로써 더욱 효과적인 AI 설득자를 개발하는 데 중요한 진전을 이루었다고 주장한다.

• 확장성: 본 결과는 적절한 학습 프레임워크(ToM + RL)가 갖춰진다면 작은 모델도 매우 설득력 있을 수 있음을 시사하며, 거대 모델만이 복잡한 사회적 추론을 처리할 수 있다는 통념에 도전한다.
• 개선 메커니즘: 저자들은 ToMAP의 성공이 복잡한 추론 체인을 생성하고 반복을 줄여, 더 다양하고 논리적으로 타당한 논거를 이끌어내는 능력에서 비롯된다고 주장한다.
• 안전 및 윤리: 저자들은 의견을 조작할 수 있는 설득적 AI의 잠재적 위험성을 강조한다. 이들은 오용을 방지하기 위해 투명성, AI 상호작용에 대한 사용자의 명시적 인지, 그리고 사용 가이드라인을 준수하는 통제된 출시를 옹호한다.

결론적으로, 본 연구는 ToM 능력을 통합하는 것이 역동적이고 적응적이며 효과적인 사회적 상호작용을 수행할 수 있는 언어 에이전트를 구축하는 유망한 방향임을 보여준다.