💬 자연어 처리

Stop Training Against Soft Users: Mentalized Adversarial Self-Play for Proactive Dialogue

이 논문은 능동적 대화를 BDI 기반의 정신 상태를 가진 합리적으로 저항하는 사용자에 맞선 부분 관측 가능한 게임으로 모델링하는 MASP(Mentalized Adversarial Self-Play) 프레임워크를 소개하며, 이를 통해 까다롭고 비협조적인 사용자에게도 견고한 작업 성공과 효율성을 달성하도록 에이전트를 훈련시킨다.

원저자: Zanwu Liu, Dan Zhang, Xiaodi Wang, Yongbo Mao, Xiaoyang Guo, Yonglin Wu, Peiyue Jiang, Yangyang Wei, Zecheng Lin

게시일 2026-10-16✓ Author reviewed ⓘ

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Zanwu Liu, Dan Zhang, Xiaodi Wang, Yongbo Mao, Xiaoyang Guo, Yonglin Wu, Peiyue Jiang, Yangyang Wei, Zecheng Lin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에는 단순히 당신이 하는 말에 대답하는 챗봇과, 특정 목표를 향해 대화를 적극적으로 이끄는 챗봇 사이에 뚜렷한 차이가 존재합니다. 프로액티브 다이얼로그(proactive dialogue, 능동적 대화)라고 알려진 이 두 번째 유형은 당신에게 자선 단체 기부를 설득하거나, 당신이 괴로울 때 마음을 진정시키도록 돕거나, 중고 물품의 가격을 협상하려는 디지털 비서들의 핵심 엔진입니다. 이러한 시스템이 작동하기 위해서는 단순히 유창한 문장을 생성하는 것 이상의 것을 해야 합니다. 즉, 자신의 말이 긴 대화 과정 속에서 당신의 마음과 감정, 그리고 의도를 어떻게 변화시킬지 예측해야 합니다. 문제는 가장 진보된 AI 모델들이 종rass종 진공 상태에서 훈련된다는 점이며, 너무나도 순종적인 컴퓨터 프로그램들을 상대로 기술을 연습한다는 것입니다. 이러한 프로그램들, 즉 시뮬레이터들은 모든 것에 동의하는 지나치게 고분고분한 학생처럼 행동하여, AI가 실제 사람처럼 회의적이거나 저항하거나 혹은 단순히 마음을 바꾸는 상황을 다루는 법을 배우지 못한 채 높은 점수를 받게 만듭니다.

동처주 테크놀로지(Dongchezu Technology)와 베이항 대학교(Beihang University)의 연구팀은 이러한 결함을 해결하기 위해 설계된 새로운 훈련 방법을 소개했습니다. 그들은 자신들의 접근 방식을 정신화된 적대적 자기 대전(Mentalized Adversarial Self-Play), 즉 MASP라고 부릅니다. AI가 부드럽고 쉬운 타겟을 상대로 연습하게 하는 대신, 연구진은 AI가 이성적이면서도 까다로운 디지털 상대와 대결하는 훈련장을 마련했습니다. 이 설정에서 AI는 사용자의 숨겨진 정신 상태—그들이 무엇을 믿고, 무엇을 원하며, 무엇을 의도하는지—를 읽어내고 그에 따라 전략을 조정하는 법을 배워야 합니다. 이 시스템은 단순히 승리하는 것뿐만 아니라, 사용자가 반발하는 상황에서도 진전을 이룰 수 있을 만큼 사용자를 잘 이해하는 것에 대해 보상을 받습니다. 이 방법은 AI가 단순히 순응적인 스크립트에 맞서 이기는 법을 암기하는 것이 아니라, 복잡한 인간 상호작용을 헤쳐 나가는 강건한 능력을 개발하도록 강제합니다.

이 연구의 핵심 아이디어는 AI가 진정한 저항에 부딪히지 않는다면 대화를 이끄는 법을 배울 수 없다는 것입니다. 이전 방식에서 AI는 정적이거나 조종하기 너무 쉬운 고정된 사용자 모델을 상대로 훈련되었습니다. 연구진은 이것이 '소프트 유저(soft user)' 문제를 초래하여, AI가 테스트에서는 성공적인 것처럼 보이지만 스스로의 진화하는 생각을 가진 실제 사람 앞에서는 실패하게 만든다는 것을 발견했습니다. 이를 해결하기 위해 연구진은 AI와 사용자 시뮬레이터가 연속적인 게임 속에서 서로 대결하는 훈련 루프를 만들었습니다. 사용자 시뮬레이터는 단순히 무작위로 방해하는 존재가 아닙니다. 그것은 이성적인 방식으로 AI의 제안에 저항하도록 훈련되었습니다. 만약 AI가 좋은 근거를 제시하면 사용자는 동의할 수 있습니다. 만약 AI가 약한 논거를 제시하면 사용자는 반발할 것입니다. 이러한 역동성은 AI가 운 좋은 순간이나 지나치게 단순한 전술에 의존하는 대신, 단계별로 설득력 있는 논거를 구축하는 법을 배우도록 강제합니다.

이 시스템의 결정적인 부분은 사용자의 내부 상태를 추적하는 방식입니다. 연구진은 믿음, 욕구, 의도를 기반으로 한 프레임워크를 사용합니다. AI가 읽으려고 노력하는 숨겨진 지도가 있다고 상상해 보십시오. 그 지도는 사용자가 현재 무엇을 생각하고, 무엇을 달성하고자 하며, 다음에 무엇을 할 계획인지를 보여줍니다. AI는 이 지도를 직접 보지는 못하며, 오직 사용자가 말하는 단어만을 보고 대화를 통해 지도를 추론해야 합니다. AI가 올바르게 추론하는 법을 배우게 하기 위해, 훈련 설정은 '교사'와 '학생' 접근 방식을 사용합니다. 방대한 데이터를 바탕으로 사전 훈련된, 고정된 교사 모델은 사용자의 실제 숨겨진 상태를 알고 있습니다. 학생 역할을 하는 AI는 그 상태의 추정치만을 봅니다. 그런 다음 AI는 목표를 향해 진전을 이루는 동시에, 사용자의 마음을 추정한 것이 틀렸을 경우 벌점을 받음으로써 학습합니다. 이는 AI가 단순히 사용자가 말하는 단어가 아니라, 그 사람이 누구인지를 이해하도록 보장합니다 именно.

연구진은 기부 권유, 정서적 지원 제공, 공감 표현, 가격 협상 등 여러 가지 다른 유형의 대화에 걸쳐 이 방법을 테스트했습니다. 그들은 이 새로운 방법을 두 가지 일반적인 접근 방식과 비교했습니다. 하나는 특별한 전략 없이 단순히 인간의 대화로 훈련된 경우이고, 다른 하나는 플래너를 사용하지만 여전히 쉬운 사용자를 상대로 훈련하는 경우입니다. 결과는 새로운 방법이 다른 방식들을 일관되게 능가했다는 것을 보여주었습니다. 설득 테스트에서 AI는 쉬운 사용자에게는 거의 86%의 성공률을, 어려운 사용자에게는 79%의 성공률을 기록한 반면, 다른 방식들은 어려운 사용자 앞에서 현저히 고전했습니다. 새로운 방법은 또한 목표에 도달하는 데 필요한 턴 수를 줄였으며, 이는 대화가 더 효율적이었음을 의미합니다. 아마도 가장 중요한 점은, 이 방법으로 훈련된 AI가 사용자를 혼란스럽게 하거나 짜증 나게 하여 승리를 강요하는 상황을 피하면서, 더 이성적인 대화를 유지하는 데 뛰어났다는 것입니다.

연구진은 사용자가 특히 완고할 때 AI가 어떻게 수행하는지도 살펴보았습니다. 이러한 어려운 시나리오에서 새로운 방법은 높은 성공률을 유지한 반면, 다른 방법들은 성능이 급격히 떨어졌습니다. 이는 AI가 더 유연하고 탄력적인 전략을 배웠음을 시사합니다. AI는 단순히 한 가지 유형의 사용자를 상대로 이기는 법을 배운 것이 아니라, 다양한 범위의 인간 행동에 적응하는 법을 배웠습니다. 연구진은 AI의 성공 능력이 단순히 더 빠르거나 공격적인 것에 관한 것이 아니라, 방 안의 분위기를 읽고 사용자의 변화하는 정신 상태에 따라 접근 방식을 조정하는 능력에 관한 것이라고 언급했습니다. 사용자가 저항할 때 AI는 멈추고 더 많은 정보를 수집했습니다. 사용자가 개방적인 신호를 보일 때 AI는 움직임을 취했습니다.

핵심 발견 중 하나는 AI의 성공이 사용자의 합리성을 이해하는 능력과 연결되어 있다는 것이었습니다. 연구진은 사용자가 단순히 압박에 굴복한 것이 아니라 논리적인 이유로 동의했을 때만 승리로 간und하는 새로운 측정 방식을 도입했습니다. 이 더 엄격한 기준 하에서도 새로운 방법은 다른 대안들보다 더 나은 성과를 보였습니다. 이는 AI가 사용자를 속여서 동의하게 만든 것이 아니라, 실제로 사용자에게 납득이 가는 결론으로 인도했다는 것을 나타냅니다. AI와 사용자가 서로 대결하는 수천 번의 시뮬레이션 대화를 포함한 훈련 과정은 시스템이 시간이 지남에 따라 전략을 정교화할 수 있게 해주었습니다. AI는 이기는 최선의 방법이 신뢰를 쌓고 자신의 제안에 대해 명확하고 정직한 이유를 제공하는 것임을 배웠습니다.

연구진은 또한 시스템이 실패한 지점에 대한 상세한 분석도 수행했습니다. AI가 성공하지 못한 경우들은 대개 사용자가 금융적 제약이 강하거나, 제한된 턴 수 내에서는 극복할 수 없는 깊은 불신을 가지고 있었기 때문이었습니다. 이러한 실패는 AI가 혼란스러워하거나 공격적이어서 발생한 것이 아니라, 사용자의 내부 상태가 주어진 시간 내에 변화하기에 너무 강력했기 때문이었습니다. 이 분석은 연구진이 시스템의 한계를 이해하는 데 도움을 주었으며, AI가 실패하는 순간에도 이성적으로 행동하고 있음을 확인시켜 주었습니다. AI는 사용자가 명확하게 거절한 후에도 기부를 계속 요청하는 것이 아니라, 교착 상태를 인식하고 멈추었습니다.

이 연구는 인간과 더 자연스럽고 효과적으로 상호작용할 수 있는 AI 에이전트를 만드는 데 있어 중요한 진전을 의미합니다. 어려운 상대와 대결하도록 AI를 훈련함으로써, 연구진은 실제 인간의 대화의 복잡성에 더 잘 대비된 시스템을 만들었습니다. 이 방법은 마법이나 복잡한 속임수에 의존하는 것이 아니라, 설득하는 법을 배우려면 먼저 듣고 이해하는 법을 배워야 한다는 단순하지만 강력한 아이디어에 기초합니다. 결과는 이 접근 방식이 정신 건강 지원부터 고객 서비스에 이르기까지 AI가 인간의 행동을 유도해야 하는 많은 다른 분야에 적용될 수 있음을 시사합니다. 연구는 사용자를 훈련 과정에서 능동적이고 이성적인 참여자로 취급하는 것이 진정으로 현실 세계에서 성공할 수 있는 AI를 구축하는 데 필수적이라는 결론을 내립니다.

연구진은 자신들의 시스템이 아직 시뮬레이션 단계이며, 아직 실제 환경에서 실제 사람을 대상으로 테스트되지 않았음을 주의 깊게 명시했습니다. 기술된 성공률과 행동들은 컴퓨터 프로그램 간의 상호작용을 바탕으로 합니다. 그러나 다양한 유형의 대화에 걸친 결과의 일관성과 어려운 사용자들에 대한 시스템의 강건함은 이 방법이 작동한다는 강력한 증거를 제공합니다. 연구팀은 시스템을 계속 정교화할 계획이며, 궁극적으로 시뮬레이션이라는 통제된 환경 밖에서 어떻게 수행되는지 보기 위해 실제 사용자와 함께 테스트할 예정입니다. 현재로서는, 이 연구는 단순한 패턴 매칭을 넘어 인간 사고에 대한 더 깊고 전략적인 이해로 나아가는, 기계에게 대화하는 법을 가르치는 방법에 대한 설득력 있는 새로운 방향을 제시하고 있습니다.

기술 요약: 능동적 대화를 위한 정신화된 적대적 자가 학습 (MASP)

문제 정의

능동적 대화 에이전트는 특정 과업 목표(예: 설득, 협상, 정서적 지원)를 향해 다회차 상호작용을 유도해야 하며, 동시에 의도와 태도가 진화하는 사용자에 적응해야 합니다. 기존의 방식들은 탐색, 학습된 플래너 또는 사용자 인지형 계획을 통해 시스템 측의 행동 선택을 개선하는 데 집중해 왔습니다. 그러나 이러한 방법들은 결정적인 훈련 비대칭성 문제를 겪습니다. 즉, 시스템은 유일한 전략적 학습자로서 최적화되는 반면, 사용자는 고정되어 있거나 외부에서 지정된, 혹은 지나치게 순응적인 시뮬레이터로 모델링된다는 점입니다.

이러한 비대칭성은 "소프트 유저 편향(soft user bias)"을 초래합니다. 즉, 정책이 합리적이고 저항적이거나 전략적인 사용자를 마주했을 때 실패하는 취약한 행동을 학습함으로써, 시뮬레이션된 성공률만 높게 달성하게 됩니다. 사용자 시뮬레이션을 개선하려는 현재의 노력들(예: 전용 User LM, 반복적 적대적 정교화)은 주로 평가 환경을 강화하는 데 그칠 뿐, 프로액티브(proactive) 정책이 어떻게 더 강력하고, 부분적으로 관측 가능하며, 전략적으로 저항하는 사용자에 맞서 살아남도록 훈련되어야 하는지에 대한 직접적인 해결책을 제시하지 못합니다. 또한, 표준 평가 지표들은 진정한 과업 성공과 시뮬레이터의 아첨(sycophancy) 또는 부당한 양보를 통한 성공을 구분하지 못하는 경우가 많습니다.

방법론: MASP 프레임워크

저자들은 **MASP (Mentalized Adversarial Self-Play)**를 제안합니다. 이는 능동적 대화를 공유된 잠재 정신 상태 공간(latent mental state space) 위에서 시스템 에이전트와 합리적으로 저항하는 사용자 에이전트 간의 부분 관측 가능 게임(partially observable game)으로 정식화한 훈련 패러다임입니다.

1. 문제 정식화

상호작용은 다음과 같은 요소들로 모델링됩니다:

사용자 정책 ( $\pi_\psi$ ): 사용자의 진화하는 내부 상태를 나타내는 숨겨진 잠재 정신 상태 $z_t$ 에 조건화됩니다.
시스템 정책 ( $\pi_\theta$ ): 대화 이력으로부터 추론된 추정치 $\hat{z}_t$ 만을 관찰합니다.
비대칭성: 시스템은 사용자의 실제 상태에 직접 접근할 수 없으며, 이에 따라 사용자의 신념, 욕구, 의도(BDI)를 동적으로 추론해야 합니다.

2. 잠재 정신 상태 표현

MASP는 $z_t$ 를 위한 BDI (Belief, Desire, Intention) 기반의 하이브리드 표현을 활용합니다:

텍스트 구성 요소: 신념( $B_t$ ), 욕구( $D_t$ ), 의도( $I_t$ )에 대한 자유 형식의 자연어 기술.
스칼라 구성 요소: 수용성( $\rho_t$ ), 몰입/확신( $c_t$ ), 정서가( $v_t$ ).
이 구성 요소들은 동결된 텍스트 인코더를 사용하여 인코딩된 후 벡터 상태로 결합됩니다. 이 표현 방식은 해석 가능한 타겟 상태 설계를 가능하게 하면서도 다양한 도메인에 적용할 수 있을 만큼 일반적입니다.

3. 교사-학생 정신화 구조 (Teacher-Student Mentalization Architecture)

정책 착취를 방정하기 위해 정신화(mentalization)를 두 가지 역할로 분리하는 것이 핵심 설계입니다:

동결된 교사 정신화기 ( $F_\omega$ ): 오프라인 "실버(silver)" 주석(LLM 생성 BDI 레이블)으로 훈련되었으며, 자가 학습(self-play) 동안 동결됩니다. 이는 보상 계산에 사용되는 정답(ground-truth) 잠재 상태 $z_t$ 를 제공합니다.
학생 정신화기 ( $M_\phi$ ): 관찰 가능한 대화 이력에만 조건화되어 시스템 정책이 사용하는 추정치 $\hat{z}_t$ 를 생성합니다.
이러한 분리는 시스템이 보상 모델의 상태 추정치를 직접 착취하는 대신, 사용자의 상태를 추론하도록 학습되도록 보장합니다.

4. 적대적 보상 및 목적 함수

프레임워크는 견고한 행동을 장려하기 위해 시스템과 사용자를 위한 별도의 보상 함수를 정의합니다:

시스템 보상 ( $r^S_t$ ):
$r^S_t = w_{prog}\Delta s_t - w_{inf}\|\hat{z}_t - z_t\|^2_A$
시스템은 사용자의 초기 상태 대비 과업 특정 타겟 상태로의 진전( $\Delta s_t$ )과, 정확한 정신화(추정치와 교사의 상태 사이의 거리 최소화)에 대해 보상을 받습니다.
사용자 보상 ( $r^U_t$ ):
$r^U_t = -w_{prog}\Delta s_t + w_{rat}q_t$
사용자는 부당한 상태 변화에 저항하도록 훈련받지만( $\text{negative progress term}$ ), 합리적 행동( $q_t$ )에 대해서는 보상을 받습니다. 고정된 합리성 판정기(rationality judge)는 사용자의 저항이 현재 정신 상태를 고려할 때 일관성이 있는지를 판단합니다. 이는 사용자가 무조건적인 거부나 무조건적인 동의 상태로 붕괴되는 것을 방지합니다.

5. 훈련 파이프라인

MASP는 3단계 파이프라인을 따릅니다:

단계 0: 실버 BDI 주석을 사용하여 교사와 학생 정신화기를 훈련합니다.
단계 1: 인간 대화 데이터를 이용한 행동 복제(behavior cloning, 지도 학습)를 통해 시스템과 사용자 정책을 웜 스타트(warm-start)합니다.
단계 2: 교체형 GRPO (Group Relative Policy Optimization) 자가 학습을 수행합니다. 보상 측 모듈(교사, 판정기)은 동결된 상태에서 시스템과 사용자 정책이 차례로 업데이트됩니다. 학생 정신화기는 자가 학습 접두사(self-play prefixes)를 사용하여 주기적으로 갱신됩니다.

주요 기여

최초의 BDI 기반 정신화 훈련: 저자들의 지식에 따르면, MASP는 단순한 보조 특징으로서가 아니라 진화하는 BDI 정신 상태를 훈련 상호작용의 기초로 명시적으로 모델링한 최초의 다회차 대화 프레임워크입니다.
정신화된 자가 학습 (Mentalized Self-Play): 본 논문은 합리적 저항을 핵심 훈련 목표로 설정함으로써 "소프트 유저" 문제를 피하도록 설계된, 시스템과 적대적 사용자를 공동 훈련하는 자가 학습 방법을 도입했습니다.
합리성 제약 성공 (RCSR): 저자들은 새로운 평가 지표인 RCSR을 도입했습니다. 이는 대화 과정 내내 사용자의 행동이 합리적으로 유지될 때만 과업이 완료된 것으로 간주합니다. 이는 시뮬레이터의 아첨으로 인한 성공을 걸러냅니다.

실험 결과

MASP는 Persuasion for Good (P4G), ESConv (정서적 지원), EmpatheticDialogues, CraigslistBargain (협상)의 4개 벤치마크에서 평가되었습니다.

성능 향상: 4개의 데이터셋과 백본 모델(Qwen3-4B 및 Qwen3-0.6B) 모두에서 MASP는 지도 미세 조정(SFT) 및 "플래너 전용(planner-only)" 베이스라인(적응형 계획은 사용하지만 적대적 사용자 훈련은 없는 방식)을 실질적으로 능가했습니다.
- 성공률 (SR): MASP는 소프트 및 하드 유저 조건 모두에서 가장 높은 SR을 달s했습니다. 예를 들어, Qwen3-4B를 사용한 P4G에서 MASP는 소프트 조건에서 0.859 SR, 하드 조건에서 0.788 SR을 달성한 반면, SFT는 각각 0.616과 0.576을 기록했습니다.
- 효율성: MASP는 성공까지의 평균 턴 수(Average Turns to success)를 크게 단축했습니다.
- 합리성: MASP는 가장 높은 RCSR을 보여주었으며, 이는 MASP의 성공이 시뮬레이터의 순응이 아닌 합리적인 사용자 상호작용에 근거하고 있음을 나타냅니다.
강건성: 절제 연구(ablation studies) 및 사용자 시뮬레이터 앙상블에 대한 강건성 테스트에서, 베이스라인들이 급격히 하락하는 것과 달리 MASP는 최악의 시나리오에서도 높은 성능을 유지했습니다.
학습 역학 (Learning Dynamics): 분석 결과, MASP의 이점은 후반부 회복이 아니라 대화 초기(예: 3~4번째 턴)부터 나타났습니다. 이는 시스템이 사용자 상태를 식별하고 합리적인 진전을 만드는 법을 빠르게 학습함을 시사합니다.

의의 및 주장

본 논문은 사용자의 저항을 단순히 평가 조건이 아닌 훈련 목표로 취급하는 것이 견고한 능동적 대화 에이전트를 개발하는 데 필수적이라고 주장합니다. 대화를 잠재 정신 상태에 대한 부분 관측 가능 게임으로 모델링함으로써, MASP는 시스템이 단순히 무엇을 말할 것인가뿐만 아니라, 상대방이 누구이며 그 사람이 어떻게 변하고 있는가를 학습하도록 강제합니다.

저자들은 순응적인 시뮬레이터를 대상으로 훈련된 기존 정책의 취약성을 해결하는 데 중점을 둡니다. RCSR의 도입은 까다로운 사용자를 상대할 때 더 현실적인 성능 측정 기준을 제공합니다. 비록 이 방법이 실버 주석과 LLM 기반 판정기에 의존하여 잠재적 편향을 가질 수 있으나, 저자들은 결과적인 정책이 표준적인 계획이나 SFT 방식보다 훨씬 더 견고하고 전략적으로 적응력이 높다고 주장합니다. 이 연구는 미래의 능동적 대화 시스템이 진정한 전략적 능력을 갖추기 위해서는 상대 모델링(opponent modeling)과 정신화를 최적화 루프에 직접 통합해야 함을 시사합니다.