💻 computer science

Cognitive World Models for Process-Level Social Influence Evaluation

이 논문은 표면적인 텍스트 지표에 의존하는 대신 사용자의 내부 인지 상태(신념, 욕구, 의도 및 감정)의 진화를 추적함으로써 사회적 영향력 대화를 평가하기 위해 새로운 SaA 어노테이션 파이프라인을 통해 학습된 LLM 기반 인지 세계 모델인 CogWM을 소개한다.

원저자: Minghui Ma, Bin Guo, Han Wang, Mengqi Chen, Jingqi Liu, Yan Liu, Zhiwen Yu

게시일 2026-06-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Minghui Ma, Bin Guo, Han Wang, Mengqi Chen, Jingqi Liu, Yan Liu, Zhiwen Yu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 친구가 무언가를 권유하는 상황을 지켜보고 있다고 상상해 보세요. 예를 들어 새로운 취미를 시작하라고 설득하거나, 자선 단체에 기부하도록 하거나, 혹은 힘든 하루를 보낸 후 기분이 나아지도록 격려하는 상황 말입니다.

기존의 성공 측정 방식
지금까지 우리는 컴퓨터 프로그램(AI)이 이러한 대화를 얼마나 잘 수행하는지 알고 싶을 때, 주로 두 가지 방법을 사용했습니다:

"문법 경찰": AI의 단어들이 얼마나 매끄러운지, 혹은 사용자의 단어와 얼마나 밀접하게 일치하는지 확인하는 것입니다 (마치 두 문장이 서로 운율이 맞는지 확인하는 것과 같습니다).
"최종 성적": 대화가 모두 끝난 후 인간이나 똑똑한 컴퓨터에게 대화 전체에 대한 단 하나의 점수를 매기도록 하는 것입니다 (마치 교사가 기말고사를 채점하는 것과 같습니다).

문제점: 이 방법들은 핵심을 놓치고 있습니다. 대화가 완벽하게 들리고 높은 점수를 받았더라도, 사용자는 시작할 때와 똑같은 상태이거나 오히려 더 안 좋은 기분을 느낄 수 있습니다. 이는 영화의 대본이 완벽하고 결말도 해피엔딩이지만, 정작 주인공은 아무것도 배우지 못했고 생각도 바꾸지 못한 것과 같습니다. 우리는 대화 도중 사용자의 마음이 어떻게 변했는지를 볼 수 없었습니다.

새로운 해결책: "인지 세계 모델" (CogWM)
북방공업대학교와 하빈공과대학교의 연구진은 CogWM이라는 새로운 종류의 AI를 개발했습니다. 이것을 **"마음 읽기 시뮬레이터"**라고 생각하면 됩니다.

CogWM은 단순히 사용자가 '말하는 것'을 듣는 것에 그치지 않고, 사용자의 내면에서 '무엇을 생각하고 느끼는지'를 추측하려고 노력합니다. 이 모델은 BDI/E라고 불리는 네 가지 특정 요소를 추적합니다:

신념 (Beliefs): 사용자가 사실이라고 믿는 것 (예: "나는 수학을 못 해").
욕구 (Desires): 사용자가 원하는 것 (예: "나는 이 수업을 통과하고 싶어").
의도 (Intentions): 사용자가 계획하는 것 (예: "나는 10분 동안 공부할 거야").
감정 (Emotions): 사용자가 현재 느끼는 것 (예: "불안함" 또는 "희망적임").

작동 원리 ("풍동 실험" 비유)
저자들은 CogWM을 비행기를 테스트하는 **풍동(Wind Tunnel)**에 비유합니다. 실제 비행기를 만들기 전에, 엔지니어들은 모델을 풍동에 넣어 공기가 모델을 어떻게 밀어내는지 테스트합니다.

비행기: 사용자에게 영향을 미치려는 AI 챗봇.
풍동: CogWM.
공기: 대화.

챗봇을 테스트할 때, 여러분은 챗봇을 CogWM에 연결합니다. 이때 CogWM은 사용자의 역할을 수행합니다. 챗봇이 대화를 진행함에 따라, CogWM은 사용자의 신념, 욕구, 감정에 대한 내부 "성적표"를 매 턴(turn)마다 업데이트합니다.

세 가지 층위의 성적표
CogWM은 단 하나의 최종 점수 대신, 세 가지 층위로 구성된 상세한 보고서를 생성합니다:

턴 레벨 (The Turn Level): 챗봇이 이 특정 순간에 적절한 말을 했는가?
여정 레벨 (The Journey Level): 사용자의 내부 상태가 시간이 흐름에 따라 긍정적인 방향으로 이동했는가? (예: 불안감이 줄어들었는가? "나는 할 수 있다"라는 신념이 높아졌는가?)
목표 레벨 (The Goal Level): 대화가 실제로 원하는 결과(기부하기, 혹은 기분 나아지기 등)를 달성했는가?

연구 결과

전문가보다 뛰어난 성능: 연구진은 15만 개 이상의 대화 조각을 사용하여 CogWM을 학습시켰습니다. 다른 최고 수준의 AI 모델들과 비교 테스트했을 때, CogWM은 사용자의 내면적 감정과 생각을 예측하는 데 있어 기존의 가장 우수한 모델들보다 약 2배 더 정확했습니다.
"가짜" 변화 vs "진짜" 변화: 연구진은 6개의 유명한 AI 챗봇을 테스트했습니다. 어떤 챗봇들은 "좋은 결과"(예: 사용자가 "네, 기부하겠습니다"라고 말하게 함)를 얻어내는 데 탁월했습니다. 하지만 '여정'을 살펴보았을 때, 일부 챗봇은 사용자의 마음을 실제로 변화시킨 것이 아니라 단순히 압박을 가해 "네"라는 대답을 끌어냈다는 것을 발견했습니다.
- 비유: 한 챗봇은 단거리 선수(Sprinter) 같았습니다 (빠른 결과를 냈지만 사용자의 마음은 정말로 변하지 않았습니다). 또 다른 챗봇은 꾸준한 등산객(Steady Hiker) 같았습니다 (사용자의 마음을 더 나은 곳으로 천천히 인도했습니다).
"블랙박스"를 열다: CogWM을 통해 우리는 드디어 챗봇이 왜 성공했는지, 혹은 왜 실패했는지를 알 수 있습니다. 우리는 대화의 어느 지점에서 사용자가 희망을 느꼈는지, 혹은 어느 지점에서 압박감을 느꼈는지를 정확히 파악할 수 있습니다.

요약하자면
이 논문은 대화를 단순히 "최종 점수"로 판단하는 것이 아니라, 사용자의 마음이 어떻게 변해갔는지에 대한 이야기로 판단하는 도구를 소개합니다. 이는 "영향력"이라는 보이지 않는 과정을 눈에 보이는 측정 가능한 지도로 바꾸어, 어떤 AI 어시스턴트가 진정으로 도움이 되는지, 그리고 어떤 것이 그저 말만 번지르르한 것인지를 보여줍니다.

기술 요약: 프로세스 수준의 사회적 영향력 평가를 위한 인지 세계 모델 (Cognitive World Models)

1. 문제 정의

사회적 영향력 대화(Social Influence Dialogue, SID) 시스템은 단순히 외부적인 과업을 완수하는 것을 넘어, 사용자의 내부 인지 상태—구체적으로 신념(Beliefs), 욕구(Desires), 의도(Intentions), 감정(Emotions)—를 변화시키는 것을 목표로 한다. 과업 지향 대화(Task-Oriented Dialogue)가 목표 달성에 집중하고 비협조적 대화(Non-Cooperative Dialogue)가 갈등 해결에 집중한다면, SID는 인지 변화의 *과정(process)*을 측정하는 것을 요구한다.

현재의 평가 방법들은 이러한 과정 중심적 기준을 포착하는 데 실패하고 있다:

표면적 텍스트 지표 (BLEU/ROUGE): 사회적 영향력이라는 목적을 완전히 무시한다.
LLM-as-Judge: 종단적(terminal)이고 블랙박스적인 점수만을 제공하며, 인지 상태 진화의 궤적에 대해서는 아무것도 알려주지 않는다.
인간 평가: 비용이 많이 들고 확장이 불가능하며, 세밀한 턴 단위의 인지 변화를 추적할 수 없다.
기존 사용자 시뮬레이터: 사용자 발화를 예측하지만, 그 이면의 "이유"(내부 BDI/E 상태)를 모델링하지 못하여 신념, 욕구, 의도, 감정을 관찰할 수 없는 상태로 남겨둔다.

핵심 과제는 평가 프레임워크를 종단적 판단에서 **프로세스 추적(process tracking)**으로 전환하여, 에이전트가 대화 과정 동안 사용자의 내부 인지 상태를 어떻게 측정 가능한 수준으로 변화시키는지 정량화하는 것이다.

2. 방법론: 인지 세계 모델 (CogWM)

저자들은 CogWM이라는 LLM 기반 사용자 모델을 제안하며, 이는 대화 평가의 관점을 "사용자가 무엇을 말했는가"에서 "사용자의 내부 인지 상태가 어떻게 진화했는가?"로 재정의한다.

2.1 핵심 프레임워크

CogWM은 **사용자 발화( $U_t$ )**와 **BDI/E 인지 상태( $S_t$ )**를 공동으로 예측하는 조인트 예측기(joint predictor)로 작동한다.

BDI/E 차원:
- 신념 (Belief): 사용자가 믿거나, 알거나, 판단하는 것.
- 욕구 (Desire): 사용자가 원하거나, 필요로 하거나, 선호하는 것.
- 의도 (Intention): 사용자가 계획하거나, 결정하거나, 실행하기로 약속한 것.
- 감정 (Emotion): 사용자의 현재 정서적 상태와 강도.
입력/출력: 사용자 프로필( $P$ ), 과업 컨텍스트( $C$ ), 대화 이력( $H_{<t}$ )이 주어지면, CogWM은 다음 상태 $S_t$ 와 발화 $U_t$ 를 예측한다.
이중 역할: 이는 사용자 시뮬레이터(현실적인 반응과 상태 생성)이자 평가 플랫폼(시뮬레이션된 사용자에게 미치는 에이전트의 영향력 정량화)으로서 기능한다.

2.2 데이터 구축: 요약 및 할당 (Summarize-and-Allocate, SaA)

CogWM을 훈련시키기 위해 저자들은 네 가지 시나리오(정서적 지원(ESConv), 자선 기부 설득(P4G), 대화형 추천(DuRecDial), 오픈 도메인(DailyDialog))에 걸쳐 150,454개의 사용자 턴 샘플로 구성된 데이터셋을 구축했다.

주석 파이프라인: 2단계 방법을 개발했다:
1. 전역 요약 (Global Summarization): 전체 대화로부터 전역 BDI 항목과 점수를 추출한다.
2. 시간적 할당 (Temporal Allocation): 근거(evidence)를 바탕으로 각 턴의 BDI/E 상태를 할당하고 이를 전역 요약과 연결한다.
품질: 인간 검증 결과, 전역 BDI 재현율(recall)은 0.79, 감정 Cohen's $\kappa$ 는 0.69로 나타났다.

2.3 평가 프레임워크: 3단계 시스템

평가는 세 가지 계층적 단계로 구조화된다:

턴 단위 충실도 (Turn-Level Fidelity): 8개의 자동 지표(예: 의미론적 유사도, MAE)와 5개의 LLM-as-Judge 의미론적 지표를 사용하여 단일 응답의 품질을 평가한다.
궤적 수준 상태 역학 (Trajectory-Level State Dynamics): 금융 시계열 분석에서 차용한 네 가지 지표를 통해 다회차 진화를 모델링한다:
- AUC: 누적 성능 (Area Under Curve).
- $\Delta$ : 초기 상태와 최종 상태 사이의 순 변화량.
- PSR: 개선 빈도 (Positive Step Ratio).
- Mono: 방향성 일관성.
과업 수준 종합 점수 (Task-Level Composite Scoring): 궤적 지표를 두 가지 점수로 집계한다:
- CTS (Composite Trajectory Score): 전역적 인지 영향력을 측정하는 가중 합계 ( $0.40 \cdot AUC + 0.30 \cdot PSR + 0.30 \cdot \Delta$ ).
- GO (GoodOutcome): 특정 행동 결과(예: 기부, 수락)를 달성했는지 여부를 나타내는 이진 지표.

3. 주요 기여

3단계 BDI/E 평가 프레임워크: 고전적인 BDI 모델을 LLM 시대에 맞게 변형하여, 턴 단위 충실도부터 전역적 궤적 영향력까지 분해 가능한 평가를 가능하게 했다.
SaA 주석 파이프라인: 네 가지 서로 다른 사회적 영향력 시나리오 전반에 걸쳐 명시적이고 해석 가능한 BDI/E 상태를 가진 150K 이상의 주석 샘플을 생성하는 확장 가능한 방법을 제공한다.
CogWM 모델: 인지 상태와 텍스트를 동시에 예측하는 공동 훈련 모델(Qwen3-14B 기반)이다. 이 모델은 77.6%의 감정 정확도를 달성하여 GPT-5.5보다 2.1배 향상된 성능을 보였으며, 신념, 욕구, 의도를 추적하는 데 있어 베이스라인을 크게 앞질렀다.
프로세스 vs 결과의 경험적 검증: 3,600회의 멀티 에이전트 판별 실험을 통해, 인지 궤적 개선(CTS)과 행동 결과(GO)가 동일하지 않음을 입증했다. 에이전트는 유의미한 인지 변화를 일으키지 못하면서도(평탄한 궤적) 긍정적인 행동 결과(GO=true)를 달성할 수 있으며, 그 반대의 경우도 가능하다.

4. 실험 결과

4.1 시뮬레이션 충실도

상태 예측: CogWM-14B는 77.6%의 감정 정확도를 기록하며 GPT-5.5(36.4%)와 DeepSeek-V4-Pro(31.0%)를 능가했다. 또한 BDI 의미론적 유사도와 정량적 점수 정확도(MAE)에서도 앞섰다.
발화 생성: CogWM은 길이 비율(Length Ratio, LenR) 1.01을 달 기록하여(정답과 거의 완벽히 일치), API 베이스라인들이 지나치게 긴 응답을 생성하는 경향(LenR > 1.8)을 보이는 것과 대조되었다.
공동 훈련의 필요성: 절제 연구(Ablation studies)를 통해, 인지 상태 추적은 공유된 입력 분포만으로는 습득될 수 없으며, 상태 예측과 텍스트 생성을 명시적으로 공동 최적화해야 함을 확인했다.

4.2 에이전트 판별

6개의 상용 에이전트(GPT-5.5, Llama-4-Scout, DeepSeek-V4-Pro 등)를 비교한 실험 결과:

순위: Llama-4-Scout가 CTS +0.233로 1위를 차지하며, 긍정적인 인지 궤적을 유도하는 탁월한 능력을 보여주었다.
유형론: 에이전트들은 "올라운더(All-round)" (Llama), "스프린트(Sprint)" (Qwen: 높은 순 변화량이나 낮은 누적 이득), "스테디(Steady)" (Claude), "공허함(Hollow)" (Gemini: 모든 지표에서 낮은 성능)로 분류되었다.
CoT의 영향: 생각의 사슬(Chain-of-Thought) 프롬프팅은 에이전트들에게 비대칭적인 영향을 미쳤다. GPT-5.5의 정서적 궤적은 크게 개선했으나, 이미 강력한 에이전트들에게는 미미한 이득만을 주었다.
CTS와 GO의 괴리: 연구는 높은 GO 점수(과업 성공)가 높은 CTS 점수(인지적 개선)를 보장하지 않는다는 점을 강조했다. 예를 들어, 정서적 지원에서 일부 에이전트는 실제적인 인지 변화를 이끌어내지 못한 채 예의 바른 종결(polite closure)을 통해 GO=true를 달성했는데, 이는 CTS를 통해서만 포착되는 미묘한 차이다.

5. 의의 및 주장

본 논문은 사회적 영향력 대화 평가의 패러다임을 종단적 판단에서 프로세스 추적으로 전환한다고 주장한다. 사용자의 내부 인지 상태를 명시적이고 감사(audit) 가능한 형태로 만듦으로써, CogWM은 다음을 제공한다:

해석 가능성: 평가 결론을 특정 턴과 BDI/E 차원으로 추적할 수 있다.
세밀함: 표면적 지표가 놓치는 미묘한 인지적 변화를 포착한다.
확장성: 복잡한 사회적 영향력 시나리오에 대한 저비용의 자동화된 평가를 가능하게 한다.

저자들은 CogWM을 단순한 메트릭이 아니라, 항공기의 풍동 실험 장치와 유사한 사회적 AI 인프라로 포지셔닝한다. 이는 개발자들이 배포 전에 에이전트의 인지적 영향을 관찰할 수 있게 하여, 조작적인 AI를 방지하고 책임감 있는 사회적 영향력을 보장하는 구체적인 도구를 제공한다. 이 연구는 진정한 사회적 영향력이란 단순히 거래를 완료하는 것이 아니라, 사용자의 내부 상태에 측정 가능한 변화를 일으키는 것임을 강조한다.