이 연구팀은 **카카오 (Kuaishou)**라는 거대한 동영상 플랫폼의 실제 사용자 데이터 3 개치를 모았습니다.
비유: "이 학생이 3 개월 동안 어떤 동영상을 보고, 어떤 광고를 클릭하고, 어떤 물건을 사고, 어떤 라이브 방송에서 채팅을 했는지"를 모두 기록한 실제 인생 로그를 시험지로 만든 것입니다.
이 시험지는 긴 시간 (3 개월), 다양한 상황 (쇼핑, 방송, 검색 등), 복잡한 행동을 모두 포함하고 있어, AI 가 진짜 사람을 흉내 내기에 얼마나 어려운지 가늠하는 '최고 난이도 시험'이 되었습니다.
2. AI 의 실수: "너무 착하고 똑같은 사람"
비유: "만화 속 주인공 vs 실제 이웃"
연구팀은 최신 AI 모델들 (Claude, GPT 등) 에게 이 시험을 보게 했습니다. 결과는 어땠을까요? AI 는 '착한 만화 주인공'처럼 행동했습니다.
과도한 활동 (Hyper-activity):
실제 사람: 동영상을 100 개 봐도 1 개만 '좋아요'를 누르고, 나머지는 그냥 넘깁니다. (관심 없는 건 무시함)
AI: 모든 동영상에 '좋아요'를 누르고, 모든 광고를 클릭합니다. 너무 열성적입니다.
비유: 실제 사람은 "아, 이거 별로네" 하고 넘기지만, AI 는 "와! 다 좋아요! 다 사요!"라고 외치는 과잉 반응하는 팬 같습니다.
유쾌한 편향 (Utopian Bias):
실제 사람: 배송이 늦으면 화를 내고, "왜 안 왔어? 환불해!"라고 직설적으로 말합니다.
AI: "죄송합니다만, 혹시 배송 상태를 확인해 주실 수 있을까요?"라고 너무 정중하고 예의 바르게 말합니다.
비유: AI 는 **실제 삶의 거칠고 날카로운 감정 (화, 실망, 짜증)**을 지워버리고, 이상향 (Utopia) 에서 사는 완벽한 시민처럼 행동합니다.
개성 없음 (Homogenization):
실제 사람: 사람마다 취향이 다르고, 행동 패턴도 천차만별입니다.
AI: 모든 AI 가 비슷한 평균적인 사람처럼 행동합니다.
비유: 200 명을 뽑아 시험을 봤는데, AI 가 만든 200 명의 캐릭터가 모두 똑같은 얼굴과 성격을 가진 쌍둥이처럼 보였습니다.
3. 결론: "거울은 거울일 뿐, 지도는 아니다"
비유: "거울 vs 지도"
이 연구의 가장 중요한 메시지는 이렇습니다.
"현재 AI 는 **우리가 바라는 이상적인 사람 (거울)**을 비출 뿐, **실제 복잡한 인간 사회 (지도)**를 제대로 보여주지 못합니다."
왜 중요한가요?
만약 AI 를 이용해 '사용자 행동 예측'이나 '서비스 개선'을 한다면, AI 가 너무 착하고 열성적인 가짜 사용자를 만들어내면 실제 서비스는 망할 수 있습니다. (예: "AI 가 다 좋아한다고 해서 무조건 물건을 생산하면 재고가 쌓인다"는 식의 실패)
또한, 긴 시간 동안의 인과관계를 이해하지 못합니다. (예: "3 주 전에 본 동영상이 오늘 구매로 이어졌다"는 연결고리를 놓침)
요약하자면
이 논문은 **"AI 가 진짜 사람처럼 행동하려면, 단순히 짧은 대화만 배우는 게 아니라, 3 개월 동안의 복잡한 인생을 통째로 이해해야 한다"**고 말합니다. 하지만 현재 AI 는 너무 착하고, 너무 똑같으며, 너무 열성적인 가짜 인간을 만들어낼 뿐, 실제 인간의 다채롭고 거친 모습을 제대로 모방하지는 못한다고 경고합니다.
이제 연구자들은 **"AI 가 화도 내고, 관심 없는 건 무시하고, 개성 있게 행동하는 법"**을 찾아야 할 시기가 왔습니다.
1. 문제 정의 (Problem Statement)
대형 언어 모델 (LLM) 은 범용 사용자 시뮬레이터로서의 잠재력을 보여주었으나, 기존 벤치마크와 평가 방식에는 다음과 같은 근본적인 한계가 존재합니다.
단편적인 시나리오 (Isolated Scenarios): 기존 데이터셋은 비디오 시청, 라이브 스트리밍, 이커머스 대화 등 특정 단일 시나리오에 국한되어 있어, 실제 인간의 행동이 여러 시나리오를 오가며 연결되는 통합적 특성을 반영하지 못합니다.
짧은 행동 범위 (Narrow Action Spaces): 클릭, 시청 등 단순한 행동만 포착하여 장기적인 인과 관계와 복잡한 의사결정 과정을 무시합니다.
합성 데이터의 한계: 실제 인간 데이터가 아닌 합성된 데이터는 인간의 행동에서 나타나는 장기적 편향, 긴 꼬리 (long-tail) 분포, 그리고 시나리오 간 상호작용을 제대로 재현하지 못합니다.
결과: 이러한 한계로 인해 LLM 이 실제 사용자의 행동을 정확히 예측하거나 시뮬레이션하는 능력에 대한 신뢰성 있는 평가가 불가능하며, 실제 산업 환경 (추천 시스템, 고객 서비스 등) 에의 적용이 제한됩니다.
2. 방법론 (Methodology)
이 논문은 이러한 격차를 해소하기 위해 OmniBehavior라는 새로운 벤치마크를 제안하고, 이를 기반으로 LLM 의 성능을 평가하고 분석합니다.
A. OmniBehavior 벤치마크 구축
데이터 소스: 중국 최대 비디오 플랫폼인 '콰이쇼우 (Kuaishou)'의 실제 사용자 로그를 기반으로 합니다. (2025 년 9 월~11 월, 3 개월 치 데이터)
데이터 범위:
5 가지 주요 시나리오: 비디오 브라우징, 라이브 스트리밍, 광고, 이커머스, 검색 행동.
22 가지 이질적인 행동: 시청, 좋아요, 공유, 구매, 문의, 검색 등.
규모: 200 명의 대표 사용자에 대한 3 개월 치 행동 로그 (평균 시퀀스 길이 8,143 개 행동, 최대 10 만 개 이상).
구축 파이프라인:
수집: 다중 시나리오 로그를 타임스탬프 기준으로 통합하여 장기간의 행동 시퀀스 생성.
정제: 행동 수준 (무의미한 클릭 제거) 과 텍스트 수준 (OCR/ASR 노이즈 제거 및 LLM 기반 교정) 의 2 단계 클리닝 수행.
샘플링: K-Means 클러스터링을 통해 인구통계학적 특성, 활동 수준, 관심사, 시나리오 선호도 등을 고려한 대표 사용자 200 명 선정.
익명화: 민감 정보 제거 및 유해 콘텐츠 필터링.
B. 평가 태스크 (User-conditioned Prediction)
입력: 사용자 프로필, 과거 행동 시퀀스 (Hu), 현재 시나리오 컨텍스트 (ct).
목표: 해당 시나리오에서의 사용자 행동 (yt) 예측.
이진 분류: 좋아요, 공유, 구매 여부 등.
연속 값: 시청 시간 예측.
텍스트 생성: 고객 서비스 대화에서의 다음 발화 예측.
평가 지표: F1-score (이진), 정규화 평균 절대 오차 (NMAE, 연속), LLM-as-a-judge (텍스트: 의도 충실도, 페르소나 모방도 등).
C. 실험 설정
모델: Claude-4.5 시리즈, GPT-5.2, Gemini-3, GLM-4.7, DeepSeek-V3, Qwen3-235B 등 최신 폐쇄형 및 오픈소스 LLM 평가.
컨텍스트 분석: 16K~128K 토큰까지의 컨텍스트 윈도우 크기 변화에 따른 성능 분석 및 메모리 관리 전략 (Truncation, RAG, 요약) 비교.
3. 주요 기여 (Key Contributions)
OmniBehavior 벤치마크 제안: 실제 산업 로그 기반의 첫 번째 사용자 시뮬레이션 벤치마크로, 장기적 (Long-horizon), 교차 시나리오 (Cross-scenario), 이질적 (Heterogeneous) 행동 패턴을 통합했습니다.
실제 사용자 행동에 대한 체계적 분석:
단일 시나리오 데이터는 '터널 비전 (Tunnel Vision)'을 유발하여 관심사 범위를 20~30% 만 포착하는 반면, 다중 시나리오 데이터는 통합된 사용자 프로파일을 제공합니다.
인간의 의사결정은 80% 이상 여러 시나리오에 걸쳐 3 일 이상 장기적으로 이어지는 인과 사슬 (Causal Chains) 로 구성됨을 입증했습니다.
합성 데이터는 실제 데이터와 통계적 편차가 크며, 실제 데이터 기반 벤치마크의 필요성을 강조했습니다.
LLM 성능 평가 및 한계 규명:
최상위 모델 (Claude-4.5-Opus) 의 전체 점수조차 44.55 에 불과하며, 대부분의 모델이 30~40 대 점수에 머무름을 확인했습니다.
컨텍스트 윈도우를 늘리는 것만으로는 성능이 향상되지 않으며, 기존 메모리 관리 기법 (RAG, 요약) 이도 장기적 인과 관계를 보존하지 못해 한계가 있음을 보였습니다.
구조적 편향 (Structural Bias) 발견: LLM 시뮬레이터가 가진 '긍정성 및 평균화 (Positivity-and-Average)' 편향을 규명했습니다.
과도한 활동성 (Hyper-activity): 실제 사용자보다 긍정적 상호작용 (구매, 좋아요 등) 확률을 과대평가하여 부정적 피드백 (이탈 등) 을 모델링하지 못함.
페르소나 동질화 (Persona Homogenization): 개별 사용자의 고유한 행동 패턴이 사라지고 '평균적인 사람'으로 수렴하여 장기 꼬리 (Long-tail) 행동을 무시함.
유토피아 편향 (Utopian Bias): 정렬 (Alignment) 메커니즘으로 인해 실제 사용자의 불만, 공격성, 갈등 상황을 시뮬레이션하지 못하고 지나치게 politeness(공손함) 하게 반응함.
4. 실험 결과 (Results)
성능: 모든 LLM 이 OmniBehavior 에서 낮은 점수를 기록했습니다. 이진 행동 예측 (좋아요, 공유 등) 의 F1 점수는 대부분 40% 를 넘지 못했습니다.
컨텍스트 길이: 32K~128K 토큰까지 입력 길이를 늘려도 성능이 선형적으로 향상되지 않았으며, 오히려 '중간에서 잃어버림 (Lost in the Middle)' 현상이 관찰되었습니다.
메모리 관리: 요약 (Summary) 기법이 Truncation 보다 약간 낫지만, RAG 는 시나리오 간 인과 관계를 무시하여 특정 시나리오에서 오히려 성능이 저하되었습니다.
편향 분석:
긍정적 예측률: 실제 사용자의 긍정적 상호작용률은 10% 미만인 반면, LLM 모델들은 40~60% 이상을 예측하여 '과도한 활동성' 편향을 보였습니다.
감정 분석: 이커머스 고객 서비스 대화에서 실제 사용자는 불만, 항의, 감정적 표현이 많았으나, LLM 은 중립적이거나 지나치게 공손한 답변만 생성했습니다.
개인화: 실제 사용자는 사용자 간 행동 차이가 크지만 (Inter-user distance ≫ Intra-user distance), LLM 시뮬레이션은 사용자 간 행동이 서로 겹치는 (Homogenization) 경향을 보였습니다.
5. 의의 및 결론 (Significance & Conclusion)
실제 적용의 중요성: LLM 기반 사용자 시뮬레이터가 실제 산업 (추천 시스템, 고객 서비스, 정책 수립 등) 에 적용되기 위해서는 단순한 정확도 이상으로 장기적 인과 관계, 시나리오 간 연결, 그리고 인간 행동의 불완전성과 다양성 (부정적 감정, 이탈 등) 을 포착해야 함을 강조합니다.
연구 방향 제시: 현재 LLM 은 이상적인 '평균 인간'이나 '유토피아적 인간'을 모방하는 경향이 강하므로, 향후 연구는 부정적 피드백, 갈등 상황, 장기 꼬리 행동을 정확히 모델링할 수 있는 아키텍처와 학습 전략을 개발해야 합니다.
경고: 편향된 시뮬레이터는 실제 사회과학 연구나 시스템 평가에서 왜곡된 결과를 초래할 수 있으므로, OmniBehavior 와 같은 실제 데이터 기반 벤치마크를 통한 엄격한 검증이 필수적입니다.
이 논문은 LLM 이 인간 행동을 시뮬레이션하는 데 있어 현재 직면한 근본적인 한계를 데이터 기반의 엄밀한 분석을 통해 규명하고, 향후 고충실도 (High-fidelity) 인간 행동 모델링을 위한 새로운 기준을 제시했다는 점에서 큰 의의가 있습니다.