Towards Real-world Human Behavior Simulation: Benchmarking Large Language Models on Long-horizon, Cross-scenario, Heterogeneous Behavior Traces

这篇论文提出并评估了一个名为 OmniBehavior 的基准测试，旨在解决当前大语言模型（LLM）在模拟真实人类行为方面的局限性。以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

尽管 LLM 在通用用户模拟方面展现出潜力，但现有的基准测试存在显著缺陷：

• 场景孤立 (Isolated Scenarios)：现有数据集通常局限于单一场景（如仅视频浏览或仅电商对话），无法捕捉跨场景的因果链条。
• 行动空间狭窄 (Narrow Action Spaces)：主要关注点击或观看等简单行为，忽略了搜索、评论、咨询、购买等异构行为。
• 数据合成偏差 (Synthetic Data Bias)：许多基准依赖合成数据，无法反映真实用户兴趣演变的随机性和长尾分布。
• 缺乏长程依赖 (Lack of Long-horizon)：真实用户决策往往跨越数天甚至数周，涉及多个场景的累积效应，而现有模型难以处理这种长序列因果链。

这些问题导致 LLM 无法真实模拟复杂的人类决策过程，限制了其在推荐系统、交互 AI 和社会科学模拟中的实际应用。

2. 方法论 (Methodology)

2.1 OmniBehavior 基准构建

作者从快手（Kuaishou）平台收集了真实世界数据，构建了第一个完全基于真实用户交互日志的基准。

• 数据来源：2025 年 9 月至 11 月，覆盖 200 名代表性用户的 3 个月完整交互日志。
• 数据规模：包含 5 大场景（视频浏览、直播、广告、电商、搜索）和 22 种异构行为动作。平均序列长度达 8,143 个动作，最长超过 10 万步。
• 处理流程：
  1. 数据收集与聚合：按时间戳整合多场景日志。
  2. 清洗：分为行为级（剔除误触、异常时长）和文本级（利用 LLM 修正 OCR/ASR 噪声）清洗。
  3. 采样：基于人口统计、活跃度、兴趣分布和场景偏好进行 K-Means 聚类，选取最具代表性的 200 名用户。
  4. 匿名化：使用本地部署的 LLM 替换敏感实体并过滤有害内容。
• 任务定义：给定用户画像、历史行为序列和当前场景上下文，预测用户在特定场景下的行为（如是否点赞、购买时长、客服对话回复）。

2.2 真实用户行为分析

在评估模型前，作者对真实数据进行了深度分析，揭示了三个关键发现：

1. 多场景必要性：单一场景数据存在“隧道视野”，整合多场景数据能将兴趣覆盖率提升 20-30%。
2. 长程因果链：超过 80% 的转化路径跨越多个场景且时间跨度超过 3 天，证明长序列异构数据对建模至关重要。
3. 合成数据偏差：合成数据（如 LoCoMo）表现出机械的兴趣突变，而真实用户兴趣演变呈现平滑、随机的“软漂移”特征。

2.3 实验设置

• 模型：评估了 11 个 SOTA LLM，包括闭源模型（Claude 系列、Gemini、GPT 系列）和开源模型（GLM、DeepSeek、Qwen、Kimi）。
• 指标：
  • 二值行为（如点赞）：F1 分数。
  • 连续行为（如观看时长）：归一化平均绝对误差 (NMAE)。
  • 文本行为（如客服对话）：LLM-as-a-judge（评估意图、人设、知识边界、语义对齐）。
• 上下文管理：测试了不同上下文窗口大小（16k-128k）及记忆管理机制（截断、RAG、摘要）。

3. 关键结果 (Results)

3.1 模型性能表现

• 整体表现不佳：即使表现最好的模型（Claude-Opus-4.5）总评分也仅为 44.55，大多数模型在 32-41 之间。这表明当前 LLM 难以捕捉人类行为的随机性、长尾分布和跨场景依赖。
• 开源模型潜力：开源模型 GLM-4.7 表现优异（41.46），在某些特定任务（如电商二值行为预测）上甚至超越了部分闭源模型。
• 长上下文失效：增加上下文窗口（从 32k 到 128k）并未显著提升性能，表明模型缺乏有效的长程推理能力。现有的记忆管理机制（RAG、摘要）效果有限，无法保留因果结构。

3.2 结构性偏差：积极与平均化 (Structural Bias)

研究发现 LLM 模拟者存在严重的**“积极与平均” (Positivity-and-Average)** 偏差：

1. 过度活跃 (Hyper-activity)：LLM 高估了用户的积极互动概率（如点赞、购买），真实用户积极率通常低于 10%，而模型预测往往高出 40-60%。这导致模型难以模拟负面反馈（如流失预警）。
2. 人格同质化 (Persona Homogenization)：真实用户的行为向量差异巨大（Inter-user >> Intra-user），而 LLM 生成的用户行为高度重叠，趋向于“平均人”，丧失了长尾个性化特征。
3. 乌托邦倾向 (Utopian Bias)：受对齐机制影响，LLM 生成的对话过于礼貌、克制，缺乏真实用户在面对服务失败时的愤怒、直接和对抗性语言。

4. 主要贡献 (Key Contributions)

1. OmniBehavior 基准：首个完全基于真实世界数据、涵盖长程、跨场景和异构行为的用户模拟基准。
2. 真实行为洞察：通过大规模数据分析，证明了跨场景依赖和长程因果链是准确建模用户偏好的基础，并揭示了合成数据的统计偏差。
3. SOTA 模型评估：系统评估了当前 LLM 在真实用户模拟上的能力差距，确立了新的研究基线。
4. 揭示结构性偏差：首次系统性地指出了 LLM 模拟中的“积极与平均”偏差，强调了其在模拟真实人类多样性（特别是负面和长尾行为）方面的根本缺陷。

5. 意义与展望 (Significance)

• 理论价值：该工作表明，仅靠扩大上下文窗口或微调不足以解决人类行为模拟问题。未来的研究需要关注长程因果推理、记忆结构的设计以及打破“对齐”带来的过度礼貌化。
• 应用价值：OmniBehavior 为评估 LLM 在工业界（如推荐系统、客服机器人、用户流失预测）的可靠性提供了高标准测试床。
• 警示作用：研究警告，如果不解决内在的结构性偏差，LLM 模拟者可能只是人类“理想自我”的镜子，而非真实世界的地图，这在社会科学研究和高风险决策模拟中可能带来严重误导。

总结：这篇论文通过构建高质量的真实世界基准，揭示了当前 LLM 在模拟复杂人类行为时的根本性不足，特别是其在长程推理、跨场景关联以及模拟真实人类（包括负面情绪和个性化差异）方面的结构性缺陷，为未来高保真用户模拟研究指明了方向。