技术摘要：OmniSapiens：通过异构感知相对策略优化实现社会行为处理的基础模型

1. 问题陈述

社会智能 AI 系统需要具备跨多种人类行为任务进行推理并泛化到新社会场景的能力。然而，现有的 AI 系统主要针对单一行为任务（如情感分析或情绪识别）进行专门化设计，缺乏能够有效泛化到多样化行为场景的统一模型。

开发统一社会行为模型的主要挑战在于行为数据的内在异构性。这些数据跨越了不同的特征类型（例如声学韵律、人际交互、文本、视觉）和预测目标（例如情绪分类、社会推理、病理状态检测）。这种异构性导致样本间的训练信号分布不均，从而产生不平衡的学习动力学。

目前的统一模型通常采用强化学习（RL）方法，如组相对策略优化（GRPO），来增强推理能力。然而，这些方法在聚合异构样本的策略更新时，并未显式地调节其学习动力学的差异。因此，优化过程可能会被特定的行为任务或具有系统性高优势值（advantage magnitudes）的样本所过度主导，从而阻碍多任务性能和跨场景泛化。

2. 方法论

2.1 模型架构：OmniSapiens-7B 2.0

作者引入了 OMNISAPIENS-7B 2.0，这是一个用于统一社会行为分析的基础模型。

• 骨干网络： 该模型利用 Qwen 2.5 Omni-7B 作为其多模态基础架构，能够处理文本、视觉和音频输入。
• 训练设置： 它在 Human Behavior Atlas 基准测试上进行训练，涵盖了 10 个不同行为任务的 100,000 多个样本：情感（SEN）、情绪识别（EMO）、社会推理（SOC）、意图识别（INT）、非语言交流（NVC）、幽默（HUM）、讽刺（SAR）、焦虑（ANX）、抑郁（DEP）和创伤后应激障碍（PTSD）。
• 目标： 训练一个单一的共享策略 $\pi_\theta$，以同时最大化所有任务的性能。

2.2 核心算法：异构感知相对策略优化 (HARPO)

为了解决学习信号不平衡的问题，论文提出了 HARPO，这是一种无需评论家（critic-free）的在策略（on-policy）强化学习方法。HARPO 通过动态重新平衡异构样本和任务之间的学习信号，对标准的 GRPO 目标函数进行了修改。

HARPO 的关键机制：

1. 贡献信号近似：
   由于策略梯度由优势值缩放，优势值的量级可以作为样本对策略更新贡献度的代理。HARPO 在两个层级计算贡献信号：

   • 样本级 ($p^{(t)}_{(m,q)}$)： 特定任务 $m$ 中特定样本 $q$ 的平均绝对组归一化优势值。
   • 任务级 ($p^{(t)}_m$)： 任务 $m$ 中所有样本的平均绝对组归一化优势值。

2. 几何中心化调制：
   为了防止任何单一任务或样本过度影响更新，HARPO 根据其与几何平均数参考值的偏差来缩放优势值。

   • 计算几何平均数参考值（样本级的 $\bar{p}^{(t)}_{ref,m}$ 和任务级的 $\bar{p}^{(t)}_{ref,M}$）。
   • 调制因子（$s^{(t)}_{(m,q)}$ 和 $s^{(t)}_m$）被定义为贡献信号与几何平均数之比的倒数。
   • 效果： 贡献信号高于参考值的样本或任务将获得 $<1$ 的因子（降尺度），而低于参考值的则获得 $>1$ 的因子（升尺度）。
   • 稳定性： 由于这些因子是基于几何平均数构建的，它们的几何平均值恰好为 1。这确保了乘法升尺度与降尺度能够精确补偿，从而避免了对全局步长的意外改变。

3. 惯性平滑：
   为了确保稳定性并响应持久趋势而非随机的在策略波动，贡献信号和调制因子使用惯性控制进行更新：

   • 贡献信号使用指数移动平均（EMA）。
   • 调制因子（作为乘法比例）通过乘法更新进行平滑。

目标函数：
HARPO 保留了 GRPO 的 PPO 式信任区域目标，但将标准的组归一化优势 $\hat{A}$ 替换为 HARPO 调制的优势 $A^H$：
$$A^H_{(m,q,i)} = s^{(t)}_{(m,q)} \cdot s^{(t)}_m \cdot \hat{A}^{(t)}_{(m,q,i)}$$

2.3 奖励设计

模型使用复合奖励函数 $r$ 进行训练：
$$r = (1 - w_{fmt}) r_{task} + w_{fmt} r_{fmt} + \lambda_{len} r_{len}$$

• $r_{task}$： 针对精确标签匹配（分类）或自由文本问答（余弦相似度）的二元奖励。
• $r_{fmt}$： 针对遵循所需输出结构（推理轨迹后接预测）的二元奖励。
• $r_{len}$： 针对过度响应长度的惩罚。

3. 核心贡献

1. OmniSapiens-7B 2.0： 发布了一个能够共同应对涵盖情感、认知、病理和社会维度的广泛行为分析任务的统一基础模型。
2. HARPO： 引入了一种新的强化学习方法，专门设计用于通过在不使用评论家网络的情况下重新平衡学习信号，从异构行为数据中学习。
3. 可解释性： 模型生成了更具可解释性的推理轨迹，提高了在现实应用中的透明度和可靠性。

4. 实验结果

4.1 多任务性能

在 10 个行为任务的评估中，OmniSapiens-7B 2.0 与以下模型相比，表现出最佳且最一致的性能：

• 通用型 LLM：（如 Gemma-4, Qwen-2.5-Omni）。
• 专门化行为模型：（如 HumanOmniV2, 先前的 OmniSapiens 变体）。
• RL 算法： 在 GRPO, RLOO, RE++, GPG 和 EMAGRPO 中表现优于它们。

关键指标：

• 在所有模型中取得了最高的平均任务排名 (1.90)。
• 比之前的最先进模型性能提升高达 +12.02%。
• 展示了鲁棒性，而其他方法（如 GRPO）在特定任务（如讽刺检测）上会出现性能崩溃。

4.2 零样本泛化

模型在五个未见过的行为基准测试（自闭症检测、语音情绪识别、野外抑郁识别、社交媒体情感、讽刺不一致性）上进行了评估，且未进行微调。

• OmniSapiens-7B 2.0 在所有五个留出任务上均优于所有基准模型。
• 增益最高达到 +9.37%（对比之前的模型）。
• 这表明该模型学习到了可迁移的行为特征，能够泛化到训练分布之外。

4.3 推理轨迹可解释性

论文通过 XAI（可解释人工智能）的设计准则评估了推理轨迹的质量：

• 鲁棒性： 在独立采样轨迹和改写变体之间取得了最高的连贯性 (87.7%) 和一致性 (88.4%)。
• 效率： 生成的推理轨迹显著比基准模型更简洁（19.86 个 token），相比之下，基elines（如 OmniSapiens-7B RL）为 57.69 个 token。
• 人类评估： 在成对比较中，OmniSapiens-7B 2.0 在简洁性方面在 99.2% 的情况下优于或等于基准模型，在连贯性方面为 88.3%，在特异性方面为 78.9%。

4.4 消融实验

• 结构化调制： 去除几何参考值（使用简单的倒数缩放）会导致性能下降（平均排名 2.00 vs 1.90），证实了通过几何中心化防止全局步长失真的必要性。
• 惯性控制： 去除惯性平滑会显著降低性能（平均排名 2.70），特别是在贡献信号波动的任务中（如讽刺、情感）。
• 样本级调制： 去除样本级调制（仅保留任务级）会导致性能下降（平均排名 2.60），表明需要在个体样本层面平衡信号，以抑制极端的优势值。

5. 重要性与主张

论文声称 OmniSapiens-7B 2.0 代表了迈向统一社会行为分析的重要一步。通过 HARPO 对异构学习信号进行显式建模，该模型克服了现有统一方法受限于不平衡学习动力学的局限性。

作者断言，他们的工作：

• 开启了潜在的应用场景，包括情感计算、行为健康和社会智能 AI 系统，特别是在行为数据稀缺且模型可解释性至关重要的场景下。
• 证明了通过保护较弱但具有结构意义的信号（通过 HARPO），基础模型可以更有效地编码潜在的社会和行为结构。
• 为现实世界的行为应用提供了一个可靠的框架，生成的推理轨迹不仅准确，而且鲁棒、高效且具有可解释性。

这项工作表明，未来的社会行为基础模型可能会受益于显式处理学习信号的异构性，而不是将所有任务和样本视为统一对待。