🤖 AI

Social Structure Matters in 3D Human-Human Interaction Generation

本文提出了“从单人到社交”（Solo-to-Social）框架，该框架通过采用一种规划器-执行器范式来解决文本驱动的 3D 人与人交互生成中的挑战，其中大语言模型推断潜在的社交结构（阶段与角色），而运动执行器则将该结构落实为物理上合理且协调的双人运动。

原作者： Zhongju Wang, Beier Wang, Yatao Bian, Pichao Wang, Zhi Wang, Daoyi Dong, Hongdong Li, Huadong Mo, Zhenhong Sun

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhongju Wang, Beier Wang, Yatao Bian, Pichao Wang, Zhi Wang, Daoyi Dong, Hongdong Li, Huadong Mo, Zhenhong Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对论文《Social Structure Matters in 3D Human-Human Interaction Generation》的解析，通过简单的概念与富有创意的类比进行拆解。

核心问题：两个人，一段文字

想象一下，你要求电脑画一张两个人在拥抱的照片。如果你只是要求它“画一个拥抱”，它可能会画出两个人并排站立，或者一个人在拥抱一堵墙。

在 3D 动画领域，根据一段文本描述（例如“一个人靠近、拥抱、然后松开”）来让两个人进行逼真的协同运动是非常困难的。以往的方法将此视为两个同时进行的独立独舞。但人类的互动不仅仅是两场独舞，它是一场动作的对话。

作者认为，这些动画中缺失的关键要素是社会结构（Social Structure）。

什么是“社会结构”？

把社交互动想象成一场剧院里的戏剧。

单人动作（Solo Motion）： 这就像演员在独自排练台词。他们知道如何行走、挥手或跳跃。
社会结构（Social Structure）： 这是剧本和舞台指示。它告诉你要完成：
1. 阶段（The Phases）： 故事有不同的幕（例如：靠近、接触、分离）。你不能在走近对方之前就进行拥抱。
2. 角色（The Roles）： 在每一场戏中，谁在做什么？A 是“拥抱者”还是“被拥抱者”？A 是“攻击者”还是“防御者”？

如果没有这种结构，电脑可能会让 A 试图拥抱，而 B 却在走开，或者让他们的朝向完全不对。结果看起来像是两个互不相识的人，而不是两个正在互动的人。

发现：“思考者” vs. “舞者”

研究人员测试了一个非常聪明的 AI（大语言模型或 LLM），看它能否独立处理整个工作。他们发现了一个明显的差异：

LLM 是优秀的“导演”（思考者）：
如果你要求 LLM 规划场景，它表现得非常出色。它可以将故事分解为阶段（“首先他们走近，然后接触，然后分离”）并分配角色（“A 发起，B 接收”）。它完美理解了互动的逻辑。
LLM 是糟糕的“舞者”（执行者）：
然而，当你要求 LLM 实际生成 3D 动作（骨骼的坐标）时，它失败了。它生成的动作僵硬、静态或摇晃。这就像一位知道场景应该如何呈现，却从未学习过如何移动自己身体的导演。

解决方案：“规划者-执行者”团队

因为 LLM 擅长思考但不擅长运动，作者创建了一个名为**“用 LLM 思考，用运动技能移动”**的两部分协作团队。

第一部分：规划者（LLM）

LLM 充当编剧和导演。

它接收一个简单的文本提示（例如：“两个人击掌”）。
它将其分解为一个结构化的计划：
- 阶段 1（靠近）： A 向 B 走去。
- 阶段 2（接触）： A 举起手，B 也举起手。
- 阶段 3（分离）： 他们将手拉开。
至关重要的是，它为每个人分配了特定的角色，以便他们知道各自的任务。

第二部分：执行者（运动模型）

执行者是一个专门的机器人，它在数千小时的单人人类运动数据上进行了训练（就像一位练习了数百万个步骤的专业舞者）。

作者并没有让这个机器人从零开始学习，而是给了它一个专门的升级（称为 LoRA）。
这个升级让机器人能够听从导演的计划。
神奇之处在于： 机器人不仅是在移动，它还相对于另一个人进行移动。
- 自我调节（Self-Conditioning）： 它会记住自己刚刚做了什么，以确保过渡平滑（避免在不同阶段之间出现顿挫感）。
- 伙伴调节（Partner-Conditioning）： 它会观察对方此时此刻的位置，并调整自己的动作以与之匹配。如果搭档后退一步，机器人也会向前迈进一步来迎接对方。

结果：一场协调的舞蹈

通过将导演的剧本（社会结构）与舞者的肌肉记忆（运动技能）相结合，该系统创造出的动画具有以下特点：

时机完美（他们不会错过彼此的手）。
角色合理（拥抱者确实在拥抱，被拥抱者确实在接受）。
动作流畅，就像真实的人类一样。

总结类比

想象你想盖一座房子。

旧方法： 你雇佣了两名砖匠，告诉他们“盖一座房子”。他们各自盖了一面墙，但墙与墙之间没有连接，屋顶也是悬空的。
仅有 LLM： 你雇佣了一位建筑师，他写出了完美的蓝图，但拿不起抹刀。蓝图很棒，但房子从未建成。
本文的方法： 你雇佣了一位建筑师来编写一份详细的、分步骤的计划，并为每位工人分配了特定角色。然后，你雇佣了一位精通砌砖的高级建筑师/工匠。建筑师会向工匠明确说明每一步该做什么，而工匠则利用其专业技能完美地铺设每一块砖。最终建成的房子既稳固又完全符合预期。

这篇论文证明了，为了让两个人在 3D 空间中进行逼真的互动，你需要显式地建模社会剧本（阶段与角色），并让专门的运动模型去执行，而不是强迫一个文本 AI 去完成物理层面的舞蹈。

技术摘要：社会结构在 3D 人机交互生成中的重要性

问题定义

虽然文本到动作（text-to-motion）生成在合成自然语言驱动的单人 3D 动作方面已取得了显著成功，但将这种能力扩展到文本驱动的 3D 人与人交互（HHI）仍然具有挑战性。现有的方法通常将 HHI 视为单人动作生成的直接空间扩展，即共同建模两个参与者或组合单个动作先验。然而，这忽略了 HHI 的一个基本属性：交互不仅仅是两个合理的个体动作之和，而是由底层的**社会结构（social structure）**所组织的。

这种社会结构支配着两个关键维度：

阶段演进（Phase Progression）： 将交互在时间上组织成不同的阶段，如接近（approach）、接触（contact）、释放（release）或原地协调（in-place coordination）。
伙伴感知协调（Partner-Aware Coordination）： 在每个阶段中，参与者之间存在不对称但相互耦合的责任（例如，发起者与接收者，或攻击者与防守者）。

如果不对这种结构进行显式建模，生成的动作往往缺乏阶段一致性（例如，参与者接近的时间不一致）或伙伴感知能力（例如，面向错误的方向或执行不兼容的角色），导致尽管单个姿态看起来合理，但交互却显得不连贯。

方法论

本文提出了一个名为“用 LLM 思考，用 Motion Skill 运动”的规划器-执行器范式（planner-executor paradigm），将社会结构规划与动作执行分离。该方法基于这样一个观察：大语言模型（LLM）拥有强大的语义推理能力，但缺乏生成连续 3D 动作所需的运动学精度。

1. 社会结构规划（规划器）

作者利用 LLM（具体为 Qwen3.5）将隐式的全局交互描述转换为显式的、与动作对齐的社会监督。

动作对齐标注（Motion-Aligned Annotation）： 为了防止 LLM 生成语言上合理但运动上不一致的计划，系统从真实的 HHI 数据集（InterHuman 和 InterX）中提取“运动事实（motion facts）”。这些事实包括人际距离演变、动作发起者、接触语义以及肢体层面的线索。
分解（Decomposition）： LLM 以全局文本、检测到的阶段标签（接近、接触、释放、原地）以及这些运动事实为条件。随后，它输出一个结构化计划，该计划由阶段级单元和伙伴感知的角色分配（例如，在每个阶段中 Person 1 和 Person 2 的特定动作）组成。
结果： 这一过程将粗粒度的“文本-动作”对转化为细粒度的、与运动对齐的社会标注 ( $S$ )，从而在语言意图与动作执行之间架起了一座桥梁。

2. 从单人到社交（S2S）动作执行（执行器）

为了将规划的社会结构落实为连续的、协调的 3D 动作，作者引入了 Solo-to-Social (S2S) 框架。S2S 并非从头开始训练新模型，而是使用参数高效的低秩自适应（LoRA）技术来适配预训练的单人动作骨干网络（HY-Motion 1.0）。

阶段性自我调节（Phase-wise Self-Conditioning）： 为了确保阶段之间的平滑过渡，模型将当前阶段的生成建立在上一阶段最后 $e$ 帧的基础上。这使得时间演进能够落实到连续的轨迹中。
自我中心相对伙伴调节（Ego-Relative Partner Conditioning）： 为了实现伙伴感知协调，模型将参与者 $i$ 的生成建立在经过变换后的参与者 $j$ 的运动之上，该运动被转换到了参与者 $i$ 的自我中心坐标系中。这使得模型能够直接观察相对位置、朝向和交互几何关系。
训练目标： 训练目标结合了原始的流匹配损失（flow-matching loss）以及针对时间平滑度、相对距离和相对朝向的损失，确保模型在学习社会协调的同时保留原子级的动作先验。

核心贡献

问题形式化： 本文将文本驱动的 3D HHI 生成形式化为一个社会结构建模与落地问题，明确指出阶段演进和伙伴感知协调是核心组织原则，而非将其视为简单的双人扩展。
能力边界分析： 通过诊断性研究，作者证明了 LLM 在社会结构规划（恢复阶段分解和角色）方面非常有效，但在直接进行连续 3D 动作执行方面不足，因为其缺乏运动学精度和动态一致性。
规划器-执行器范式： 一种新颖的框架，其中 LLM 规划器重新组织 HHI 数据集以获得细粒度的、与运动对齐的标注，而 S2S 执行器则通过适配预训练的单人模型，将这些结构落地为协调的动作。
S2S 框架： 引入了阶段性自我调节和自我中心相对伙伴调节，并结合 LoRA，有效地将单人动作先验迁移到社会交互任务中。

实验结果

所提方法在标准 HHI 基准测试（InterHuman 和 InterX）上与五种现有基线模型（ComMDM, in2IN, InterGen, InterMask, TIMotion）以及仅使用社会规划器配合原始单人模型的变体进行了评估。

定量性能： 所提方法取得了最高的 R-Precision（24.67% Top-1）和最低的 Fréchet Inception Distance (FID)（0.65），表明其具有卓越的文本-动作对齐度和动作真实感。在用户研究中，它也在阶段一致性（2.57 排名）和伙伴协调（2.78 排名）方面取得了最佳得分。
定性改进： 视觉对比显示，与经常出现过早接触、静态交互或角色错位的基线模型相比，该方法能产生更清晰的阶段转换（例如，明显的接近、接触和释放阶段）以及更连贯的伙伴感知行为（例如，正确的阻挡、握手和抬举协调）。
消融实验： 去除社会结构规划会导致 R-Precision 大幅下降；去除运动事实会降低运动一致性；去除自我调节会损害阶段平滑度；而去除伙伴调节则会严重降低人际空间协调性（相对距离和朝向误差）。

意义与主张

论文声称，将社会结构作为 HRI 生成的核心抽象对于实现连贯的交互至关重要。通过将 LLM 的语义推理与专门的运动模型的运动学执行解耦，该框架成功地弥合了高层交互组织与底层动作实现之间的鸿沟。

作者指出，他们的工作验证了社会结构规划（用于组织交互）和运动级落地（用于确保物理合理性）两者的重要性。他们将此方法定位为迈向更具可控性和语义落地性的交互式人体动作生成的一步，在动画、虚拟化身和具身智能领域具有潜在的应用价值，同时也承认未来仍需在扩展至多人数场景和更复杂的社会动态方面开展工作。