JointHOI: Jointly Generating Contact Maps Enhances Hand Object Interaction Generation

技术摘要：JointHOI

问题陈述
文本驱动的手—物交互（HOI）生成对于机器人技术和沉浸式应用（AR/VR）至关重要，然而生成具有物理合理性的交互仍然是一个重大挑战。虽然近期的方法可以生成看起来自然的动作，但往往无法保持精确的接触一致性。接触时机或接近程度的微小误差会导致显著的伪影，例如手指悬浮在物体上方或与物体发生穿透。现有方法通常依赖于多阶段流水线（例如，先预测抓取，随后进行动作细化）或隐式潜在先验。这些方法通常使用静态的、二元的接触线索，无法捕捉接触在空间和时间上的结构化特性，而这种特性随着手部接近、抓取、操纵和释放物体而连续演变。因此，这些流水线难以建模随时间变化的接触演变，导致误差传播并缺乏物理基础。

方法论：JointHOH
作者提出了 JointHOI，这是一个单阶段联合扩散框架，旨在根据文本提示词同时生成 3D 手—物运动和动态接触图。其核心创新在于将接触视为运动本身的“内在模态”，而非一个独立的调节信号。

1. 动态接触图表示：
   不同于二元或静态接触图，JointHOI 将接触表示为一个连续的、基于距离的场。物体表面通过一组固定的 $N_c=1024$ 个锚点（通过最远点采样实现）进行离散化。对于每一帧，模型预测每个锚点到左手和右手表面的最小欧几里得距离。这产生了一个密集的、随时间演变的信号（$C \in \mathbb{R}^{L_{max} \times N_c}$），用于追踪逐帧变化的接近程度，避免了阈值敏感性，并为基于梯度的引导提供了平滑信号。

2. 联合扩散模型：
   该框架采用了一个基于 Transformer 的扩散模型，该模型运行在一个统一的序列标记 $y_l$ 上。该标记将左手、右手和物体的运动学状态与两只手的动态接触图进行拼接。

   • 架构： 模型以文本嵌入（CLIP）和物体几何特征（PointNet）为条件。它使用前缀条件将这些信号注入序列中。
   • 训练： 去噪器通过使用标准的 $L_2$ 重构损失，从带噪声的输入中重建干净的联合序列（运动 + 接触）。通过同时生成这两种模态，模型通过共享潜在空间内的自注意力机制，直接学习运动与接触之间的耦合关系（例如：在接近过程中距离减小，在释放过程中距离增大）。

3. 接触内引导 (CIG)：
   为了确保推理时的物理合理性，作者引入了 接触内引导 (CIG)，这是一种无需训练的、基于分类器的采样策略。

   • 机制： 在去噪过程中，CIG 强制要求模型显式生成的接触图 ($\hat{C}$) 与从合成几何体中隐式推导出的接触图 ($\bar{C}$) 保持一致。
   • 能量函数： 接触一致性能量 $\mathcal{L}_{cig}$ 被计算为生成的接触距离与推导出的接触距离之对数尺度之间的 $L_1$ 距离。对数尺度强调了物理违规最为关键的精细近接触区域。
   • 引导： 该能量对噪声变量的梯度被用于引导去噪轨迹，从而减少穿透和悬浮等伪影，且无需二次训练阶段或后处理细化。

核心贡献

• 单阶段联合框架： JointHOI 是首个在单步扩散过程中联合生成 3D 运动和动态、基于距离的接触图的文本驱动 HOI 方法，消除了多阶段流水线的复杂性和误差累积。
• 动态接触表示： 引入了时空密集的、基于距离的接触图，能够捕捉手—物接近程度的连续演变，相比静态二元线索提供了更具信息量的信号。
• 接触内引导 (CIG)： 一种新型的推理时采样策略，利用共生成的接触图来引导运动生成。它在无需外部神经网络或后处理的情况下强制执行几何一致性，显著减少了物理伪影。
• 全面评估： 通过广泛的实验和消融研究验证了联合建模和接触引导的有效性。

实验结果
该方法在 GRAB（刚体）和 ARCTIC（关节物体）数据集上进行了评估。

• 物理合理性： 在所有合成方法中，JointHOI 实现了最低的穿透体积 (IV) 和深度 (ID)。在 ARCTIC 数据集上，与强基准模型 Text2HOI 相比，它将穿透体积减少了约一半。
• 语义遵循度： 该模型展示了卓越的文本遵循能力，在两个数据集上均实现了最高的 Top-3 动作准确度和最低的 Fréchet Inception Distance (FID)，表明其具有极高的运动真实感和语义对齐度。
• 效率： 尽管增加了 CIG 步骤，JointHOI 仍比多阶段基准模型（如 DiffH2O, LatentHOI）更高效，其推理时间与 MDM 等单阶段基准模型相当。
• 消融研究： 增量消融实验证实，从两阶段转向一阶段联合模型、引入动态接触图以及应用 CIG，每一项都为提升语义保真度和物理一致性做出了独特贡献。

意义与主张
本文声称 JointHOI 解决了 HOI 生成中运动合成与物理接触之间的根本脱节问题。通过将接触视为一种内在模态，该框架显式地建模了手—物接近程度的时空演变，使得模型能够内化具有物理基础的协同变化模式。作者断言，这种方法产生了更自然、更稳定且更具物理合理性的交互，有效地缓解了困扰先前方法的悬浮和穿透等常见伪影。这项工作表明，联合生成结合推理时一致性引导，为实现面向机器人和沉浸式应用的高保真文本驱动交互合成提供了一条稳健的路径。