技术摘要：InterPet4D 与 InterPetMoGen

1. 问题陈述

人类与宠物之间的交互估计与生成在计算机视觉和机器人领域仍处于显著的探索不足阶段。现有的研究主要集中在人与人或人与物之间的交互，这主要是由于缺乏捕捉自然跨物种动态的大规模、高质量数据集。建模此类交互面临着独特的挑战：

• 数据稀缺性： 在没有受控训练的情况下，实现人类与动物之间结构化、可重复的协调是非常困难的，这阻碍了大数据的采集。
• 遮挡问题： 近距离交互往往会导致严重的跨物种遮挡，从而降低精细细节的重建质量。
• 形态不对称性： 人类与动物之间的结构差异使得建模其联合分布比同物种交互更为复杂。
• 缺乏多模态信号： 现有的动物数据集很少同时捕捉同步的音频、人类动作和宠物动作。

2. 方法论

2.1 InterPet4D 数据集

作者介绍了 InterPet4D，这是首个专门用于自然人犬交互的大规模多模态 4D 数据集。

• 数据采集： 该数据集包含由 23 名人类参与者（包括 11 名专业训练师）和 13 只涵盖 11 个品种的狗所采集的 683 万帧数据。
• 采集设置： 采用了同步多视角系统，其特征包括：
  • 第三人称视角： 12 个通过线缆同步的 GoPro Hero13 摄像头（1920×1080，60 fps）呈正方形排列，其中 8 个摄像头位置较低，用于捕捉宠物和手部的细节。
  • 第一人称视角： 参与者佩戴的 Ray-Ban Meta 眼镜，提供第一人称 RGB 视频和音频。
  • 同步： 通过使用拍手信号进行软件对齐来实现，最大误差为一帧。
• 交互分类法： 数据涵盖四个结构化类别：
  1. 抚摸 (Petting)： 身体接触与姿态反应。
  2. 指令 (Commanding)： 言语和手势指令（如“坐”、“握手”）。
  3. 召唤 (Calling)： 基于距离的声音和手势招手。
  4. 自由形式 (Free-form)： 未经剧本编写的交互（如接球、拔河）。
• 标注： 该数据集包括同步的多视角/第一人称视频、分割、2D/3D 关键点、网格（人类使用 SMPL-X/MANO，狗使用 SMAL）以及通过大语言模型 (LLM) 生成的对齐音频轨道与文本说明。

2.2 数据处理流水线

• 人类重建： 利用结合了 Mask R-CNN、HRNet-WholeBody 和 DeepSORT 的流水线进行定位与追踪。2D 关键点经过三角测量，并利用能量函数（对称性、时间平滑性、骨骼长度约束）进行精细化，随后拟合 SMPL-X 和 MANO 模型。
• 狗重建： 通过 RTMet 检测狗，并使用 HRNet 估计 2D 关键点。人类掩码用于过滤遮挡区域。3D 关节经过三角测量和光滑处理（使用 RTS 平滑器）后，拟合 SMAL 模型。形状参数通过在规范帧上的手动拟合来保持稳定。
• 音频/文本处理： 原始音频通过 ASR 进行转录并翻译为英文。时间边界被标注，并使用基于 Qwen3 的 LLM 生成交互描述。

2.3 InterPetMoGen (IPMG) 框架

作者提出了 InterPetMoGen，一个基于 MotionGPT 的、用于从手势到宠物动作生成的框架。

• 目标： 学习条件概率分布 $p(P | H, A)$，其中 $P$ 是宠物动作序列，$H$ 是人类动作（身体 + 手部），$A$ 是音频序列。
• 架构：
  • 多模态标记化 (Multimodal Tokenization)：
    • PetVAE： 一个带有向量量化 (VQ-VAE) 的变分自编码器，用于学习狗动作的离散潜在空间。它包含一个骨骼长度回归器以强制执行骨骼一致性。
    • 人类标记器 (Human Tokenizer)： 使用特定模态的编码器将身体和手势分别编码为离散标记。
    • 翻译与音频标记器： 将全局根部平移和音频特征（通过 MERT）编码为离散标记。
  • 自回归 Transformer： 一个前缀语言模型 (Prefix-LM) GPT，根据人类和音频标记预测下一个宠物动作标记。
  • 模态感知注意力 (MAA)： 一种控制信息流的新型注意力机制。人类标记利用双向注意力（全局上下文），而平移和宠物标记使用因果（自回归）注意力，从而建立起一种从粗到精的生成层级。
• 训练： 模型分两个阶段进行训练：首先，训练 VQ-VAE 以对各模态进行标记化；其次，训练 Transformer 以在其他模态的条件下生成宠物动作标记。

3. 核心贡献

1. InterPet4D 数据集： 首个大规模多模态人犬交互 4D 数据集，具有 680 万帧同步数据、12 视角第三人称视频、第一人称视频、音频以及人类和狗的 3D 重建。
2. 系统化协议： 一套标准化的交互分类法，涵盖了四类人犬交互，实现了对跨物种行为的结构化分析。
3. InterPetMoGen (IPMG)： 一个创新的框架，结合了 PetVAE 标记器和模态感知注意力 (MAA)，能够根据人类手势和音频生成多样且真实的狗动作响应。

4. 实验结果

作者将 IPMG 与包括 Seq2Seq-Transformer、Diffusion-Transformer (DiT) 以及自身模型的消融变体在内的基准模型进行了评估。

• 定量性能：

  • FID (Fréchet Inception Distance)： IPMG 达到了 11.21 的运动 FID ($FID_k$)，显著优于 Seq2Seq 基准 (21.22) 和 DiT 基准 (64.37)。
  • 对齐度 (R-Precision)： IPMG 在与调节信号的对齐方面表现优异，其 $R_{hand}^{Prec.}$ 为 0.63，$R_{body}^{Prec.}$ 为 0.59，而 Seq2Seq 分别仅为 0.41/0.38。
  • 多样性： 与基准模型相比，该模型生成的动作模式更加多样（Div$_k$ = 5.93）。
  • 消融实验： 移除 PetVAE 模块会导致 $FID_k$ 上升至 14.15。在 PetVAE 中移除骨骼约束会导致 $FID$ 上升至 12.53 且速度误差上升至 1.79，证实了骨骼约束的必要性。使用身体和手部双重输入比单模态输入效果更好。

• 定性分析与用户研究：

  • 可视化结果表明，IPMG 产生的动作在时间上平滑且具有响应性（例如转向指令），而基准模型经常无法对手势做出反应或产生不稳定的动作。
  • 一项由 12 名参与者进行的调查显示，IPMG 在自然度（6.58 对比 Seq2Seq 的 4.04）、响应性（6.55 对比 3.67）和整体质量（6.63 对比 3.67）方面均显著高于所有基准模型。统计分析确认了这些差异具有显著性。

5. 重要性与主张

论文声称，InterPet4D 和 InterPetMoGen 代表了建模真实跨物种交互的基础性一步。通过提供第一个同步的多模态数据集和专门的生成框架，这项工作解决了数据和方法在处理人犬动态方面的严重匮乏问题。作者断言，他们的方法，特别是使用离散动作标记和模态感知注意力，有效地捕捉了人类代理与动物反应之间的结构化关系，在客观指标和感知质量方面都优于通用的动作生成架构。

承认的局限性：

• 目前数据集仅限于狗；扩展到其他物种（如猫）需要特定物种的模型。
• 该框架未对物理接触力进行建模，而这对于抚摸类交互非常重要。
• 当前生成仅限于固定长度的片段（10 秒）；可变长度生成是未来的研究方向。