技术摘要：Pose Splatter

问题陈述

准确且可扩展地量化动物的姿态与外观，对于神经科学研究至关重要，特别是用于研究与神经系统疾病相关的细微行为变化。目前的 3D 姿态估计技术面临显著局限性：

• 基于关键点的方法依赖于稀疏的解剖学地标，需要耗费大量人力的手动标注，且无法捕捉完整的身体几何形状、颜色或纹理。
• 基于网格（Mesh）的方法虽然提供了完整的表面重建，但通常需要逐帧优化，需要专门的模板模型（如 SMAL），并且往往难以泛化到未见的姿态或不同物种。
• 现有的 3D 高斯泼溅（3DGS）方法通常依赖于单场景优化或假设存在密集的视角重叠，这使得它们不适用于视角间重叠极小的稀疏视角动物重建。

这些瓶颈阻碍了大规模、纵向的行为分析，而这类分析对于在高分辨率下绘制基因型、神经活动与行为之间的关系至关重要。

方法论：Pose Splatter

Pose Splatter 是一个前馈框架，它利用形状雕刻（shape carving）和 3D 高斯泼溅（3DGS）技术，在无需手动标注、无需逐帧优化以及无需物种特定模板的情况下，重建实验室动物完整的 3D 姿态与外观。

核心流水线

1. 掩码生成（Mask Generation）： 系统利用预训练的 Segment Anything Model (SAM2) 从多视角视频帧中生成前景掩码，消除了对手动标记的需求。
2. 姿态与旋转估计： 为确保旋转不变性，系统通过对掩码质心的鲁棒三角测量来估计动物的 3D 中心。方位角旋转通过拟合动物质量分布的 3D 高斯分布的主轴得出，并随时间平滑追踪。
3. 形状雕刻（Shape Carving）： 多视角掩码被反向投影到一个共享的 3D 体素网格中，以创建一个粗略的“视觉轮廓（visual hull）”。位于视觉锥交集之外的体素将被移除。颜色根据可见性和加权平均值分配给剩余体素，以处理遮挡问题。
4. 精细化与去体素化（Refinement and De-voxelization）：
   • 一个堆叠的 3D U-Net 架构对粗略的体素体积进行精细化，生成占用通道及额外的特征通道。
   • 一个紧凑的多层感知器（MLP）处理体素特征，以预测 3D 位移向量、协方差矩阵和外观特征。
   • 至关重要的是，高斯的均值位置是通过将预测的位移添加到体素坐标来计算的，从而有效地实现了表示的“去体素化”，以捕捉细粒度的几何形状。
5. 渲染： 生成的 3D 高斯参数使用标准的高斯泼溅进行渲染，以产生高保真度的图像。

视觉嵌入技术

为了促进下游的行为分析，作者提出了一个旋转不变的视觉嵌入：

• 渲染： 将 3D 高斯场景从分布在动物周围球体上的 32 个虚拟相机进行渲染。
• 编码： 每个 224×224 的渲染图通过预训练的 ResNet-18 以提取 512 维特征向量。
• 球面谐波展开： 特征使用截断的球面谐波基进行展开。为了实现对水平（方位角）旋转的不变性，使用了谐波系数的平方模，从而消除了相位依赖性。
• 对抗性 PCA： 为了消除残留的特定方位角编码（可能由光照不均引起），应用了对抗性 PCA 来寻找一个 50 维子空间，该子空间在最大化姿态方差的同时，最小化预测旋转角的正弦和余弦的能力。

核心贡献

• 无标注 3D 重建： Pose Splatter 在无需手动标注地标的情况下恢复完整的 3D 动物几何形状和外观，解决了基于关键点的可扩展性问题。
• 无模板且无需优化： 与基于网格的方法不同，该模型通过单次前馈传递进行推理，不需要物种特定的模板或逐帧优化。
• 稀疏视角鲁棒性： 该框架专为视角间重叠极小的稀疏视角设置（4–6 个摄像头）而设计，而现有的前馈 3DGS 方法在这种情况下的表现通常较差。
• 高效性： 该模型具有较低的显存占用（约 2.5 GB VRAM），并实现了约 30 ms/帧的推理速度，明显快于基于优化的基准方法。
• 旋转不变嵌入： 所提出的视觉嵌入提供了一个紧凑的、低维的姿态与外观描述符，该描述符对动物位置和水平旋转具有不变性，适用于行为分析。

实验结果

作者在小鼠、大鼠和斑胸 Finch（斑胸谷 Finch）的数据集上评估了 Pose Splatter。

• 渲染质量： 在 IoU、L1 颜色误差、PSNR 和 SSIM 等指标上，Pose Splatter 优于最先进的稀疏视角 3DGS 基准方法（包括 3DGS、FSGS 和 GaussianObject）以及前馈方法（PixelSplat、MVSplat）。值得注意的是，虽然像 GaussianObject 这样的优化方法达到了相当的指标，但它每个场景需要大约一小时的优化，而 Pose Splatter 仅需约 30 ms。
• 泛化能力： 该模型展示了强大的跨物种泛化能力。在一种物种（如小鼠）上训练的模型可以重建另一种物种（如大鼠）的未见视图，且性能下降幅度较小，这表明学习到的表示捕捉到了通用的动物形状特征。
• 行为分析：
  • 最近邻偏好： 在一项包含 102 名参与者的研究中，尽管关键点是基于手动标注数据导出的，但视觉嵌入在识别相似姿态方面优于基于 3D 关键点的最近邻（54% 对 50%）。
  • 细微运动检测： 视觉嵌入成功捕捉到了姿态的细微变化，例如羽毛扩张和头部摇晃，这些变化反映在嵌入的主成分中。
  • 下游预测： 尽管不需要人工监督，但视觉嵌入在利用逻辑回归预测手动标注行为方面，表现优于 3D 关键点（在 8 种行为中的 6 种）。

重要性与主张

论文声称，Pose Splatter 通过消除手动标注和计算优化的瓶颈，能够实现大规模、纵向的动物行为分析。通过提供准确的 3D 几何形状和旋转不变的视觉描述符，该框架有助于深入理解行为的遗传和神经基础。

作者承认了局限性，指出当前方法是为单体记录设计的，在多动物交互中可能会在长时间遮挡的情况下遇到困难。他们还指出，虽然视觉嵌入非常有效，但仍需进一步工作以提高其可解释性和直接的跨物种比较能力。然而，该框架代表了向高分辨率行为量化迈出的重要一步。