Integrating Affordances and Attention models for Short-Term Object Interaction Anticipation

这是一份关于论文《Integrating Affordances and Attention models for Short-Term Object Interaction Anticipation》（整合 affordances 与注意力模型用于短期物体交互预测）的详细技术总结。

1. 研究背景与问题定义 (Problem)

短期物体交互预测 (Short-Term Object Interaction Anticipation, STA) 是首视角视频理解中的核心任务。其目标是在观察当前时刻的图像帧（$I_T$）及之前的视频序列（$V_{T-t:T}$）后，预测未来即将发生的交互。具体预测内容包括：

• 下一个活跃物体 (Next-Active Object) 的位置（边界框）。
• 交互的语义类别：名词（物体类别，Noun）和动词（交互动作，Verb）。
• 接触时间 (Time-to-Contact, $\delta$)：预测交互发生的时间点。

挑战：

• 仅凭视觉信息难以准确推断用户意图，特别是当场景复杂或动作尚未完全展开时。
• 现有的端到端模型往往缺乏对人类行为模式和环境潜在交互可能性的深层理解（即缺乏“接地”能力）。
• 需要同时处理高分辨率图像的空间细节和低分辨率视频序列的时间动态，并进行有效的多模态融合。

2. 核心方法论 (Methodology)

作者提出了两个基于 Transformer 的架构（STAformer 和 STAformer++），并引入了环境 affordances（功能可供性）和交互热点来增强预测。

2.1 架构设计：STAformer 与 STAformer++

• 特征提取：
  • 图像分支：使用预训练的 Transformer 模型（如 DINOv2 或 Swin-T）提取高分辨率 2D 特征。
  • 视频分支：使用视频 Transformer（如 TimeSformer 或 EgoVideo）提取时空 3D 特征。
• 关键创新模块：
  1. 帧引导的时间池化注意力 (Frame-guided Temporal Pooling Attention)：
     • 将视频的时间特征映射到最后一帧的空间参考系中。
     • 利用最后一帧的 Token 作为 Query，对整体视频 Token 进行交叉注意力计算，从而压缩 3D 特征为 2D 特征，同时保留时间动态信息并实现空间对齐。
  2. 双重图像 - 视频注意力融合 (Dual Image-Video Attention)：
     • 采用残差交叉注意力机制。
     • 图像引导视频：用图像 Token 丰富视频 Token，注入细粒度的视觉细节。
     • 视频引导图像：用视频 Token 丰富图像 Token，注入场景动态信息。
  3. 预测头 (Prediction Head)：
     • STAformer：基于 Faster R-CNN 架构，结合 Faster R-CNN 的检测头进行预测。
     • STAformer++：基于 DETR (Detection Transformer) 架构。替换了 Faster R-CNN 头，采用混合查询选择 (Mixed Query Selection) 和对比去噪 (Contrastive DeNoising, CDN) 训练策略，实现了端到端的物体检测与交互预测，显著提升了边界框定位精度。

2.2 环境 Affordances (环境功能可供性) 的整合

Affordance 指环境为智能体提供的潜在交互可能性。作者提出了两种利用方式：

1. 固定预计算 (Fixed Pre-inferred)：
   • 构建一个基于训练视频的环境 Affordance 数据库（将相似场景聚类为“区域”）。
   • 在推理阶段，通过计算输入视频与数据库中区域的视觉/文本相似度，检索最相似的 $K$ 个区域。
   • 根据这些区域的交互统计分布，生成名词和动词的 Affordance 概率分布，并通过加权融合（Late Fusion）修正端到端模型的预测。
2. 可学习的 Affordance (Learned Affordance)：
   • 在训练阶段引入注意力机制，让模型动态学习输入视频与 Affordance 数据库中所有潜在区域的关联。
   • 通过注意力分数加权各区域的交互分布，直接作为辅助信号输入到分类层，使模型在训练过程中就能“记住”并适应不同场景的交互模式。

2.3 交互热点 (Interaction Hotspots)

• 利用手部轨迹预测模型，预测未来手部的接触点分布图（Hotspot Map）。
• 根据预测边界框中心在热点图中的概率值，对 STA 模型的置信度分数进行重加权（Re-weighting）。
• 作用：降低那些位于不可能发生交互区域（远离热点）的误检置信度，提升定位准确性。

3. 主要贡献 (Key Contributions)

1. 新型架构 STAformer 与 STAformer++：
   • 提出了基于 Transformer 的图像 - 视频融合架构，包含帧引导时间池化和双重交叉注意力机制。
   • STAformer++ 首次将 DETR 架构引入 STA 任务，显著提升了检测精度和端到端性能。
2. 基于 Affordances 的行为接地 (Grounding)：
   • 首次将环境 Affordance 模型统一整合到短期交互预测任务中。
   • 提出了从“推理时静态融合”到“训练时动态学习”的两种策略，证明了利用历史人类行为模式能显著提升泛化能力。
3. 交互热点重加权：
   • 结合手部轨迹预测，通过空间先验修正预测置信度，进一步减少了误检。
4. 数据集与资源：
   • 发布了 EPIC-Kitchens 数据集的 STA 标注版本。
   • 开源了代码、标注及预提取的 Affordance 数据。

4. 实验结果 (Results)

作者在 Ego4D (v1, v2) 和 EPIC-Kitchens 数据集上进行了广泛测试，指标为 Top-5 mAP。

• Ego4D v1 验证集：
  • STAformer++ (Learned Affordance) 取得了 33.21% (Noun) 和 4.66% (All) 的 mAP。
  • 相比之前的会议版本 (STAformer)，整体性能提升了 +23.6%。
  • 相比第二好的方法，Noun mAP 提升了 +36.3%。
• Ego4D v2 验证集：
  • 整体 mAP 提升了 +10.4%。
  • 在语义指标（Noun+Verb）上提升显著。
• EPIC-Kitchens (新基准)：
  • 在 EPIC-Kitchens 上，STAformer++ 相比基线 StillFast 实现了 +31.5% 的整体 mAP 提升，证明了框架的通用性。
• 消融实验：
  • DETR 头：相比 Faster R-CNN 头，DETR 头显著提升了边界框检测精度（Box AP 提升约 9.7%）。
  • Affordances：无论是固定还是学习模式，引入 Affordance 均带来稳定增益；在高性能模型中，可学习的 Affordance 比固定分布效果更好。
  • 交互热点：重加权机制有效降低了远距离误检，提升了整体精度。

5. 意义与影响 (Significance)

• 技术突破：该工作展示了将环境先验知识 (Affordances) 与 现代 Transformer 架构 结合的巨大潜力，解决了纯数据驱动模型在长尾场景和意图推断上的不足。
• 实际应用价值：
  • 可穿戴助手：能够更准确地预测用户意图（如即将操作哪个开关），从而提供及时的辅助。
  • 人机交互 (HRI)：使机器人能够理解人类在特定环境下的行为模式，从而更自然地协助人类（如提前递送工具）。
• 社区贡献：通过发布 EPIC-Kitchens 的 STA 标注和预提取的 Affordance 数据，为后续研究提供了宝贵的基准和资源，推动了该领域的快速发展。

总结：这篇论文通过创新的注意力融合机制和引入环境功能可供性（Affordances）作为行为先验，显著提升了短期物体交互预测的准确性，特别是在语义理解和时空定位方面达到了新的 State-of-the-Art (SOTA)。