A Unified Benchmark for HOI Evaluation across Vision-Language Models and HOI-Specific Methods

这是一篇关于CrossHOI-Bench的技术论文总结，该论文提出了一种统一的基准，用于评估视觉语言模型（VLMs）与专用的人 - 物交互（HOI）检测方法。

1. 研究背景与问题 (Problem)

• 现有基准的局限性： 传统的 HOI 检测基准（如 HICO-DET）主要基于任务特定的模型设计。它们采用**精确匹配（Exact Match）**的评估方式，即在不完备的标注下，任何未与标注完全匹配预测都被视为错误。
  • 标注不完整与歧义： 由于视觉信息的局限性（如动作处于中间状态，难以区分“登机”还是“下机”）和多个人/物体场景中的稀疏标注，许多合理的预测（Valid Outputs）因未被标注而被错误地惩罚。
  • 评估偏差： 这种机制对生成式 VLMs 尤其不公，因为 VLMs 倾向于生成多种合理的自然语言描述，而专用模型通常输出固定类别。这导致现有基准无法公平地比较 VLMs 和专用 HOI 方法，且往往低估了 VLMs 的能力。
• 核心问题： 随着大型生成式 VLMs（如 Qwen2.5-VL, InternVL）的崛起，它们能否在零样本（Zero-shot）设置下在 HOI 检测任务中达到甚至超越专用模型？现有的基准无法回答这一问题。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 CrossHOI-Bench，这是一个统一的、基于**多项选择题（Multiple-Choice Question, MCQ）**的 HOI 评估基准。

• 任务重构： 将 HOI 检测重构为多答案、多项选择题任务。
  • 构建流程： 基于 HICO-DET 数据集，经过粗筛（Coarse Screening，利用多个 VLM 筛选明显错误的负样本）和人工精修（Manual Refinement）。
  • 正负样本设计：
    • 正样本（Positives）： 包含标注的 Ground Truth，并人工添加视觉上清晰但未标注的合理交互（解决标注不完整问题）。
    • 负样本（Negatives）： 精心策划的干扰项，包括周围人物的交互、细粒度的相似动作区分等，确保排除合理的未标注交互，避免假阴性。
• 三种评估设置：
  1. Setting 1 (Full HOI Detection)： 模型需先检测人物/物体，再识别交互。评估完整的检测 + 识别流程。
  2. Setting 2 (Localized HOI Recognition)： 提供目标人物的边界框（Ground Truth Box），仅评估识别能力，排除检测误差的干扰。
  3. Setting 3 (Image-level HOI Recognition)： 要求识别场景中所有人的交互，评估全局理解能力。
• 扩展子基准： 除了主基准（基于 HICO-DET），还构建了基于 V-COCO（侧重多个人物场景）和 SWiG-HOI（侧重人与人交互）的子基准，以测试模型的泛化能力。
• 评价指标： 采用基于集合的指标，包括 Instance-F1, Macro-F1, Micro-F1 和 Exact Match (EM) 准确率，以全面衡量多标签预测性能。

3. 关键贡献 (Key Contributions)

1. 首个统一基准： 提出了 CrossHOI-Bench，这是第一个旨在联合评估通用 VLMs 和专用 HOI 方法的基准。通过多项选择题形式和精心策划的负样本，解决了现有基准中因标注不完整导致的评估偏差问题。
2. 全面的基准测试研究： 在统一协议下，系统评估了最新的开源 VLMs（如 Qwen 系列、InternVL 系列）和 SOTA 专用 HOI 方法（如 ADA-CM, CMMP 等）。
3. 揭示互补的优劣势：
   • VLMs 的优势： 大型 VLMs 在零样本设置下表现出强大的 HOI 理解能力，在多项指标上甚至超越了专用模型。
   • 专用模型的优势： 专用模型在识别同一人物的并发多动作（Multi-action recognition）以及跨人物交互归属（Cross-person attribution，即区分谁做了什么）方面表现更稳健。
   • VLMs 的弱点： 在需要自行检测边界框时（Setting 1），VLMs 性能显著下降；且容易将周围人物的动作错误归因给目标人物。

4. 实验结果 (Results)

• 性能对比：
  • 在 Setting 2（给定边界框）中，大型 VLMs（如 Qwen2.5-VL-32B, InternVL3-38B）的 Instance-F1 和 Macro-F1 显著优于专用模型，证明了其强大的视觉语义理解能力。
  • 在 Setting 1（需自行检测）中，专用模型表现更稳定，因为 VLMs 在复杂场景下的人物/物体检测能力仍是瓶颈（检测召回率低导致 F1 分数下降）。
  • 零样本 vs 微调： 大型 VLMs 在零样本下即可达到 SOTA 水平，而小型 VLMs 在检测任务上表现较差，但在提供检测框后表现接近专用模型。
• 失败案例分析：
  • 多动作识别不全： VLMs 倾向于预测最显著的一个动作，忽略并发动作（如“骑”且“抱”马，只预测“骑”）。
  • 跨人物归因错误： 在多人群场景中，VLMs 容易混淆不同人物的动作（Global Attention 机制导致特征混合）。
  • 细粒度混淆： 难以区分视觉上极度相似的动作（如“切”蛋糕 vs“拿”蛋糕）。
• 泛化性： 专用模型在跨数据集（如从 HICO-DET 迁移到 V-COCO 或 SWiG-HOI）时性能大幅下降，显示出严重的领域偏移敏感性；而 VLMs 展现出更好的零样本泛化能力。

5. 意义与影响 (Significance)

• 重新定义 HOI 评估： 论文指出了传统精确匹配评估在 VLM 时代的失效，提出了更公平、更符合人类认知（允许合理歧义）的评估范式。
• 指导模型发展： 研究结果表明，虽然通用 VLMs 在语义理解上已具备超越专用模型的能力，但在空间定位、多实例区分和细粒度动作区分方面仍有提升空间。这为未来结合 VLM 的语义能力与专用检测器的空间能力提供了明确方向。
• 推动领域进步： CrossHOI-Bench 为社区提供了一个可靠的测试床，能够更准确地揭示不同范式（通用 VLM vs 专用检测器）在真实复杂场景下的能力边界，促进 HOI 检测技术的进一步发展。

总结： CrossHOI-Bench 不仅是一个新的数据集，更是一次对 HOI 检测评估范式的革新。它证明了大型 VLMs 在零样本 HOI 理解上的巨大潜力，同时也清晰地指出了当前 VLMs 在定位和复杂场景推理上的短板，为构建下一代 HOI 系统提供了重要的基准和洞察。