A Unified Benchmark for HOI Evaluation across Vision-Language Models and HOI-Specific Methods

1. Problema Identificado

A detecção de Interação Humano-Objeto (HOI - Human-Object Interaction) tem sido historicamente dominada por modelos específicos para a tarefa. Com o surgimento de Grandes Modelos de Visão e Linguagem (VLMs) generativos, surge a questão crítica: os VLMs autônomos podem realizar a detecção de HOI de forma competitiva em comparação com métodos especializados?

No entanto, os benchmarks existentes (como HICO-DET e V-COCO) apresentam limitações severas que impedem uma comparação justa e unificada:

• Avaliação por Correspondência Exata: Os benchmarks tradicionais exigem que a previsão do modelo corresponda exatamente às anotações de referência. Como as anotações são frequentemente incompletas (devido a ambiguidades visuais ou anotação esparsa em cenas com múltiplas pessoas), previsões válidas, mas não anotadas, são penalizadas como erros.
• Viés de Penalização: Isso prejudica desproporcionalmente os VLMs, cujas saídas são mais flexíveis e podem descrever interações corretas que não estão no conjunto de rótulos fixo.
• Cenários Simplistas: Muitos conjuntos de dados existentes contêm uma alta proporção de casos "cabeça" (head classes) simples (uma pessoa, um objeto, ação óbvia), o que não testa verdadeiramente a compreensão de HOI complexa.

2. Metodologia: CrossHOI-Bench

Os autores introduzem o CrossHOI-Bench, um novo benchmark unificado projetado para avaliar tanto VLMs quanto métodos específicos de HOI sob um mesmo protocolo.

Reformulação da Tarefa

Em vez de uma tarefa de geração aberta ou correspondência exata, o HOI é reformulado como uma tarefa de múltipla escolha com múltiplas respostas corretas:

• Cada questão apresenta uma imagem e um par humano-objeto (ou pessoa-alvo).
• São oferecidas quatro opções (A, B, C, D).
• Positivos: Incluem as anotações de referência do HICO-DET, mas também adicionam manualmente interações válidas e visualmente claras que foram omitidas nas anotações originais.
• Negativos Curados: As opções incorretas são rigorosamente selecionadas para serem plausíveis, mas visualmente inconsistentes com a imagem, evitando penalizar previsões válidas que não estavam anotadas.

Construção do Dataset

• Base: Derivado principalmente do HICO-DET, mas com refinamento rigoroso.
• Filtragem de Casos Simples: Cenas muito simples (ex: uma pessoa isolada em fundo simples) são removidas para aumentar a dificuldade.
• Foco em Cenários Desafiadores: O benchmark prioriza cenas com múltiplas pessoas (onde ações diferentes ocorrem simultaneamente) e distinções finas entre interações visualmente similares (ex: "segurar" vs. "abraçar").
• Sub-benchmarks: Inclui extensões baseadas em V-COCO (focadas em múltiplas pessoas) e SWiG-HOI (focadas em interações humano-humano).

Configurações de Avaliação

O benchmark define três configurações para isolar diferentes capacidades:

1. Setting 1 (Detecção Completa): O modelo deve detectar as pessoas e, em seguida, reconhecer as interações. Avalia o pipeline completo.
2. Setting 2 (Reconhecimento Localizado): As caixas delimitadoras (bounding boxes) das pessoas são fornecidas. O modelo apenas reconhece as interações. Isso isola a capacidade de reconhecimento, removendo erros de detecção.
3. Setting 3 (Reconhecimento em Nível de Imagem): O modelo deve identificar interações para todas as pessoas na cena, testando a compreensão global e a atribuição correta de ações a indivíduos específicos.

3. Contribuições Principais

1. Primeiro Benchmark Unificado: O primeiro dataset projetado para avaliar conjuntamente VLMs gerais e métodos específicos de HOI, resolvendo o problema da avaliação enviesada devido a anotações incompletas.
2. Protocolo de Múltipla Escolha: A reformulação da tarefa elimina a penalização injusta de previsões válidas não anotadas, permitindo uma comparação justa entre paradigmas diferentes.
3. Análise de Limitações e Forças: O benchmark revela pontos cegos que os benchmarks anteriores não conseguiam expor, especificamente a dificuldade dos VLMs em atribuir ações a pessoas específicas em cenas lotadas e a dificuldade dos modelos específicos em generalizar para novos vocabulários.

4. Resultados Experimentais

Os experimentos foram conduzidos com VLMs de última geração (Qwen2.5-VL, InternVL3, LLaVA-OV) e métodos específicos de HOI (ADA-CM, CMMP, HOLa, etc.).

• Desempenho dos VLMs Grandes:
  • Em configuração zero-shot (sem treinamento específico), os grandes VLMs alcançaram desempenho competitivo, e em alguns casos superior, aos métodos especializados em métricas de reconhecimento (ex: +5.18% em Instance-F1 no Setting 2).
  • Eles demonstram forte capacidade de compreensão contextual e raciocínio visual.
• Limitações dos VLMs:
  • Detecção: O desempenho cai significativamente no Setting 1 (onde o modelo deve detectar as pessoas), indicando que a detecção de objetos/pessoas ainda é um gargalo para os VLMs.
  • Atribuição Cruzada: Em cenas com múltiplas pessoas, os VLMs frequentemente atribuem erroneamente a interação de uma pessoa vizinha à pessoa-alvo (cerca de 20-25% dos erros).
  • Reconhecimento de Múltiplas Ações: Tendem a prever apenas a ação mais saliente, ignorando interações secundárias simultâneas (ex: ver alguém "segurando" e "cortando", mas prever apenas "cortando").
• Desempenho dos Métodos Específicos:
  • Mantêm-se competitivos, especialmente em cenários de detecção (Setting 1), devido a pipelines estruturados de detecção.
  • São melhores em reconhecer múltiplas ações co-ocorrentes e em evitar a confusão de atribuição entre pessoas próximas, graças à preservação explícita da topologia espacial.
  • Sofrem com generalização out-of-distribution (desempenho cai drasticamente em sub-benchmarks como SWiG-HOI).

5. Significado e Conclusão

O CrossHOI-Bench fornece uma avaliação mais justa e rigorosa do estado da arte em HOI. As descobertas principais são:

• Convergência de Paradigmas: Os VLMs gerais já superam os métodos especializados em tarefas puras de reconhecimento de interação, sugerindo que a compreensão visual semântica dos grandes modelos é robusta.
• Complementaridade: Não há um "vencedor" absoluto. Os VLMs são superiores no raciocínio e generalização, enquanto os métodos específicos são superiores na localização precisa e na distinção de interações em cenas densas.
• Futuro da Pesquisa: O trabalho aponta que o próximo passo para os VLMs não é apenas melhorar o reconhecimento, mas aprimorar a detecção precisa e a desambiguação de instâncias em cenas complexas. Para os métodos específicos, o desafio é melhorar a generalização para vocabulários abertos.

Em resumo, o CrossHOI-Bench estabelece um novo padrão para a avaliação de HOI, demonstrando que a era dos VLMs trouxe capacidades de compreensão de interação que rivalizam e, em alguns aspectos, superam os modelos tradicionais, mas que desafios fundamentais de localização e atribuição de instâncias permanecem.