RegFormer: Transferable Relational Grounding for Efficient Weakly-Supervised Human-Object Interaction Detection

1. Problema

A detecção de Interação Humano-Objeto (HOI) visa localizar humanos e objetos em uma imagem e identificar suas interações como tripletas ⟨humano, interação, objeto⟩.

• Desafio da Supervisão Fraca: A anotação completa (supervisão total) de todas as tripletas em imagens é extremamente cara e inviável para grandes escalas. A detecção supervisionada fraca (Weakly-Supervised HOI) utiliza apenas rótulos de nível de imagem (quais interações existem na imagem), sem fornecer as localizações (bounding boxes) dos pares específicos.
• Limitações dos Métodos Atuais:
  • Custo Computacional: Métodos existentes geralmente dependem de detectores de objetos externos para gerar candidatos de pares humano-objeto. Eles então processam todas as combinações possíveis (pares), o que gera um custo computacional proibitivo à medida que o número de instâncias aumenta (complexidade quadrática).
  • Falsos Positivos: A ausência de sinais de localização leva a combinações não interativas serem classificadas erroneamente como interações, gerando muitos falsos positivos.
  • Falta de Transferibilidade: Muitos modelos são fortemente acoplados ao detector usado, exigindo retreinamento se o detector for alterado, e não conseguem transferir o raciocínio de nível de imagem para o nível de instância sem treinamento adicional.

2. Metodologia: RegFormer

O RegFormer (Relational Grounding Transformer) é um módulo de reconhecimento de interação leve e versátil que unifica o raciocínio de HOI em nível de imagem e em nível de instância dentro de um único framework.

Arquitetura Principal

Diferente de métodos que usam consultas (queries) exaustivas para todas as classes de HOI, o RegFormer opera de forma sequencial:

1. Codificador de Instâncias em Pares (Pairwise Instance Encoder): Gera consultas (queries) para pares humano-objeto (HO) que são "aterradas espacialmente" (spatially grounded).
2. Decodificador de Interação: Prevê as interações (I) correspondentes para cada par de instâncias.

Componentes Chave

• Consultas Aterradas Espacialmente (Spatially Grounded Queries):
  • Em vez de usar apenas embeddings de texto (que carecem de informação espacial), o modelo agrega características visuais de patches da imagem baseados na similaridade com embeddings de texto de humanos e objetos.
  • Isso cria representações que capturam onde o humano e o objeto provavelmente aparecem, facilitando a transferência do raciocínio de nível de imagem para o nível de instância.
• Aprendizado Consciente de Interatividade (Interactiveness-Aware Learning):
  • O modelo aprende uma pontuação de "interatividade" para cada par humano-objeto.
  • Esta pontuação atua como um mecanismo de "gating" (porta) que suprime regiões irrelevantes e não interativas, evitando a ativação espúria de características.
  • Combina dois sinais:
    1. Interatividade Local: Foca na região específica da instância.
    2. Interatividade Global Mascarada: Considera o contexto global para suprimir pares que, embora tenham alta similaridade semântica local, não são interativos no contexto da cena.
• Transferência para Detecção (Inferência):
  • Durante a inferência, o modelo utiliza as caixas delimitadoras (bounding boxes) fornecidas por um detector de objetos externo (pronto para uso).
  • Aplica-se uma máscara consciente da região para restringir as consultas e as pontuações de interatividade apenas às regiões das instâncias detectadas.
  • Vantagem Crucial: Isso permite que o modelo faça detecção de HOI em nível de instância sem nenhum treinamento adicional, apenas ajustando a construção da consulta e a pontuação de interatividade.

3. Contribuições Principais

1. RegFormer: Proposta de um módulo de classificação leve que unifica o raciocínio de HOI em nível de imagem e de instância, eliminando a necessidade de retreinamento ao trocar de detector.
2. Mecanismos de Grounding e Interatividade: Integração de consultas baseadas em sinais espaciais e pontuações de interatividade explícitas, permitindo que o modelo capture dicas de interação localizadas e suprima falsos positivos.
3. Eficiência e Transferência: O modelo opera com alta eficiência (requer apenas uma passagem forward do backbone) e transfere-se perfeitamente da classificação de imagem para a detecção de instâncias, superando métodos supervisionados fracos anteriores e competindo com métodos totalmente supervisionados.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados HICO-DET e V-COCO.

• Desempenho em Detecção (HICO-DET):
  • O RegFormer supera significativamente os métodos supervisionados fracos anteriores (como Weakly HOI-CLIP e OpenCat).
  • Ao usar detectores fortes (ex: DETR com backbone DINO-B), o RegFormer atinge desempenho comparável a modelos totalmente supervisionados (ex: 38.14 mAP no Full vs. 33.75 do GEN-VKLT totalmente supervisionado).
  • Mostra ganhos notáveis em classes raras, onde métodos supervisionados frequentemente falham.
• Eficiência:
  • O tempo de inferência aumenta marginalmente com o número de pares de instâncias, ao contrário de métodos baseados em ML-Decoder que se tornam significativamente mais lentos conforme a densidade da cena aumenta (ver Fig. 1 do artigo).
• Zero-Shot HOI:
  • O modelo demonstra forte capacidade de generalização para composições não vistas (Zero-Shot), superando métodos pré-treinados em larga escala em composições raras não vistas (RF-UC).
• Ablação:
  • A análise mostra que a combinação de Spatial Grounding e Interactiveness Scoring é essencial, com o componente de interatividade contribuindo para a maior parte do ganho de desempenho ao suprimir pares não interativos.

5. Significado e Impacto

O RegFormer representa um avanço significativo na detecção de HOI supervisionada fraca ao resolver o dilema entre eficiência computacional e precisão de raciocínio.

• Escalabilidade: Ao evitar a enumeração exaustiva de pares e o retreinamento para novos detectores, o método é altamente escalável para aplicações do mundo real.
• Viabilidade Prática: A capacidade de atingir desempenho de nível de supervisão total utilizando apenas anotações de nível de imagem reduz drasticamente o custo de anotação de dados, tornando a detecção de HOI viável para grandes conjuntos de dados.
• Robustez: A supressão eficaz de falsos positivos através do sinal de interatividade melhora a confiabilidade do modelo em cenas densas e complexas.

Em resumo, o RegFormer estabelece um novo estado da arte (SOTA) para detecção de HOI supervisionada fraca, demonstrando que é possível realizar raciocínio de instância precisa e eficiente sem a necessidade de anotações de localização detalhadas durante o treinamento.