HOI-R1: Exploring the Potential of Multimodal Large Language Models for Human-Object Interaction Detection

Resumo Técnico de HOI-R1: Explorando o Potencial de Grandes Modelos de Linguagem Multimodais para Detecção de Interação Humano-Objeto

Declaração do Problema
A Detecção de Interação Humano-Objeto (HOID) visa identificar interações entre humanos e objetos em imagens, fornecendo como saída instâncias consistentes em tuplas de caixas delimitadoras (bounding boxes) de humanos, caixas delimitadoras de objetos, classes de objetos e classes de interação. Os métodos tradicionais de HOID baseiam-se em um paradigma centrado no detector, utilizando detectores de objetos para gerar propostas seguidas por uma cabeça de interação dedicada (frequentemente baseada em transformer) para prever rótulos. Abordagens de estado da arte recentes incorporam cada vez mais conhecimentos de Modelos de Visão-Linguagem (VLM) para lidar com anotações de cauda longa. No entanto, esses métodos introduzem pipelines complexos que exigem módulos adicionais, objetivos de treinamento específicos e acoplamento arquitetural entre detectores e decodificadores de interação, o que dificulta a extensibilidade e o reuso. Além disso, a capacidade de raciocínio inerente dos Grandes Modelos de Linguagem Multimodais (MLLMs) para tarefas estruturadas de HOID — especificamente o raciocínio simultâneo sobre interações e a localização de pares dentro de um protocolo padronizado — permanece subexplorada.

Metodologia
Os autores propõem o HOI-R1, um framework que elimina totalmente os detectores de objetos, resolvendo o HOID de ponta a ponta através de raciocínio em linguagem natural usando MLLMs. A abordagem envolve um paradigma de treinamento em duas etapas:

1. Predição Baseada em Linguagem e Design de Prompt:
   Em vez de regressão de caixa delimitadora, o modelo gera instâncias de HOI em um formato de linguagem natural estruturado (JSON). O prompt de entrada é projetado com três componentes:

   • Instrução de Tarefa: Define o papel do modelo e fornece listas exaustivas de classes válidas de objetos e interações para restringir o espaço de saída e evitar alucinações.
   • Guia de Raciocínio: Uma seção de "Processo de Pensamento" que decompõe a tarefa em etapas sequenciais (identificar humanos, analisar ações, determinar interações) para espelhar os processos cognitivos humanos.
   • Exemplo de Formato: Um template que exige que a saída inclua uma cadeia de raciocínio (dentro de tags <thought>) e predições finais (dentro de tags <answer>), incorporando coordenadas espaciais diretamente no texto.

2. Ajuste Fino Supervisionado (SFT) com Destilação de Pensamento:
   Para transferir o conhecimento específico da tarefa, é empregado um paradigma professor-aluno. Um modelo professor poderoso (GPT4o-mini) gera traços de raciocínio passo a passo para as imagens de treinamento. O MLLM aluno é treinado via SFT para prever tanto os traços de raciocínio gerados pelo professor quanto as tripletas de HOI da verdade fundamental (ground-truth). Esta "destilação de pensamento" internaliza o processo lógico da detecção de HOI.

3. Aprendizado por Reforço (RL) com Recompensas Customizadas:
   Após o SFT, o modelo é alinhado usando Otimização de Política Relativa de Grupo (GRPO). Os autores projetam uma função de recompensa composta por quatro componentes para garantir o alinhamento estrutural, semântico e geométrico:

   • Recompensa de Formato: Garante que a saída contenha as tags necessárias (<thought>, <answer>) e chaves JSON válidas (human, object, object class, verb class). Penaliza caixas delimitadoras duplicadas e estruturas de chaves incorretas.
   • Recompensas de Rótulo de Objeto e Verbo: Incentiva a predição precisa de classes de objetos e interações comparando os rótulos previstos com a verdade fundamental usando uma estratégia de "drop-on-match".
   • Recompensa de IoU de HOI: Utiliza o algoritmo de Hungariano para combinar pares humano-objeto previstos com pares da verdade fundamental com base na Interseção sobre União (IoU) das caixas de humano e objeto, fornecendo um sinal de alinhamento geométrico.

Principais Contribuições

• Framework HOI-R1: O primeiro framework de MLLM que resolve o HOID de ponta a end-to-end via linguagem natural, removendo a dependência de detectores de objetos.
• Paradigma de Treinamento: Introdução de uma estratégia de treinamento em duas etapas combinando SFT com destilação de pensamento (para injetar conhecimento de HOI) e RL com funções de recompensa especializadas (para alinhar com métricas de HOID).
• Design de Recompensa: Desenvolvimento de funções de recompensa específicas de elementos (formato, rótulo e IoU) que guiam os MLLMs para produzir predições estruturadas, precisas e espacialmente fundamentadas.

Resultados Experimentais
Experimentos foram conduzidos no dataset HICO-DET utilizando múltiplos MLLMs de código aberto, incluindo a família Qwen-VL (Qwen2.5-VL, Qwen3-VL) e Rex-Omni.

• Ganhos de Desempenho: O HOI-R1 demonstra melhorias consistentes em diversos modelos. Notavelmente, aplicar o HOI-R1 ao Qwen2.5-VL-3B resulta em um aumento de 2x na precisão (de ~8.39 mAP para 18.33 mAP na categoria Full sob configurações Default) com apenas 1 época de SFT e 40 passos de treinamento de RL.
• Comparação com SOTA: A variante HOI-R1 do Rex-Omni-3B atinge 27.00 mAP na configuração de Objeto Conhecido (Known Object), superando o Qwen2.5-VL-AWQ de 72 bilhões de parâmetros e métodos tradicionais baseados em transformer como o QPIC.
• Eficiência: O método converge significativamente mais rápido que os métodos tradicionais de HOID, que frequentemente exigem centenas de épocas, alcançando alto desempenho com passos mínimos de treinamento (1 época de SFT + 40 passos de RL).
• Estudos de Ablação: Remover o componente de "pensamento" degrada significativamente o desempenho em categorias raras, destacando o valor do raciocínio. Remover a recompensa de IoU causa uma queda substancial (3.62 mAP), confirmando a necessidade de recompensas de alinhamento geométrico.

Significância e Alegações
O artigo afirma que o HOI-R1 estabelece novos baselines para HOID baseado em MLLM, demonstrando que grandes modelos de linguagem possuem o potencial inerente para lidar com tarefas complexas de raciocínio visual estruturado sem módulos de detecção especializados. Ao alavancar o raciocínio em linguagem natural e o aprendizado por reforço, o framework simplifica o pipeline de HOID enquanto alcança desempenho competitivo ou superior em comparação com abordagens centradas em detectores. Os autores posicionam este trabalho como um passo para simplificar as arquiteturas de HOID e desbloquear as capacidades de raciocínio dos MLLMs para compreensão visual refinada.