Zero-shot HOI Detection with MLLM-based Detector-agnostic Interaction Recognition

Este trabalho propõe um framework desacoplado para detecção de interação humano-objeto em cenários de zero-shot, que utiliza modelos de linguagem grandes multimodais (MLLMs) para reconhecimento de interação independente do detector, incorporando um módulo de pooling espacialmente consciente e um método de correspondência determinística de uma única passagem para alcançar desempenho superior e generalização cruzada.

O essencial

Imagine que você está tentando ensinar um robô a entender o que está acontecendo em uma foto. O desafio é duplo: primeiro, o robô precisa enxergar quem e o que está na imagem (uma pessoa, uma bicicleta, uma xícara). Segundo, e mais difícil, ele precisa entender a ação que conecta os dois (a pessoa está montando na bicicleta ou apenas segurando a bicicleta?).

Este artigo de pesquisa, apresentado na conferência ICLR 2026, propõe uma nova maneira de ensinar robôs a fazerem isso, especialmente para situações que eles nunca viram antes (o chamado "Zero-Shot").

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Problema: O Casamento Forçado

Antes, os cientistas criavam sistemas onde o "olho" do robô (o detector de objetos) e o "cérebro" que entende a ação (o reconhecimento de interação) eram como um casal que não pode se separar.

• Como funcionava antes: Se você queria mudar o "olho" do robô para um mais moderno e preciso, você tinha que treinar todo o "cérebro" do zero. Era como se você trocasse o motor de um carro, mas tivesse que redesenhar todo o sistema de direção e freios porque eles estavam soldados juntos.
• O resultado: O robô era bom apenas no que foi treinado. Se você mostrasse uma interação nova (ex: "alguém pintando um quadro" em vez de "alguém segurando um pincel"), o robô ficava confuso.

2. A Solução: O Detetive Especialista (MLLM)

Os autores propuseram desacoplar essas duas partes. Eles separam o "olho" do "cérebro".

• O Olho (Detector): Pode ser qualquer um. Pode ser um detector antigo, um novo, um rápido ou um lento. Ele apenas diz: "Aqui tem uma pessoa e ali tem uma bicicleta".
• O Cérebro (MLLM): Aqui entra a mágica. Eles usam um Modelo de Linguagem Multimodal (MLLM). Pense nele como um detetive superinteligente que leu milhões de livros e viu milhões de fotos. Ele não precisa ser treinado do zero para cada nova ação. Ele já entende o conceito de "pintar", "segurar" ou "montar" porque entende a linguagem humana.

3. Como Funciona a Mágica? (A Pergunta e Resposta)

Em vez de tentar classificar a ação como um código binário chato, o sistema transforma a imagem em uma pergunta para o detetive.

• O Cenário: O detector diz: "Tenho uma pessoa e uma bicicleta aqui".
• A Pergunta para o Detetive: "Olhe para esta pessoa e esta bicicleta. Qual das seguintes ações está acontecendo: montar na bicicleta, segurar a bicicleta ou sentar na bicicleta?"
• A Resposta: O detetive (MLLM) analisa a imagem e responde: "É montar na bicicleta".

Isso é chamado de Geração Determinística. É como se o robô fosse obrigado a escolher uma resposta de uma lista de opções, em vez de inventar uma história aleatória. Isso evita erros de formato e garante que ele pense em todas as possibilidades antes de decidir.

4. Os Dois Truques de Mestre (Para ficar rápido e preciso)

Usar um "detetive superinteligente" é ótimo, mas pode ser lento e às vezes ele se confunde se a foto estiver borrada ou se o detector errar um pouco a posição da pessoa. Para resolver isso, os autores criaram duas ferramentas:

• A "Lente de Zoom Inteligente" (Spatial-Aware Pooling):
  Às vezes, o detector diz que a pessoa está segurando a bicicleta, mas na verdade a mão dela está longe. O sistema tradicional olharia apenas dentro da caixa que envolve a pessoa. O novo sistema, porém, olha para o espaço entre a pessoa e o objeto. É como se ele dissesse: "Ei, a mão está perto do guidão, então faz sentido que seja 'segurar'". Ele usa a posição relativa para entender melhor a cena, mesmo que a foto não esteja perfeita.

• O "Pulo do Gato" (One-Pass Matching):
  Se o detetive tiver que ler a lista de opções (montar, segurar, sentar) uma por uma, demora muito. O novo método permite que o robô compare todas as opções de uma só vez em um único piscar de olhos (uma única passada). É como se, em vez de ler três livros para encontrar a resposta certa, ele olhasse para as capas dos três livros simultaneamente e escolhesse o vencedor instantaneamente. Isso torna o sistema muito mais rápido.

5. Por que isso é incrível? (Resultados)

• Flexibilidade: Você pode trocar o "olho" do robô por um modelo mais novo amanhã, e o "cérebro" (o detetive) continuará funcionando perfeitamente sem precisar de novos estudos.
• Generalização: O robô consegue entender ações que nunca viu antes, apenas porque entende a linguagem. Se você perguntar sobre "alguém dançando com um cachorro" (algo que não estava nos dados de treino), o robê consegue deduzir o significado.
• Desempenho: Nos testes, esse método bateu todos os concorrentes, tanto em fotos novas quanto em testes onde o robô teve que usar um "olho" diferente do que foi treinado.

Resumo em uma frase

Os autores criaram um sistema onde um detector de objetos apenas aponta o que existe na foto, e um detetive de IA superinteligente (que entende linguagem) decide o que está acontecendo, permitindo que o robô aprenda novas ações sem precisar ser reeducado do zero, tudo isso de forma rápida e flexível.

Resumo técnico

Título: Detecção Zero-Shot de Interação Humano-Objeto com Reconhecimento de Interação Baseado em MLLM e Agnóstico ao Detector

1. O Problema

A detecção de Interação Humano-Objeto (HOI) visa localizar humanos e objetos em imagens e reconhecer as interações (verbos) entre eles. O desafio central reside no Zero-Shot HOI Detection, onde o modelo deve reconhecer interações que não foram vistas durante o treinamento.

As limitações dos métodos existentes incluem:

• Acoplamento Estrito: A maioria dos métodos (especialmente os de duas etapas) acopla o reconhecimento de interação (IR) a um detector de objetos específico. Isso impede a melhoria independente de cada componente e exige retreinamento se o detector for alterado.
• Generalização Limitada: Métodos baseados em CLIP (Vision-Language Models) frequentemente utilizam características de linguagem grosseiras (coarse-grained) e dependem de características do detector que não generalizam bem para interações não vistas.
• Ineficiência Computacional: Abordagens que geram texto aberto (open-ended) via MLLMs tendem a ter alta taxa de erro de formato e exigem múltiplas passadas no modelo para classificar todas as interações candidatas, tornando a inferência lenta.

2. Metodologia Proposta

Os autores propõem um framework desacoplado que separa a detecção de objetos do reconhecimento de interação, utilizando Modelos de Linguagem Multimodal (MLLMs) para a tarefa de IR.

A. Desacoplamento e Tarefa VQA

• O sistema aceita os resultados de qualquer detector de objetos (ex: DETR, Grounding-DINO, YOLO-World) sem necessidade de retreinamento.
• Para cada par humano-objeto detectado, a tarefa de IR é reformulada como uma Questão de Resposta Visual (VQA). O MLLM recebe as características da imagem e do par, juntamente com uma lista de interações candidatas, e deve selecionar a correta.

B. Geração Determinística (Training-Free)

• Para contornar a natureza de geração de texto aberto dos MLLMs (que gera apenas uma resposta e sem pontuação de confiança direta), os autores introduzem um método de Geração Determinística.
• Em vez de pedir ao modelo para "gerar" a interação, calcula-se a verossimilhança condicional (probabilidade) do modelo gerar cada interação candidata da lista.
• Isso transforma o problema em uma classificação multi-rotulada, permitindo obter pontuações de confiança para todas as interações simultaneamente, sem necessidade de treinamento inicial (zero-shot).

C. Pooling Consciente do Espaço (Spatial-Aware Pooling - SAP)

• Para lidar com ruídos nas caixas delimitadoras (bounding boxes) e capturar informações espaciais cruciais, propõe-se o módulo SAP.
• Este módulo integra:
  1. Aparência: Características do humano e do objeto.
  2. Informação Espacial Pares: Vetores que codificam área, razão de aspecto, IoU (Intersecção sobre União) e direção relativa entre humano e objeto.
  3. Atenção Cruzada: Agrega informações do mapa de características da imagem além da área estrita da caixa delimitadora, aumentando a robustez a detecções imperfeitas.
• Um classificador linear simples filtra pares não interativos antes de enviá-los ao MLLM, reduzindo a complexidade computacional.

D. Correspondência Determinística em Uma Única Passada (One-Pass Deterministic Matching)

• Para resolver o custo computacional de fazer múltiplas passadas no MLLM (uma para cada interação candidata), os autores propõem uma estratégia de correspondência de características.
• Todas as interações candidatas são inseridas no prompt com um token especial <|hoi|>.
• O MLLM extrai características para cada token especial em uma única passada.
• A pontuação de confiança é calculada pela similaridade de cosseno entre as características do par humano-objeto e as características de cada interação candidata. Isso permite prever todas as interações em uma única inferência.

3. Contribuições Principais

1. Framework Agnóstico ao Detector: A primeira abordagem a desacoplar totalmente a detecção de objetos do reconhecimento de interação em HOI, permitindo a integração plug-and-play com qualquer detector de última geração sem retreinamento.
2. Reconhecimento Zero-Shot sem Treinamento: Um método robusto baseado em MLLM que utiliza geração determinística para realizar IR zero-shot sem necessidade de ajuste fino (fine-tuning), superando métodos baseados em CLIP.
3. Eficiência e Robustez: Introdução do módulo SAP e da correspondência em uma única passada, que melhoram a precisão ao lidar com ruídos de detecção e reduzem drasticamente o tempo de inferência.
4. Generalização Superior: Demonstração de forte capacidade de generalização cruzada (cross-dataset) e em cenários de composições não vistas.

4. Resultados Experimentais

Os métodos foram avaliados nos benchmarks HICO-DET e V-COCO.

• HICO-DET (Zero-Shot): O método alcançou o melhor desempenho em todas as configurações (RF-UC, NF-UC, UO, UV).
  • No cenário Unseen Object (UO), superou o estado da arte (BC-HOI) em aproximadamente 28,73%.
  • No cenário Non-Rare First Unseen Combination (NF-UC), superou o BC-HOI em 10,11%.
• Agnosticismo ao Detector: Ao combinar o framework com detectores mais fortes como Grounding-DINO e YOLO-World, o mAP médio aumentou para 44,00% e 43,68%, respectivamente, demonstrando que o sistema se beneficia diretamente de avanços em detecção de objetos sem retreinamento.
• Generalização Cruzada (Cross-Dataset): Treinado no HICO-DET e testado no V-COCO, o método alcançou 59,91% mAP, superando significativamente o segundo melhor método (BCOM com 48,87%).
• Eficiência: A correspondência em uma única passada reduziu o tempo de inferência de ~569ms (baseline) para 91ms por imagem, mantendo alta precisão.
• Ablation Study: Confirmou que a geração determinística é essencial (reduzindo erros de formato para 0%) e que o módulo SAP é crucial para lidar com ruídos de detecção.

5. Significância

Este trabalho estabelece um novo paradigma para a detecção de HOI. Ao separar a detecção de objetos do reconhecimento de interação e aproveitar a poderosa capacidade de generalização multimodal dos MLLMs, o método resolve o gargalo da generalização em interações não vistas.

A flexibilidade de integrar qualquer detector de objetos torna o sistema altamente escalável e adaptável a diferentes cenários de aplicação (como robótica e direção autônoma), onde os requisitos de detecção podem mudar, mas a necessidade de entender interações complexas permanece. A capacidade de operar em modo training-free (sem treinamento) oferece uma solução prática imediata para aplicações que não possuem grandes conjuntos de dados anotados.