Resumo Técnico: Pi-HOC

Declaração do Problema

As interações humano-objeto (HOI) do mundo real são inerentemente muitos-para-muitos, envolvendo contatos físicos simultâneos entre múltiplos humanos e múltiplos objetos. Os métodos existentes para estimativa de contato semântico enfrentam três limitações primárias:

1. Suposição de Humano Único: A maioria das abordagens mais avançadas (SOTA), como o InteractVLM, é projetada para cenas com um único humano e tem dificuldade em desambiguar múltiplas instâncias da mesma categoria de objeto ou múltiplos humanos interagindo.
2. Dependência da Geometria do Objeto: Muitos métodos exigem acesso às geometrias dos objetos (por exemplo, malhas ou nuvens de pontos) além da imagem de entrada, limitando sua aplicabilidade a cenários do mundo real "in-the-wild".
3. Escalabilidade e Eficiência: Os métodos SOTA atuais que aproveitam Grandes Modelos Visuais-Linguísticos (VLMs) são computacionalmente caros, frequentemente exigindo uma passagem forward separada para cada par humano-objeto, resultando em baixa taxa de inferência para cenas complexas.

O desafio central é realizar a previsão semântica de contato 3D denso, por vértice, para todos os pares humano-objeto em uma cena em uma única passagem, sem depender de geometria externa do objeto ou de VLMs massivos.

Metodologia: Pi-HOC

O Pi-HOC (Contato Humano-Objeto 3D Pares) é um framework consciente de instância, de passagem única, projetado para prever contato denso para todos os pares humano-objeto simultaneamente. O pipeline consiste em quatro etapas principais:

1. Detecção de Instâncias e Enumeração de Pares

• Detecção: Um detector DETR congelado processa a imagem RGB de entrada para identificar instâncias de humanos e objetos, gerando caixas delimitadoras e características de consulta.
• Emparelhamento: O sistema enumera todos os pares candidatos humano-objeto. Pares com caixas delimitadoras não sobrepostas (IoU $\le$ 0) são podados, pois não podem estar em contato físico.
• Construção do Token HO: Para cada par válido $(h, o)$, um token dedicado Humano-Objeto (HO) é construído concatenando as características de consulta do DETR do humano e do objeto, projetadas via um pequeno MLP. Isso vincula explicitamente a instância humana específica à instância de objeto específica.

2. Refinamento InteractionFormer

• Arquitetura: O núcleo do modelo é o InteractionFormer, um codificador transformer inicializado com pesos pré-treinados do DINOv2.
• Mecanismo: Os tokens HO são refinados conjuntamente com tokens de patch de imagem através de $L$ camadas de autoatenção.
• Função: Através de atualizações repetidas de autoatenção, os tokens HO aprendem a atender a regiões de imagem relevantes que cercam o par humano-objeto específico. Isso permite que os tokens codifiquem implicitamente o tipo de interação, as partes do corpo envolvidas e a localização aproximada do contato, tornando a representação "consciente da interação" sem a necessidade de um VLM grande.

3. Decodificação de Contato

• Classificação de Presença de Contato: Um classificador MLP leve prevê a probabilidade de contato para cada par. Pares com baixa probabilidade são filtrados para melhorar a eficiência.
• Previsão de Máscara Densa: Para os pares retidos, um decodificador baseado em SAM prevê contato denso.
  • Em vez de decodificar diretamente 6.890 vértices SMPL (computacionalmente caro), o modelo decodifica os tokens HO em mapas de contato 2D multivista (probabilidades pixel a pixel em projeções 2D da malha SMPL).
  • Esses mapas 2D são elevados de volta à superfície 3D SMPL agrupando probabilidades através de vistas visíveis para cada vértice, gerando uma máscara de contato binária por vértice $m_{h,o} \in \{0, 1\}^{N_v}$.

4. Objetivos de Treinamento

O modelo é otimizado usando uma combinação de perdas:

• Perda de Contato 2D: Perdas Focal e Dice nos mapas de contato 2D projetados.
• Perda de Contato 3D: Perda focal ao nível de vértice e um termo de esparsidade $\ell_1$ nas máscaras 3D elevadas.
• Perda de Presença de Contato: Entropia cruzada binária para o classificador de contato.
• Perdas Auxiliares: Perdas opcionais de segmentação de cena e de parte do corpo (quando há verdade-terra disponível) para afiar as representações.

Contribuições Principais

1. Contato Semântico Múltiplo-Humano, Múltiplo-Objeto: O primeiro framework a prever contato semântico denso, por vértice, para cada par humano-objeto em uma cena, abordando a natureza muitos-para-muitos das interações do mundo real.
2. Arquitetura de Passagem Única, Consciente de Instância: O Pi-HOC forma pares HO e os refina via um InteractionFormer e um decodificador baseado em SAM em uma única passagem forward, eliminando a necessidade de consultas repetidas a VLMs.
3. Desempenho e Eficiência Estado-da-Arte: O método alcança ganhos significativos em precisão e localização, operando a velocidades aproximadamente 20$\times$ mais rápidas que os métodos SOTA anteriores (InteractVLM).
4. Aplicações a Montante: O artigo demonstra duas aplicações:
   • Refinamento SAM-3D: Usando contatos previstos como restrições para otimizar a reconstrução imagem-para-malha no tempo de teste, corrigindo artefatos como "mãos flutuantes".
   • Previsão de Contato Referencial: Permitindo a previsão zero-shot de contato para um par humano-objeto específico referenciado por uma consulta em linguagem natural, sem treinamento adicional.

Resultados Experimentais

O Pi-HOC foi avaliado em dois conjuntos de dados: MMHOI (múltiplas pessoas, múltiplos objetos) e DAMON (pessoa única, múltiplos objetos).

• Desempenho MMHOI: O Pi-HOC alcançou uma pontuação F1 de 61,09, superando a melhor variante do InteractVLM (54,86) em 6,23 pontos (aproximadamente 11,4% de melhoria relativa). Também reduziu o erro de distância geodésica em 13,3% (0,073 $\to$ 0,0633), indicando localização superior.
• Desempenho DAMON: Em cenas de pessoa única, o Pi-HOC melhorou o F1 para 63,23 em comparação com os 59,48 do InteractVLM, ao mesmo tempo que reduziu o erro geodésico.
• Velocidade de Inferência: O Pi-HOC demonstra escalabilidade superior. Para uma cena com 11 pares humano-objeto, o Pi-HOC roda a 2,3 FPS, enquanto o InteractVLM cai para 0,026 FPS (um aumento de velocidade de 88,5$\times$). O Pi-HOC degrada-se graciosamente à medida que a contagem de pares aumenta, ao contrário da degradação linear das abordagens VLM por par.
• Estudos de Ablação:
  • Inicialização: A inicialização com DINOv2 superou significativamente a inicialização com CLIP e aleatória, atribuída às características espaciais mais fortes do DINOv2.
  • Decodificador: O decodificador baseado em SAM superou significativamente um decodificador MLP padrão, destacando a importância da decodificação robusta de máscaras para localização fina.

Significado

O artigo afirma que o Pi-HOC fornece uma solução prática e escalável para a previsão de contato semântico denso em cenas complexas e desordenadas. Ao afastar-se das suposições de humano único e das dependências pesadas de VLMs, ele permite raciocínio em nível de instância em tempo real. Os autores posicionam este trabalho como um prior estrutural para a compreensão humano-cenário, com utilidade imediata em realidade aumentada, robótica e vigilância, onde a modelagem precisa do contato físico é crítica. A capacidade de realizar previsão de contato referencial e melhorar a reconstrução 3D sem treinamento adicional destaca ainda mais a versatilidade do framework.