JointHOI: Jointly Generating Contact Maps Enhances Hand Object Interaction Generation

Resumo Técnico: JointHOI

Definição do Problema
A geração de Interação Mão-Objeto (HOI) orientada por texto é crítica para a robótica e aplicações imersivas (AR/VR), mas produzir interações fisicamente plausíveis continua sendo um desafio significativo. Embora métodos recentes consigam gerar movimentos com aparência natural, eles frequentemente falham em manter uma consistência de contato precisa. Pequenos erros na temporização ou proximidade do contato manifestam-se como artefatos conspícuos, tais como dedos flutuando sobre objetos ou interpenetrando-os. As abordagens existentes tipicamente dependem de pipelines de múltiplos estágios (por exemplo, prever uma preensão seguida de refinamento de movimento) ou de priors latentes implícitos. Esses métodos geralmente utilizam pistas de contato estáticas e binárias que não conseguem capturar a natureza espaciotemporalmente estruturada do contato, que evolui continuamente à medida que as mãos se aproximam, agarram, manipulam e soltam os objetos. Consequentemente, esses pipelines têm dificuldade em modelar a evolução do contato no tempo, levando à propagação de erros e à falta de fundamentação física.

Metodologia: JointHOI
Os autores propõem o JointHOI, um framework de difusão conjunta de estágio único projetado para gerar movimento mão-objeto 3D e mapas de contato dinâmicos simultaneamente a partir de comandos de texto (prompts). A inovação central é tratar o contato não como um sinal de condicionamento separado, mas como uma "modalidade interna" do próprio movimento.

1. Representação de Mapa de Contato Dinâmico:
   Em vez de mapas de contato binários ou estáticos, o JointHOI representa o contato como um campo contínuo baseado em distância. A superfície do objeto é discretizada usando um conjunto fixo de $N_c=1024$ pontos de ancoragem (via Farthest Point Sampling). Para cada quadro (frame), o modelo prevê a distância euclidiana mínima de cada âncora até a superfície das mãos esquerda e direita. Isso gera um sinal denso e temporalmente evolutivo ($C \in \mathbb{R}^{L_{max} \times N_c}$) que rastreia a proximidade quadro a quadro, evitando a sensibilidade ao limiar (threshold) e fornecendo um sinal suave para orientação baseada em gradiente.

2. Modelo de Difusão Conjunta:
   O framework emprega um modelo de difusão baseado em Transformer que opera em um token de sequência unificado $y_l$. Este token concatena os estados cinemáticos da mão esquerda, mão direita e objeto, juntamente com os mapas de contato dinâmicos para ambas as mãos.

   • Arquitetura: O modelo é condicionado por embeddings de texto (CLIP) e características de geometria do objeto (PointNet). Utiliza condicionamento de prefixo para injetar esses sinais na sequência.
   • Treinamento: O denoiser é treinado para reconstruir a sequência conjunta limpa (movimento + contato) a partir de entradas ruidosas usando uma perda de reconstrução $L_2$ padrão. Ao gerar ambas as modalidades simultaneamente, o modelo aprende o acoplamento entre movimento e contato (ex: distâncias diminuindo durante a aproximação, aumentando durante a liberação) diretamente através de mecanismos de autoatenção dentro de um espaço latente compartilhado.

3. Orientação Interna de Contato (CIG - Contact Inner Guidance):
   Para garantir a plausibilidade física na inferência, os autores introduzem a Orientação Interna de Contato (CIG), uma estratégia de amostragem baseada em classificador livre de treinamento.

   • Mecanismo: Durante o processo de denoising, a CIG impõe consistência entre os mapas de contato explicitamente gerados pelo modelo ($\hat{C}$) e os mapas de contato implicitamente derivados da geometria sintetizada ($\bar{C}$).
   • Função de Energia: Uma energia de consistência de contato $\mathcal{L}_{cig}$ é computada como a distância $L_1$ entre as escalas logarítmicas das distâncias de contato geradas e derivadas. A escala logarítmica enfatiza regiões de contato próximo de granularidade fina, onde as violações físicas são mais críticas.
   • Orientação (Guidance): O gradiente desta energia em relação à variável ruidosa é usado para direcionar a trajetória de denoising, reduzindo artefatos como penetração e flutuação sem exigir estágios secundários de treinamento ou refinamento de pós-processamento.

Principais Contribuições

• Framework Conjunto de Estágio Único: O JointHOI é o primeiro método de HOI orientado por texto que gera conjuntamente movimento 3D e mapas de contato dinâmicos baseados em distância, eliminando a complexidade e a acumulação de erros de pipelines de múltiplos estágios.
• Representação de Contato Dinâmico: A introdução de um mapa de contato baseado em distância e temporalmente denso que captura a evolução contínua da proximidade mão-objeto, servindo como um sinal mais informativo do que pistas binárias estáticas.
• Orientação Interna de Contato (CIG): Uma estratégia de amostragem de tempo de inferência inovadora que utiliza mapas de contato co-gerados para guiar a geração de movimento. Ela impõe consistência geométrica sem redes neurais externas ou pós-processamento, reduzindo significativamente artefatos físicos.
• Avaliação Abrangente: Experimentos extensivos e estudos de ablação validando a eficácia da modelagem conjunta e da orientação de contato.

Resultos Experimentais
O método foi avaliado nos conjuntos de dados GRAB (objetos rígidos) e ARCTIC (objetos articulados).

• Plausibilidade Física: O JointHOI alcançou os menores volumes de interpenetração (IV) e profundidade (ID) entre todos os métodos sintetizados. No ARCTIC, reduziu o volume de penetração em aproximadamente metade comparado ao forte baseline Text2HOI.
• Aderência Semântica: O modelo demonstrou aderência textual superior, alcançando a maior precisão de ação Top-3 e a menor Distância de Fréchet Inception (FID) em ambos os conjuntos de dados, indicando alto realismo de movimento e alinhamento semântico.
• Eficiência: O JointHOI é significativamente mais eficiente que os baselines de múltiplos estágios (ex: DiffH2O, LatentHOI), com tempos de inferência comparáveis aos baselines de estágio único como o MDM, apesar do passo adicional de CIG.
• Estudos de Ablação: Ablações incrementais confirmaram que a transição de um modelo de dois estágios para um modelo conjunto de um estágio, a incorporação de mapas de contato dinâmicos e a aplicação de CIG contribuíram com melhorias distintas na fidelidade semântica e consistência física.

Significância e Alegações
O artigo afirma que o JointHOI aborda a desconexão fundamental entre a síntese de movimento e o contato físico na geração de HOI. Ao tratar o contato como uma modalidade interna, o framework modela explicitamente a evolução espaciotemporal da proximidade mão-objeto, permitindo que o modelo internalize padrões de covariância fisicamente fundamentados. Os autores afirmam que esta abordagem produz interações mais naturais, estáveis e fisicamente plausíveis, mitigando efetivamente artefatos comuns como flutuação e interpenetração que assolam métodos anteriores. O trabalho demonstra que a geração conjunta, aliada à orientação de consistência em tempo de inferência, fornece um caminho robusto para a síntese de interação de alta fidelidade orientada por texto para robótica e aplicações imersivas.