Resumo Técnico: PhotoHOI

Formulação do Problema

A síntese de interação mão-objeto (HOI - hand-object interaction) é crítica para aplicações em AR/VR, humanos digitais e interação incorporada (embodied interaction). No entanto, os métodos existentes dependem tipicamente de geometrias de objetos predefinidas, trajetórias de objetos ou condições específicas de tarefas que devem ser preparadas manualmente, limitando sua aplicabilidade a entradas naturais do mundo real.

O PhotoHOI aborda o desafio de sintetizar sequências de interação mão-objeto 3D a partir de entradas mínimas do usuário: uma única fotografia RGB e uma instrução de linguagem de vocabulário aberto. O sistema deve inferir a geometria relevante da tarefa, estados iniciais e relações espaciais a partir da imagem, planejar uma trajetória de objeto livre de colisões e sintetizar uma sequência de movimento de mão correspondente sem conhecimento prévio do modelo 3D do objeto ou do caminho de movimento.

Metodologia

O PhotoHOI emprega um pipeline de dois estágios: (1) Recuperação de Cena e Planejamento de Movimento, e (2) Síntese de Movimento de Mão guiada por priors de interação aprendidos.

1. Parsing de Tarefa Baseado em VLM

O sistema utiliza um Modelo de Linguagem-Visão (VLM) para analisar a imagem de entrada e a instrução em uma especificação de tarefa estruturada. O VLM extrai:

• Objetos relevantes à tarefa ($O_{task}$): Objetos ou regiões a serem localizados.
• Especificação estruturada ($\tau$): Composta pelo tipo de ação ($a$), objeto de interação ($o_{int}$), objeto/região alvo ($o_{goal}$) e relação espacial ($r$).
  Isso converte instruções semânticas de alto nível em pistas estruturadas para a recuperação 3D e o planejamento de movimento subsequentes.

2. Recuperação de Cena e Planejamento de Trajetória de Objeto

• Segmentação de Vocabulário Aberto: Um modelo de fundação segmenta os objetos relevantes à tarefa na imagem para gerar máscaras de instância.
• Recuperação 3D por Objeto: Usando um modelo de reconstrução 3D de visão única, o sistema recupera a geometria local ($G_i$) e a transformação de similaridade inicial ($T_i$) para cada objeto segmentado.
• Otimização Consciente de Suporte: Para resolver inconsistências espaciais (ex: objetos flutuantes), uma otimização leve refina as poses dos objetos. Ela estima um plano de suporte (ex: uma mesa) e otimiza as translações dos objetos ao longo da normal do suporte para garantir o contato com superfícies de suporte, ao mesmo tempo em que penaliza a penetração.
• Planejamento de Trajetória: Com base na cena recuperada e nas relações espaciais analisadas, o sistema planeja uma trajetória de objeto suave e livre de colisões. Ele constróia uma trajetória de Bézier cúbica elevada para translação e utiliza interpolação esférica linear (SLERP) para rotação. Um mecanismo de replanejamento verifica colisões com a geometria da cena recuperada e ajusta o caminho se necessário.

3. Síntese de Movimento de Mão

Para sintetizar o movimento da mão que se generalize a objetos não vistos, o PhotoHOI aprende priors transferíveis de conjuntos de dados de affordance e HOI em larga escala.

• Prior de Contato Condicionado à Tarefa: Um Autoencoder Variacional (VAE) condicional prevê um mapa de probabilidade de contato ponto a ponto na superfície do objeto com base na geometria do objeto e no tipo de ação. Isso é treinado primeiro em dados de affance em larga escala (para regiões funcionais generalizáveis) e depois ajustado em mapas de contato de HOI.
• Prior de Preensão Condicionado ao Contato: Um segundo VAE condicional modela a distribuição de articulações de mão plausíveis (parâmetros MANO) condicionadas ao mapa de contato previsto. Ele aprende a mapear características de contato do objeto para um espaço latente compacto ($z$) que representa configurações de mão válidas.
• Otimização de Mão no Espaço Latente: Em vez de otimizar diretamente parâmetros MANO de alta dimensão, o sistema refina a preensão no espaço latente aprendido. A otimização minimiza uma função de perda composta por:
  • Perda de Prior ($E_{prior}$): Regulariza o código latente em direção à distribuição aprendida.
  • Perda de Contato ($E_{contact}$): Alinha a superfície da mão com regiões de contato de alta probabilidade.
  • Perda de Penetração ($E_{pen}$): Penaliza a interpenetração mão-objeto.
    A pose global do pulso é prevista separadamente e otimizada junto com o código latente.
• Geração de Movimento: Finalmente, um movimento de aproximação é gerado interpolando de uma pose de espaço livre para a preensão otimizada. Durante a manipulação, a mão mantém a transformação relativa otimizada com o objeto enquanto segue a trajetória de objeto planejada.

Principais Contribuições

1. Framework PhotoHOI: Um novo sistema que sintetiza sequências de HOI 3D a partir de uma única imagem RGB e instrução de vocabulário aberto, eliminando a necessidade de geometria de objeto 3D ou trajetórias preparadas manualmente.
2. Pipeline Imagem-para-Movimento: Uma abordagem abrangente que analisa tarefas, recupera cenas 3D relevantes à tarefa com refinamento consciente de suporte e planeja trajetórias de objeto livres de colisões.
3. Priors de Interação Transferíveis: O desenvolvimento de um prior de contato condicionado à tarefa e um prior de preensão condicionado ao contato. Ao refinar as preensões em um espaço latente aprendido, o método garante uma articulação de mão plausível enquanto satisfaz restrições de contato e penetração em objetos reconstruídos e não vistos.

Resultados Experimentais

Os autores avaliaram o PhotoHOI em benchmarks padrão (GRAB, H2O) e entradas de fotografias do mundo real.

• Desempenho em Benchmarks: No GRAB e H2O, o PhotoHOção superou os métodos de estado da arte (GraspD, DiffH2O, Text2HOI, OpenHOI) em termos de Volume de Interpenetração (IV), Profundidade de Interpenetração (ID), Razão de Contato (CR) e Autopenetração (SP).
• Desempenho no Mundo Real: Em experimentos com 30 cenas do mundo real e 2.000 tentativas randomizadas, o PhotoHOI alcançou uma Taxa de Sucesso de Tarefa (TSR) e uma Taxa de Consistência de Cena (SCR) mais altas em comparação com os baselines, demonstrando robustez na conclusão de tarefas instruídas e na manutenção da plausibilidade física.
• Estudos de Ablação: Remover o prior de contato, o prior de pose da mão ou a otimização latente resultou em desempenho degradado (aumento de penetração, redução da razão de contato ou articulação implausível), confirmando a necessidade de cada componente.

Significância e Alegações

O artigo afirma que o PhotoHOI representa um passo prático para implantar a síntese de 3D HOI em cenários do mundo real ao reduzir a dependência de dados preparados manualmente. Ao fundamentar as interações em uma cena 3D recuperada e utilizar priors transferíveis, o sistema preenche a lacuna entre entradas naturais de usuários (imagens e linguagem) e a geração de movimento 3D complexo. Os autores posicionam isso como um avanço significativo para a criação de conteúdo e interação incorporada, observando que o escopo atual é limitado a objetos rígidos em cenas de mesa, com trabalhos futuros potencialmente explorando objetos articulados/deformáveis e retargeting robótico.