Resumo Técnico: CoInteract – Síntese de Vídeos de Interação Humano-Objeto Consistente Fisicamente

1. O Problema

A síntese de vídeos de Interação Humano-Objeto (HOI - Human-Object Interaction) é crucial para aplicações em e-commerce, publicidade digital e marketing virtual. Embora os modelos de difusão atuais consigam gerar vídeos fotorrealistas, eles falham consistentemente em dois aspectos críticos quando aplicados a interações complexas:

1. Instabilidade Estrutural: Regiões sensíveis como mãos e faces sofrem com distorções, fusão de dedos ou borrão de traços faciais.
2. Violações Físicas: Falta de plausibilidade física, manifestada principalmente na interpenetração de mãos com objetos (ex: a mão atravessando a superfície de um produto), devido à falta de consciência explícita das fronteiras dos objetos e da geometria de interação.

Os métodos existentes geralmente dependem de pré-processamento pesado (como extração de poses por quadro) ou carecem de mecanismos explícitos para impor restrições de estrutura de interação, resultando em interações não naturais.

2. Metodologia

O CoInteract é uma framework end-to-end (de ponta a ponta) para síntese de vídeos de HOI acionada por fala, condicionada a uma imagem de referência da pessoa, uma imagem de referência do produto, prompts de texto e áudio. A arquitetura é baseada em um Transformer de Difusão (DiT) e introduz duas inovações principais:

A. Geração Co-estruturada Espacialmente (Spatially-Structured Co-Generation)

Em vez de gerar apenas o fluxo RGB (cores), o modelo treina simultaneamente dois fluxos dentro de um único backbone compartilhado:

• Fluxo RGB: Gera o vídeo visualmente rico.
• Fluxo de Estrutura HOI: Um fluxo auxiliar onde o corpo humano é representado apenas como uma silhueta (sem textura) e o objeto mantém sua aparência RGB.
• Mecanismo: Durante o treinamento, o fluxo HOI atende aos tokens RGB e sua supervisão regulariza os pesos compartilhados do backbone, forçando o modelo a aprender relações geométricas e de interação, e não apenas pistas de aparência.
• Atenção Assimétrica: Utiliza uma máscara de atenção assimétrica em duas etapas. Na inferência, o ramo HOI é removido, permitindo a geração de vídeo RGB com custo zero adicional, pois os conhecimentos geométricos foram internalizados no backbone.

B. Mixture-of-Experts (MoE) Consciente do Humano

Para resolver a instabilidade em regiões de alta frequência (mãos e faces):

• Um roteador leve (baseado em caixas delimitadoras de mãos e faces) direciona tokens específicos para especialistas regionais.
• Existem três especialistas leves (Head, Hand, Base) além de um especialista compartilhado.
• Isso melhora a fidelidade estrutural nessas áreas críticas com um aumento mínimo de parâmetros, sem degradar a qualidade geral.

C. Codificação de Coordenadas 3D RoPE

O modelo utiliza Rotary Positional Encoding (RoPE) 3D para atribuir coordenadas espaço-temporais distintas a diferentes modalidades (movimento histórico, referências estáticas e latentes de geração), garantindo coerência temporal e alinhamento espacial preciso entre os fluxos.

3. Principais Contribuições

1. Framework Unificado End-to-End: CoInteract integra priores estruturais humanos e restrições de geometria de interação diretamente no DiT, eliminando a necessidade de pré ou pós-processamento externo pesado.
2. MoE Consciente do Humano: Uma abordagem de roteamento supervisionado espacialmente que especializa a capacidade do modelo para mãos e faces, reduzindo artefatos comuns nessas regiões.
3. Paradigma de Geração Co-estruturada: O uso de um fluxo auxiliar de estrutura HOI durante o treinamento (com remoção na inferência) impõe restrições físicas e geométricas, reduzindo drasticamente a interpenetração mão-objeto sem custo computacional extra na fase de uso.

4. Resultados Experimentais

Os resultados foram avaliados em um conjunto de dados de 12.000 clipes de demonstração de produtos e vídeos ao vivo.

• Métricas Quantitativas:
  • Plausibilidade de HOI (VLM-QA): CoInteract alcançou a pontuação mais alta (0.72), superando significativamente métodos como AnchorCrafter (0.22) e Phantom (0.50).
  • Qualidade de Mão (HQ): Obteve o melhor resultado (0.724), indicando mãos estruturalmente mais estáveis e claras.
  • Consistência de Identidade: Liderou em preservação de identidade facial e de objeto (DINOid e FaceSim).
  • Coerência Temporal: Alta pontuação em suavidade entre quadros (Smooth: 0.9951).
• Estudo com Usuários: Em uma avaliação cega com 24 avaliadores, o CoInteract obteve a melhor classificação média em todos os critérios: Consistência do Objeto, Consistência Humana/Fundo e, especialmente, Plausibilidade da Interação.
• Estudo de Ablação:
  • Remover o fluxo HOI (w/o Co-Gen) causou uma queda drástica de 33,3% na pontuação de plausibilidade de HOI.
  • Remover o MoE degradou significativamente a qualidade das mãos e faces.
  • A estratégia de atenção assimétrica permitiu manter a alta qualidade com apenas 1,04x de custo computacional em relação à linha de base, enquanto manter o ramo HOI na inferência aumentaria o custo para 4,13x.

5. Significância

O CoInteract representa um avanço significativo na geração de vídeo centrada no ser humano. Ao transformar o modelo de difusão de um gerador puramente baseado em aparência para um motor de interação consciente da estrutura, o trabalho resolve problemas fundamentais de física e anatomia que limitavam os métodos anteriores.

Sua capacidade de gerar vídeos de demonstração de produtos onde as mãos manipulam objetos de forma realista, sem interpenetração e mantendo a identidade do apresentador, torna-o altamente valioso para aplicações comerciais automatizadas, reduzindo a dependência de gravações manuais caras e de pós-produção complexa. A abordagem de "treinar com estrutura, inferir sem estrutura" oferece um novo paradigma eficiente para a incorporação de restrições físicas em modelos generativos.