Resumo Técnico: Modelagem de Mundo Centrada no Humano em Tempo Real para Interação Humano-Objeto da Parte Superior do Corpo

Declaração do Problema

Avanços recentes na geração de vídeos humanos melhoraram a qualidade da síntese de partes superiores do corpo para aplicações como telepresença e agentes interativos. No entanto, os métodos existentes focam primariamente na geração impulsionada por movimento centrada na pessoa (ex: reencenação ou animação de avatar) sem modelar explicitamente a interação humano-objeto ou seus efeitos no cenário local circundante. Embora modelos de geração condicionada por texto possam retratar interações, eles frequentemente dependem de prompts de forma livre que emaranham semânticas de movimento e interação, levando a um controle de movimento fraco e resultados de contato instáveis. Além disso, a maioria das abordagens atuais é computacionalmente cara e limitada à geração offline, carecendo do framework unificado necessário para o implantação interativa em tempo real, onde o movimento de uma pessoa e seu estado de contato específico com objetos devem ser controlados simultaneamente e com baixa latência.

Metodologia

Os autores propõem um modelo de mundo centrado no humano em tempo real para geração interativa da parte superior do corpo. O framework sintetiza a dinâmica coerente do mundo local centrado em uma pessoa, onde movimentos coordenados de corpo, mãos e rosto evoluem conjuntamente com interações humano-objeto discretas e controláveis. O núcleo do método é um esquema de controle conjunto contínuo-discreto composto por dois componentes complementares:

1. Controle Contínuo do Estado Humano

Para modelar a dinâmica coordenada de parte superior do corpo, mãos e rosto, os autores introduzem uma representação implícita unificada baseada em codificação de movimento multiescala.

• Decomposição Multiescala: A entrada de condução é decomposta em quatro regiões: a parte superior do corpo, a mão esquerda, a mão direita e o rosto.
• Codificação Implícita: Os inputs de movimento específicos de cada região são codificados em vetores latentes usando encoders baseados em ViT. Esses latentes são fundidos em um espaço latente compartilhado.
• Retargeting Implícito: Os latentes de movimento fundidos são concatenados com patches de imagem de referência projetados linearmente e alimentados em um decoder. Este design permite um controle expressivo e detalhado da dinâmica corpo-mão-rosto sem retargeting esquelético explícito, preservando a identidade enquanto captura detalhes sutis de movimento.

2. Controle de Estado de Interação Discreto

Para modelar a relação de contato entre a pessoa e os objetos ao redor, os autores representam a interação usando comandos de estado de interação discretos codificados por linguagem, em vez de prompts semânticos de forma aberta.

• Estados Discretos: O estado de interação ($s_o$) é definido como um pequeno conjunto de variáveis discretas, especificamente "sem contato" e "segurar" (grasp).
• Controle Explícito: O texto serve como um comando explícito para alternar entre esses estados, complementando o controle de estado humano contínuo. Essa separação permite que o modelo gere diferentes resultados visuais locais (ex: segurando vs. sem contato) sob condições de movimento humano semelhantes.
• Pipeline de Dados: Um pipeline de renderização dedicado foi construído para gerar um dataset de alta qualidade com mais de 30.000 amostras. Este pipeline utiliza Z-Image para geração de referência, Qwen-VL para detecção de objetos e Wan2.2-14B-I2V para síntese de vídeo, filtrados por Qwen-VL e inspeção manual para garantir a plausibilidade da interação.

3. Otimização em Tempo Real

Para alcançar inferência de streaming em tempo real, o modelo é otimizado para eficiência:

• Destilação: O modelo é destilado usando CausVid, reduzindo os passos de amostragem de 20 para 4 e introduzindo atenção causal e de janela deslizante para geração autorregressiva.
• Self-Forcing: A técnica Self-Forcing é empregada para mitigar a acumulação de erro temporal durante a geração iterativa.
• Performance: Estas otimizações permitem a geração em streaming a 25 FPS em duas GPUs H100 com uma latência end-to-end de aproximadamente 1000 ms.

4. Estratégia de Treinamento

O modelo passa por uma estratégia de treinamento de dois estágios:

• Estágio I (Pré-treinamento do Estado Humano): O modelo aprende uma representação humana implícita unificada a partir de vídeos gerais de movimento da parte superior do corpo (sem referências de objetos) usando Flow Matching, aumentado com perda de alinhamento de representação (features DINOv3) e perda de supervisão de keypoints.
• Estágio II (Aprendizado de Estado de Interação): O modelo é inicializado a partir do Estágio I, o encoder de movimento é congelado, e os módulos restantes são treinados no dataset de interação sintética usando apenas o objetivo de Flow Matching para aprender o controle de interação discreta.

Principais Contribuições

1. Modelo de Mundo Centrado no Humano: Um framework que formula a evolução da cena centrada na pessoa através da modelagem conjunta de estados humanos contínuos e estados de interação discretos, indo além da simples reprodução de movimento para uma modelagem de mundo local interativa.
2. Esquema de Controle Unificado: A introdução de uma representação implícita multiescala unificada para controle de estado humano combinada com comandos de estado de interação discretos condicionadas por linguagem, permitindo a geração de interação humano-objeto precisa e controlável.
3. Sistema em Tempo Real: O desenvolvimento de um sistema de streaming capaz de inferência a 25 FPS em GPUs H100, suportando a alternância de estado de interação online com baixa latência.

Resultados

O artigo apresenta avaliações qualitativas e quantitativas comparando seu método contra baselines de última geração (Wan2.2, Humo, VACE, MAI e Wan-Animate).

• Qualitativo: O método demonstra preservação de identidade superior, interações mão-objeto mais estáveis e seguimento de movimento mais preciso em comparação com os baselines. Ele lida com sucesso com movimentos complexos das mãos e permite a alternância explícita entre os estados "sem contato" e "segurar" sob movimentos de condução similares.
• Quantitativo: O método alcança um desempenho favorável em métricas objetivas, incluindo FVD mais baixo (154.1) e tLPIPS (0.178), maior CLIP-I (0.851) e melhor Qualidade do Objeto (OQ: 0.151). Também apresenta erros menores de HandSIM e FaceSIM, indicando melhor precisão de movimento local detalhado. Estudos de usuário confirmam melhorias em seguimento de texto, seguimento de ação, consistência de movimento e qualidade visual.

Significância

Os autores afirmam que este trabalho representa um passo prático além da imitação de movimento em direção à modelagem de mundo centrada no humano em tempo real. Ao desacoplar o movimento humano contínuo dos estados de interação discretos e otimizar para performance em tempo real, o framework aborda as limitações de métodos existentes que carecem de controle de interação explícito ou são lentos demais para aplicações interativas. O sistema permite a síntese de estados de mundo local coerentes, controláveis e interativos centrados em uma pessoa, facilitando aplicações em telepresença e agentes interativos onde uma pessoa não apenas se move, mas também interage com e altera seu ambiente imediato.