💻 computer science

HOMIE: Human-object Centric Video Personalization via Multimodal Intelligent Enchancement

O artigo apresenta o HOMIE, um framework unificado para personalização de vídeo centrado em humano-objeto que aproveita uma nova estratégia de integração de MLLM com orientação multimodal global e embeddings de referência de modalidade para alcançar simultaneamente alta fidelidade de sujeito e padrões precisos de interação humano-objeto.

Autores originais: Yiyang Cai, Nan Chen, Rongchang Xie, Junwen Pan, Chunyang Jiang, Cheng Chen, Wen Zhou, Zhenbang Sun, Wei Xue, Wenhan Luo, Yike Guo

Publicado 2026-07-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yiyang Cai, Nan Chen, Rongchang Xie, Junwen Pan, Chunyang Jiang, Cheng Chen, Wen Zhou, Zhenbang Sun, Wei Xue, Wenhan Luo, Yike Guo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está em uma sala cheia de artistas digitais, mas em vez de pincéis, eles empunham varinhas mágicas feitas de código. Este é o mundo da geração de vídeo por IA, um campo onde computadores aprendem a sonhar com imagens em movimento a partir de simples descrições de texto. Por muito tempo, esses sonhadores digitais foram ótimos em criar paisagens ou arte abstrata, mas tiveram dificuldades quando solicitados a colocar personagens específicos em uma cena e fazê-los realizar ações específicas. É como pedir a um chef para cozinhar uma refeição, mas dar a ele apenas uma ideia vaga dos ingredientes; o resultado pode até parecer delicioso, mas raramente tem o gosto do que você realmente queria.

Duas grandes ideias tornam essa magia possível. Primeiro, há a personalização de vídeo, que é como ensinar a IA a reconhecer um amigo específico ou um brinquedo favorito para que ela possa colocá-lo em qualquer história que você contar. Segundo, há a Interação Humano-Objeto, que é a parte complicada de garantir que esse amigo realmente segure o brinquedo, abra uma porta ou beba de uma xícara, em vez de apenas flutuar ao lado dele. O desafio tem sido fazer o computador entender não apenas quem está no vídeo, mas como eles se relacionam com os objetos ao redor, especialmente quando esses objetos são coisas estranhas, como um logotipo de uma marca específica ou um rótulo de texto em uma camiseta. Se a IA errar isso, o vídeo parece um sonho bizarro onde as pessoas atravessam paredes ou seguram itens invisíveis.

Apresentamos o HOMIE (Human-object Centric Video Personalization via Multimodal Intelligent Enhancement), um novo framework de pesquisadores da Universidade de Ciência e Tecnologia de Hong Kong que tenta corrigir esses erros. Pense no HOMIE como um diretor super inteligente que não apenas lê o roteiro, mas também estuda um álbum de fotos dos atores e dos acessórios antes de começar a filmagem.

O artigo aborda dois problemas principais com os quais os diretores anteriores (modelos de IA) têm tido dificuldade. O primeiro é o problema "Inter-Subject" (Inter-Sujeito): quando você tem um humano e um objeto (como uma pessoa e uma xícara de café), a IA muitas vezes tem dificuldade em fazer com que eles interajam corretamente, especialmente se o objeto for algo abstrato como um logotipo. É como se a IA soubesse o que é uma "xícara", mas não soubesse que o logotipo "COSTA" pertence àquela xícara específica. O segundo é o problema "Intra-Subject" (Intra-Sujeito): às vezes você quer mostrar o mesmo objeto de ângulos diferentes ou com texto nele (como um mapa OCR de uma placa). Os modelos anteriores frequentemente se confundiam, tratando essas visões diferentes como objetos totalmente distintos, ou não conseguiam ler o texto corretamente.

Para resolver isso, o HOMIE introduz uma nova e inteligente maneira de usar um Modelo de Linguagem Grande Multimodal (MLLM). Você pode pensar em um MLLM como um assistente muito bem informado que já viu milhões de imagens e sabe como as coisas se relacionam entre si. Métodos anteriores tentavam forçar esse assistente a reescrever todo o roteiro (o codificador de texto), o que era desordenado e caro. O HOMIE, no entanto, mantém o roteirista original, mas permite que o assistente sussurre instruções específicas diretamente para a equipe de filmagem.

O artigo propõe duas ferramentas principais para fazer isso funcionar:

Guia Multimodal Global (GMG): Imagine que a IA está assistindo a um vídeo quadro a quadro. O GMG é como um holofote que ilumina a compreensão da "visão geral" que o assistente possui. Ele pega o conhecimento do assistente sobre como um humano deve interagir com um objeto e o injeta diretamente no mecanismo de autoatenção do vídeo. Isso ajuda a IA a entender que o logotipo deve ir na xícara, e não no sofá, sem precisar ser explicitamente instruída no prompt.
Embedding de Referência de Modalidade (MRE): Isso é como dar à IA um conjunto de etiquetas coloridas. Se você mostrar à IA três fotos da mesma pessoa de ângulos diferentes, ou uma foto de uma placa e um vídeo dessa mesma placa, o MRE as marca todas com a mesma "cor de identidade". Isso diz à IA: "Ei, estas são todas a mesma coisa!", evitando que ela se confunda e trate os elementos como personagens separados.

Os pesquisadores testaram o HOMIE contra outros geradores de vídeo de IA de alto nível. Eles descobriram que o HOMIE é melhor em manter a consistência dos personagens, seguir instruções de texto e lidar com interações complicadas, como logotipos em xícaras ou leitura de texto em placas. Em seus testes, o HOMIE melhorou a precisão da leitura de texto (OCR) em cerca de 21,8% em comparação com um de seus principais concorrentes. Quando perguntaram a voluntários humanos para escolher os melhores vídeos, o HOMIE venceu a maioria das vezes, pontuando cerca de 66,1% para consistência de sujeito e 64,7% para seguimento de texto.

O artigo sugere que, ao separar o "quem" (a identidade) do "quê" (o objeto) e usar um assistente inteligente para guiar a interação, podemos tornar os vídeos de IA muito mais reais e menos parecidos com uma alucinação. Embora os autores não afirmem ter resolvido todos os problemas da geração de vídeo, seus experimentos mostram que essa abordagem específica de combinar conhecimento multimodal com um gerenciamento cuidadoso de tokens é um passo significativo para tornar a personalização de vídeo por IA mais inteligente e confiável.

Resumo Técnico: HOMIE – Personalização de Vídeo Centrada em Humano-Objeto via Aprimoramento Inteligente Multimodal

1. Declaração do Problema

A personalização de vídeo centrada em humano-objeto (HOCVP - Human-Object Centric Video Personalization) é uma tarefa crítica na geração de vídeos orientados por sujeitos, visando sintetizar vídeos que apresentam diversas interações entre humanos e objetos com base em imagens de referência. Apesar dos avanços recentes, os métodos existentes enfrentam duas limitações primárias:

Desafios Inter-Sujeito: As abordagens atuais lutam para equilibrar alta fidelidade do sujeito com padrões de interação precisos, particularmente ao lidar com múltiplos sujeitos ou conceitos abstratos (ex: logotipos). Elas frequentemente produzem artefatos de "copiar e colar", exibem expressividade restrita e carecem do raciocínio inferencial necessário para posicionar corretamente referências abstratas dentro de uma cena sem instruções explícitas de prompt.
Desafios Intra-Sujeito: Embora as referências intra-sujeito (como imagens de múltiplas vistas ou mapas de OCR) tenham o objetivo de aumentar a fidelidade e a consistência, os trabalhos existentes carecem de mecanismos para compreender a correspondência latente entre essas múltiplas referências. Consequentemente, os modelos muitas vezes falham em melhorar a consistência de múltiplas vistas ou a fidelidade do texto, às vezes tratando vistas distintas do mesmo objeto como entidades separadas.

A dificuldade central reside em integrar Modelos de Linguagem de Grande Escala Multimodais (MLLMs) de forma eficaz. As estratégias anteriores ou alinham as características do MLLM com espaços de embedding de texto (diminuindo a controlabilidade e criando gargalos no espaço de características) ou substituem inteiramente os codificadores de texto por MLLMs (incidindo em altos custos de realinhamento e distraindo o modelo de suas tarefas primárias de controle).

2. Metodologia

Os autores propõem o HOMIE, um framework unificado projetado para lidar com cenários de HOCVP inter e intra-sujeito, aproveitando o conhecimento do MLLM sem comprometer a controlabilidade do modelo de difusão de vídeo subjacente. A arquitetura é construída sobre um backbone de texto-para-vídeo baseado em DiT (especificamente Wan2.1-14B e Wan2.2-14B) e introduz três inovações principais:

2.1 Paradigma de Entrada Multimodal

O HOMIE adota um fluxo de entrada unificado compreendendo:

Tokens de Vídeo ( $F_v$ ): Representações latentes do vídeo alvo.
Tokens de Imagem de Referência ( $F_r$ ): Imagens de referência codificadas.
Características Multimodais ( $F_M$ ): Características de alta semântica extraídas por um MLLM (Qwen3-VL-2-B-Thinking) a partir da combinação de prompts de sistema, prompts do usuário e imagens de referência.

Ao contrário dos métodos que concatenam características de MLLM diretamente nos embeddings de texto, o HOMIE concatena $F_M$ diretamente com os tokens de vídeo latente e de referência ( $F = [F_v \oplus F_r \oplus F_M]$ ) para facilitar a interação cross-modal intrínseca.

2.2 Guia Multimodal Global (GMG)

Para abordar o gap de distribuição entre as características do MLLM e os tokens do VAE 3D, e para garantir um controle temporal estável, o HOMIE introduz a Guia Multimodal Global (Global Multimodal Guidance - GMG).

Mecanismo: Durante a computação de query-key da auto-atenção, as matrizes de query ( $Q_M$ ) e key ( $K_M$ ) do MLLM são agrupadas (pooled) ao longo da dimensão temporal para criar representações globais ( $\tilde{Q}_M, \tilde{K}_M$ ).
Modulação: Essas representações globais são passadas através de redes de projeção leves ( $\gamma, \beta$ ) para derivar fatores de escala e deslocamento (scaling e shifting). Esses fatores são aplicados via transformação afim às queries ( $Q_v$ ) e keys ( $K_v$ ) dos tokens de vídeo.
Efeito: Isso injeta orientação semântica de alto nível no processo de geração de vídeo, melhorando o raciocínio semântico e a modelagem de interação sem alterar os padrões nativos de auto-atenção das imagens de referência.

2.3 Embedding de Modalidade-Referência (MRE)

Para distinguir entre diferentes modalidades de entrada e gerenciar as relações complexas entre múltiplas referências, o HOMIE propõe o Embedding de Modalidade-Referência (Modality-Reference Embedding - MRE).

Embeddings de Modalidade (ME): Vetores aprendíveis são adicionados aos tokens com base em sua origem (vídeo, imagem de referência ou características de MLLM) para ajudar o modelo a desmembrar entradas heterogêneas.
Embeddings de Referência (RE): Vetores aprendíveis são atribuídos aos tokens de referência com base em sua identidade. Crucialmente, múltiplas imagens representando o mesmo sujeito (intra-sujeito) compartilham o mesmo embedding de referência, enquanto sujeitos distintos (inter-sujeito) recebem embeddings únicos.
Efeito: Isso permite que o modelo vincule referências intra-sujeito (melhorando a consistência para entradas de múltiplas vistas ou OCR) ao mesmo tempo em que mantém identidades distintas para interações inter-sujeito.

2.4 Estratégia de Treinamento

O modelo é treinado usando um paradigma de flow matching em um conjunto de dados curado derivado de OpenS2V-5M e PhantomData, aumentado com um subconjunto de alta qualidade autocurado de 20K clipes de vídeo HOC. O treinamento emprega uma estratégia de ajuste de três estágios ao longo de aproximadamente 11 mil horas de GPU.

3. Principais Contribuições

O artigo reivindica três contribuições primárias:

Framework Unificado: A proposta do HOMIE, um framework que unifica tarefas de HOCVP inter e intra-sujeito, aprimorado pelo conhecimento de MLLM.
Guia Multimodal Global (GMG): Um mecanismo inovador que injeta características multimodais em tokens de vídeo via modulação de auto-atenção, melhorando o raciocínio semântico e a modelagem de interação sem o custo de um realinhamento pesado.
Embedding de Modalidade-Referência (MRE): Um módulo aprendível que distingue modalidades de tokens e captura associações intra-sujeito, melhorando significativamente a fidelidade da identidade em cenários de referência complexos.

4. Resultados Experimentais

Avaliações extensivas foram conduzidas em um conjunto de dados autocurado de 200 combinações humano-objeto, cobrindo diversos cenários inter e intra-sujeito.

Desempenho Quantitativo: O HOMIE atinge desempenho estado da arte (SOTA) entre os métodos de código aberto em qualidade de vídeo (Aesthetic Score, Motion Smoothness) e seguimento de texto (GMEScore). Notavelmente, demonstra uma melhoria relativa de 21,8% na precisão de OCR em comparação ao anterior melhor (SkyReels-V3) e alcança as maiores pontuações de Similaridade de Objeto (Obj-Sim) e Similaridade de Face.
Consistência Intra-Sujeito: Em cenários de múltiplas vistas, o HOMIE supera os baselines em métricas baseadas em DINO (DINOrec, DINOacc), demonstrando capacidade superior de sintetizar diversas vistas do mesmo objeto mantendo a fidelidade.
Análise Qualitativa: Comparações visuais mostram que o HOMIE lida com sucesso com interações complexas de 4 sujeitos e posicionamentos de logotipos abstratos (ex: anexar um logotipo "COSTA" a uma xícara) onde outros modelos falham em raciocinar a relação ou produzem sujeitos degradados. Em tarefas intra-sujeito, o HOMIE interpreta corretamente mapas de OCR e entradas de múltiplas vistas, enquanto os baselines frequentemente os tratam como sujeitos distintos e não relacionados.
Estudo de Usuário: Em um estudo com 40 participantes, o HOMIE foi preferido em relação aos baselines (Kling, Phantom, SkyReels-V3, UniVideo) em métricas de Consistência de Sujeito, Seguimento de Texto e Qualidade Geral.

5. Significância e Alegações

O artigo posiciona o HOMIE como um passo significativo à frente na geração de vídeo controlável ao abordar as limitações específicas das estratégias atuais de integração de MLLM. Os autores afirmam que, ao preservar o codificador de texto e introduzir orientação direcionada (GMG) e mecanismos de embedding (MRE), o HOMIE extrai com sucesso relacionamentos de nível de referência sem comprometer a controlabilidade dos codificadores de texto ou incorrer nos altos custos de um realinhamento total do modelo.

O framework é apresentado como uma solução robusta para cenários de implantação no mundo real que exigem interações humano-objeto de alta fidelidade, particularmente em casos envolvendo conceitos abstratos (logotipos) e a necessidade de representações de objetos consistentes de múltiplas vistas ou com texto aprimorado. O trabalho valida que uma abordagem unificada para personalização inter e intra-sujeito é viável e superior ao tratamento desses componentes isoladamente.