💻 computer science

Durian: Dual Reference Image-Guided Portrait Animation with Attribute Transfer

O artigo apresenta o Durian, um método pioneiro que utiliza uma formulação de auto-reconstrução com duas imagens de referência e atenção espacial para gerar animações de retratos com transferência de atributos entre identidades diferentes, superando a necessidade de dados pareados e permitindo composição e interpolação flexíveis de múltiplos atributos.

Autores originais: Hyunsoo Cha, Byungjun Kim, Hanbyul Joo

Publicado 2026-04-07

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hyunsoo Cha, Byungjun Kim, Hanbyul Joo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma foto sua, estática, e gostaria de ver como ficaria se trocasse o cabelo, colocasse óculos, uma barba ou até um chapéu, mas se mexendo e falando, como em um vídeo. E o melhor: você quer fazer isso usando fotos de outras pessoas como referência, sem precisar de um estúdio de cinema ou de meses de edição.

É exatamente isso que o Durian faz. O nome é uma brincadeira: assim como a fruta durian é famosa por ter uma casca espinhosa (atributos) e uma polpa suave (a identidade da pessoa), o modelo aprende a separar o que é "quem a pessoa é" do que é "o que ela está vestindo ou usando".

Aqui está uma explicação simples de como a mágica acontece, usando analogias do dia a dia:

1. O Grande Problema: A Falta de "Casais Perfeitos"

Para ensinar um computador a trocar atributos (como cabelo) de uma pessoa para outra, os cientistas geralmente precisam de milhares de fotos de pessoas reais que tenham o mesmo rosto, mas com cabelos e óculos diferentes. Isso é como tentar encontrar um par de gêmeos idênticos onde um usa óculos e o outro não, para milhares de pessoas. É quase impossível e muito caro.

2. A Solução Criativa: O "Treino Espelho" (Auto-Reconstrução)

Como não têm esses dados perfeitos, os criadores do Durian inventaram um truque genial: o treino espelho.

A Analogia: Imagine que você está aprendendo a trocar de roupa. Em vez de ter dois manequins diferentes, você pega um único manequim, tira uma foto dele de um ângulo (com a roupa atual) e outra foto dele de outro ângulo (ou em um momento diferente).
Como funciona: O computador pega um vídeo de uma pessoa falando. Ele escolhe dois quadros aleatórios desse mesmo vídeo:
1. Um quadro vira o "Espelho de Rosto" (guarda a identidade da pessoa).
2. O outro quadro vira o "Espelho de Atributo" (guarda o cabelo, óculos ou barba).
O computador tenta "recriar" o vídeo original misturando o rosto do quadro 1 com o cabelo do quadro 2. Ao fazer isso milhares de vezes, ele aprende a separar o que é "rosto" do que é "cabelo" sem precisar de dados de outras pessoas. É como aprender a cozinhar um prato novo usando apenas os ingredientes que você já tem na geladeira, antes de tentar fazer com ingredientes de fora.

3. O Cérebro Duplo: A Rede de Dupla Referência

O Durian tem um cérebro especial chamado Dual ReferenceNet (Rede de Dupla Referência).

A Analogia: Pense em uma equipe de edição de vídeo com dois especialistas sentados em mesas separadas:
- O Especialista em Rosto olha apenas para a foto da pessoa alvo (e ignora o cabelo dela).
- O Especialista em Estilo olha apenas para a foto do cabelo/óculos desejado (e ignora quem é a pessoa).
Eles não misturam as fotos brutas. Eles trocam apenas as "ideias" (características) através de um sistema de atenção (como se estivessem se passando bilhetes). O modelo então junta essas ideias para criar o vídeo final. Isso garante que o rosto continue sendo o da pessoa original, mas com o estilo novo.

4. O Pulo do Gato: Como Funciona na Vida Real (Inferência)

Durante o treino, o computador vê a mesma pessoa nos dois quadros. Mas, na vida real, você vai querer colocar o cabelo de uma celebridade no seu rosto. Como o computador não se confunde?

A Expansão de Máscara: O modelo foi treinado para ser flexível. Imagine que ele aprendeu a trocar de cabelo, mas às vezes o cabelo novo é um pouco maior ou menor que o original. O Durian usa uma estratégia de "expansão" para aprender a lidar com tamanhos e formas diferentes, como se ele tivesse praticado com penteados de todos os tamanhos possíveis.
Alinhamento: Antes de gerar o vídeo, ele usa um "ajustador de rosto" (Face Aligner) para garantir que o cabelo novo esteja na posição correta, como se alguém estivesse ajustando a peruca na sua cabeça antes de começar a filmar.

5. O Superpoder Extra: Mistura e Suavidade

O Durian não faz apenas uma troca de cada vez. Ele tem dois superpoderes extras que surgem naturalmente:

Mistura de Atributos (Multi-Attribute): Você pode pedir para ele colocar óculos, um chapéu e uma barba ao mesmo tempo, vindo de três fotos diferentes. O modelo entende que cada peça ocupa um espaço diferente e as junta perfeitamente, como um maestro orquestrando instrumentos diferentes.
Interpolação (O "Deslizamento"): Você pode pedir para o modelo criar um vídeo onde o cabelo muda suavemente do estilo "A" para o estilo "B", ou onde os óculos mudam de cor gradualmente. É como se você pudesse deslizar um controle deslizante e ver a transformação acontecer em tempo real.

Resumo Final

O Durian é como um maestro de transformação digital. Ele aprendeu a separar a "alma" de uma pessoa (o rosto) da "roupa" (cabelo, óculos, etc.) assistindo a vídeos comuns. Depois, ele consegue pegar qualquer foto de uma pessoa e qualquer foto de um acessório, e criar um vídeo animado onde a pessoa usa o acessório, movendo-se e falando de forma natural, tudo isso sem precisar de dados caros ou de ter visto essa pessoa específica antes.

É a tecnologia de "provar roupas virtuais" e "trocar de visual" elevada ao nível de cinema, mas acessível para qualquer pessoa com uma foto e um computador.

Título: DURIAN: Animação de Retrato Guiada por Dupla Imagem de Referência com Transferência de Atributos

1. O Problema

A edição de aparência personalizada (como experimentar óculos virtuais ou mudar o penteado) é uma demanda crescente em aplicações de estilo virtual. No entanto, as soluções existentes enfrentam limitações significativas:

Dependência de Dados Emparelhados: Modelos de transferência de atributos geralmente exigem pares de imagens da mesma pessoa com atributos diferentes (ex: mesma pessoa, cabelo curto vs. longo). Esses dados são raros, caros de coletar em escala e inviáveis para múltiplas combinações de atributos.
Limitações de Generalização: Métodos atuais muitas vezes dependem de modelos 3D pré-escaneados ou templates fixos, falhando em adaptar-se a mudanças de pose, expressão ou em combinar múltiplos atributos (cabelo, óculos, chapéu) em uma única experiência unificada.
Animação vs. Edição Estática: A maioria dos métodos foca apenas em imagens estáticas ou em animação de reenactment (preservação de identidade), sem a capacidade de injetar novos atributos de forma dinâmica e coerente ao longo do tempo.

O objetivo central é: É possível treinar um modelo para animação de retrato com transferência de atributos entre identidades diferentes, sem dados emparelhados explícitos?

2. Metodologia

Os autores propõem o Durian, um framework baseado em difusão que utiliza uma estratégia de auto-reconstrução para aprender a transferência de atributos diretamente de vídeos de retratos "in-the-wild" (não curados).

A. Treinamento por Auto-Reconstrução (Self-Reconstruction)
Em vez de usar pares de dados (pessoa A com atributo X, pessoa A com atributo Y), o modelo é treinado em vídeos de uma única pessoa:

Amostragem: Duas quadros aleatórios do mesmo vídeo são amostrados. Um serve como Referência de Atributo ( $I_{attr}$ ) e o outro como Referência de Identidade ( $I_{port}$ ).
Máscaras Complementares: Para evitar vazamento de identidade, aplicam-se máscaras binárias:
- A imagem de atributo é mascarada para manter apenas a região do atributo (ex: cabelo).
- A imagem de retrato é mascarada para remover a região onde o atributo será transferido.
Objetivo: O modelo deve reconstruir os quadros originais do vídeo, forçando-o a aprender a separar a identidade (do retrato) do atributo (da referência) e combiná-los corretamente.

B. Arquitetura: Dual ReferenceNet
O núcleo do modelo é uma arquitetura de difusão com dois encoders separados:

ARNet (Attribute ReferenceNet): Processa a imagem de atributo mascarada.
PRNet (Portrait ReferenceNet): Processa a imagem de retrato mascarada.
Fusão por Atenção Espacial: As características extraídas por ARNet e PRNet são fundidas dentro do U-Net de denoising (DNet) através de um mecanismo de atenção espacial. Isso permite que o modelo "olhe" para as características do atributo e da identidade simultaneamente em cada passo de geração, garantindo que o atributo seja injetado na localização correta sem distorcer a identidade.
Embeddings Semânticos: Utiliza CLIP e ArcFace para reforçar a preservação da identidade e a coerência semântica do atributo.
Guia de Keypoints: Uma sequência de keypoints faciais guia o movimento e a expressão, garantindo que a animação seja sincronizada com a pose.

C. Estratégias para Preencher a Lacuna de Domínio (Cross-Identity)
Como o treinamento ocorre dentro da mesma identidade (auto-reconstrução) mas a inferência ocorre entre identidades diferentes, os autores introduzem:

Expansão de Máscara (Mask Expansion): Durante o treinamento, o modelo é exposto a variações na forma e cobertura do atributo (usando geração sintética com SDXL e prompts aleatórios) para aprender a transferir atributos com diferentes extensões espaciais.
Aumento de Imagem de Referência: Aplica-se transformações afins (rotação, escala) e jittering de cor para simular desalinhamentos e variações de iluminação, tornando o modelo robusto a dados não alinhados.
Alinhamento na Inferência: Um módulo leve alinha a imagem de atributo à imagem de retrato antes da geração para refinar a máscara de transferência.

D. Capacidades Emergentes

Composição Multi-Atributo: O mecanismo de atenção espacial permite concatenar características de múltiplas imagens de referência (ex: cabelo + óculos + barba) em uma única passagem, sem treinamento adicional.
Interpolação de Atributos: É possível interpolar linearmente as características de dois atributos da mesma categoria (ex: cabelo A e cabelo B) para criar transições suaves.

3. Principais Contribuições

Primeiro Método Zero-Shot: O primeiro método a gerar animações de retrato guiadas por keypoints com transferência de atributos cruzada (entre identidades) diretamente de duas imagens, generalizando para diversos atributos (cabelo, óculos, barba, chapéus).
Arquitetura Dual ReferenceNet: Um design inovador que desacopla identidade e atributo em ramos separados, fundidos via atenção espacial, permitindo treinamento em vídeos não curados sem dados emparelhados.
Estratégias de Robustez: Proposta de expansão de máscara e aumento de dados que superam a lacuna de domínio entre treinamento (mesma pessoa) e inferência (pessoas diferentes).
Flexibilidade de Geração: Suporte nativo para composição de múltiplos atributos e interpolação suave em uma única passagem de geração, sem necessidade de fine-tuning.

4. Resultados

O método foi avaliado em dois cenários:

Transferência de Atributo Auto (Self-Attribute): Reconstrução de vídeos originais.
Transferência Cruzada (Cross-Attribute): Transferência entre pessoas diferentes (sem ground-truth exato, avaliando consistência semântica e preservação de identidade).

Desempenho Quantitativo:

O Durian superou consistentemente todas as combinações de baselines (métodos de transferência de imagem + métodos de animação de vídeo, como LivePortrait, X-Portrait, MegActor-P combinados com Paint-by-Example, HairFusion, etc.).
Obteve os melhores resultados em métricas de fidelidade (L1, PSNR, SSIM) e qualidade perceptual (FID, LPIPS).
Na transferência cruzada, demonstrou superioridade em preservação de identidade (ArcFace) e realismo temporal (VFID).

Desempenho Qualitativo:

Gera animações coerentes e realistas que preservam a identidade do alvo enquanto injetam atributos complexos (como óculos e chapéus) com detalhes finos.
Suporta composições complexas (ex: cabelo + óculos + barba simultaneamente) e transições suaves entre estilos.

5. Significância

O trabalho Durian representa um avanço significativo na área de edição de vídeo e realidade aumentada:

Viabilidade de Dados: Elimina a barreira da necessidade de datasets massivos e caros de pares de atributos, permitindo o uso de vídeos comuns da internet para treinamento.
Aplicabilidade Prática: Oferece uma solução versátil para "virtual try-on" em vídeo, permitindo que usuários experimentem múltiplas combinações de estilo e transformações graduais em tempo real ou de forma gerativa.
Inovação Arquitetural: A abordagem de "dupla referência" com atenção espacial abre novas possibilidades para tarefas de transferência de estilo e animação que exigem controle fino sobre múltiplos componentes visuais simultaneamente.

Em resumo, o Durian estabelece um novo estado da arte (SOTA) para animação de retratos com transferência de atributos, tornando o processo mais acessível, flexível e de alta qualidade.