🤖 AI

Fusion Embedding for Pose-Guided Person Image Synthesis with Diffusion Model

Este artigo propõe o FPDM, um novo framework baseado em difusão para Síntese de Imagem de Pessoa Guiada por Pose que utiliza um módulo explícito de Fusão Imagem-Pose e aprendizado contrastivo para alinhar os embeddings de pose-fonte com imagens-alvo, melhorando significativamente assim a fidelidade de textura e a consistência de geração em diversas poses e aparências.

Autores originais: Donghwna Lee, Kirok Kim, Jisu Lee, Kyungha Min, Wooju Kim

Publicado 2026-05-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Donghwna Lee, Kirok Kim, Jisu Lee, Kyungha Min, Wooju Kim

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma foto de um amigo usando um traje específico (a Imagem de Origem) e um desenho de boneco de palito de uma pose diferente (a Pose Alvo). Seu objetivo é criar uma nova foto desse mesmo amigo usando exatamente aquele traje, mas na nova pose. Isso é chamado de Síntese de Imagem de Pessoa Guiada por Pose.

Por muito tempo, os computadores lutaram com isso. Eles ou acertavam a pose e estragavam as roupas, ou mantinham as roupas corretas e perdiam a identidade da pessoa.

Veja como os autores deste artigo, FPDM, resolveram o problema usando uma nova "receita" para geração de imagens por IA.

1. O Problema: O "Chef Confuso"

Os métodos anteriores eram como um chef que recebe duas instruções separadas: "Faça uma pizza" (o traje) e "Faça-a redonda" (a pose). O chef tenta misturar essas instruções enquanto cozinha. Como as instruções estão misturadas no pote, o resultado costuma ser bagunçado. Às vezes, a pizza parece quadrada, ou os ingredientes se perdem.

Em termos técnicos, os modelos de IA mais antigos tentavam fundir a "aparência" da pessoa e a "forma" da pose no último segundo da criação. Isso levava a resultados inconsistentes: se você pedisse a mesma pose com uma foto de origem ligeiramente diferente, a IA ficaria confusa e alteraria a identidade da pessoa ou a textura das roupas.

2. A Solução: O "Plano Mestre" (Fusão de Embedding)

Os autores propõem um novo método chamado FPDM. Em vez de misturar as instruções enquanto cozinham, eles criam um Plano Mestre antes que a cozinha comece.

Pense assim:

O Jeito Antigo: Você entrega ao chef uma foto de uma camisa e um esboço de uma pose, e diz: "Descubra conforme você avança".
O Jeito FPDM: Primeiro, você pega a foto da camisa e o esboço da pose, e usa um tradutor especial para combiná-los em um único e perfeito Plano. Este plano diz exatamente: "Esta é a camisa, e é assim que ela fica quando a pessoa está nesta pose".

3. Como Eles Fazem o Plano: O "Casamenteiro"

Como eles fazem esse plano perfeito? Eles usam uma técnica chamada Aprendizado Contrastivo, que age como um rigoroso Casamenteiro.

A IA cria um plano misturando a "Foto de Origem" e o "Esboço de Pose".
O Casamenteiro então compara esse plano com a Foto Alvo Real (a verdade fundamental).
Se o plano não corresponder perfeitamente à foto real, o Casamenteiro diz: "Não, isso está errado!" e os afasta.
Se eles parecerem semelhantes, o Casamenteiro os aproxima.

Crucialmente, os autores adicionaram um truque especial: eles também mostram a Foto de Origem ao Casamenteiro e dizem: "Isso não é o alvo; não os confunda". Isso força a IA a aprender a diferença entre "como a pessoa parece" e "como ela está posando", garantindo que o plano capture a relação entre os dois, e não apenas uma mistura borrada de ambos.

4. O Processo de Cozimento: A "Rede de Remoção de Ruído"

Uma vez que a IA tem esse perfeito Plano de Fusão, ela usa um motor poderoso chamado Modelo de Difusão.

Imagine que o Modelo de Difusão é como um escultor começando com um bloco de argila cheio de ruído e estática. O Plano atua como um guia para o escultor.

O escultor remove lentamente o ruído (a parte de "remoção de ruído").
Como o Plano é tão preciso e pré-alinhado, o escultor sabe exatamente onde cada ruga na camisa e cada dobra no tecido devem ficar.
O resultado é uma imagem de alta qualidade onde a identidade da pessoa é preservada, as roupas parecem reais e a pose é exatamente o que foi solicitado.

5. Funciona? (Os Resultados)

Os autores testaram isso em duas coisas principais:

Fotos de Moda: Eles usaram um conjunto de dados massivo de fotos de roupas (DeepFashion). Seu método foi melhor em manter a textura das roupas (como listras ou padrões) consistente, mesmo quando a pessoa virava ou mudava de pose.
Língua de Sinais: Eles testaram em vídeos de pessoas fazendo sinais (conjunto de dados RWTH-PHOENIX). Isso é complicado porque os detalhes das mãos são minúsculos e complexos. Seu método produziu mãos mais claras e movimentos mais precisos do que modelos de IA anteriores.

Analogia de Resumo

IA Antiga: Como tentar pintar um retrato enquanto alguém grita instruções sobre a pose e as roupas ao mesmo tempo. Você acaba com uma bagunça borrada.
FPDM: Como ter um arquiteto mestre desenhar um plano perfeito e detalhado que combina o estilo do cliente e a forma do prédio antes que a construção comece. A equipe de construção (o Modelo de Difusão) apenas segue o plano, resultando em um prédio perfeito toda vez.

O artigo conclui que, ao criar primeiro este "Plano de Fusão" explícito, a IA pode gerar imagens consistentes e de alta qualidade que respeitam tanto a identidade da pessoa quanto a nova pose, resolvendo um grande problema na visão computacional.

Resumo Técnico: FPDM – Incorporação de Fusão para Síntese de Imagem de Pessoa Guiada por Pose com Modelo de Difusão

Declaração do Problema
A Síntese de Imagem de Pessoa Guiada por Pose (PGPIS) visa gerar uma imagem foto-realista de uma pessoa em uma pose alvo especificada, preservando a identidade, as roupas e a textura de uma imagem de origem. Embora abordagens recentes baseadas em difusão tenham melhorado a qualidade da imagem, elas geralmente dependem de agregação implícita de características dentro do processo de remoção de ruído. Nestes métodos existentes, as incorporações de aparência de origem e de pose alvo são injetadas diretamente na rede de remoção de ruído (por exemplo, UNet) sem pré-alinhamento explícito. Consequentemente, a interação entre aparência e pose é aprendida implicitamente, frequentemente levando a "entrelaçamento", onde a relação torna-se dependente da trajetória específica de remoção de ruído. Isso resulta em resultados de geração inconsistentes para a mesma identidade quando a aparência de origem ou a pose alvo variam, manifestando-se como texturas distorcidas, contornos desfocados ou deriva de identidade.

Metodologia
Os autores propõem o FPDM (Incorporação de Fusão para PGPIS com Modelo de Difusão), um framework que alinha explicitamente incorporações fundidas de origem e pose com incorporações de imagem alvo antes do processo de difusão. A arquitetura consiste em duas etapas principais:

Módulo de Fusão Imagem-Pose (IPF) (Etapa Pré-Difusão):
- Este módulo aprende uma representação unificada ao fundir a incorporação da imagem de origem e a incorporação da pose alvo.
- Emprega uma Rede Combinadora (adaptada do CLIP4CIR) para integrar características de um Codificador de Imagem baseado em CLIP e um Codificador de Pose baseado em CLIP.
- Estratégia de Aprendizado Contrastivo: A inovação central é a Abordagem de Fusão de Pose Aprimorada pela Origem. Diferentemente do aprendizado contrastivo de linha de base que simplesmente alinha a incorporação fundida com a imagem alvo, esta abordagem trata explicitamente a incorporação da imagem de origem como uma amostra negativa durante o treinamento.
- Ao construir uma perda InfoNCE aumentada por lote onde a incorporação fundida deve estar próxima da imagem alvo, mas explicitamente distante da imagem de origem (sob a condição da pose alvo), o modelo impõe uma separação consciente da pose. Isso impede que a incorporação fundida colapse em uma representação dominada exclusivamente pela aparência de origem, garantindo que capture distinções condicionadas pela pose.
Modelo de Difusão Condicional (Etapa de Geração):
- Construído sobre o framework Stable Diffusion (SD), o modelo generativo é guiado por três entradas distintas:
  - Aparência de Origem: Extraída via um codificador DINOv2 e injetada nos blocos transformadores da UNet como características de chave/valor.
  - Pose Alvo: Extraída via um codificador baseado em CNN (estilo ControlNet) e concatenada com o latente ruidoso.
  - Incorporação de Fusão ( $e_f$ ): A saída do módulo IPF pré-treinado, injetada nos blocos ResNet juntamente com as incorporações de passo de tempo.
- Durante a inferência, o modelo utiliza um esquema estendido de Guia Livre de Classificador (CFG) para ponderar as contribuições da condição de origem-pose e da incorporação de fusão independentemente.

Principais Contribuições

Alinhamento Explícito via Aprendizado Contrastivo: O FPDM é o primeiro framework de PGPIS baseado em difusão a alinhar explicitamente incorporações fundidas de origem e pose com incorporações de imagem alvo usando aprendizado contrastivo, abordando as limitações da condição implícita.
Fusão de Pose Aprimorada pela Origem: Os autores introduzem um novo objetivo de aprendizado contrastivo que distingue explicitamente entre representações de origem e alvo, tratando a incorporação de origem como uma amostra negativa. Isso garante que a incorporação de fusão seja invariante a variações de aparência de origem, mantendo-se sensível à pose.
Sinal de Condição Robusto: A incorporação de fusão aprendida serve como um sinal de condição estável ao longo do processo de remoção de ruído, permitindo preservação consistente de identidade através de poses e imagens de origem variadas.

Resultados Experimentais
O método foi avaliado em dois benchmarks: DeepFashion (síntese de imagens de moda) e RWTH-PHOENIX-Weather 2014T (geração de vídeo de língua de sinais).

Desempenho Quantitativo: No DeepFashion, o FPDM alcançou desempenho competitivo contra métodos state-of-the-art (por exemplo, MCLD, PCDM, XMDPT). Demonstrou pontuações LPIPS superiores (indicando melhor similaridade perceptual e preservação de textura) e forte FIDt (Distância Fréchet Inception no conjunto de teste), sugerindo melhor generalização. No conjunto de dados Phoenix, o FPDM alcançou o maior Hand SSIM (0,682) e Erro de Pose da Mão competitivo, críticos para a fidelidade da língua de sinais.
Desempenho Qualitativo: Comparações visuais mostraram a capacidade do FPDM de reconstruir detalhes finos (por exemplo, padrões específicos de roupas, logotipos) e manter consistência estrutural mesmo quando a imagem de origem fornecia apenas vistas parciais (por exemplo, inferindo vistas traseiras a partir de vistas frontais).
Estudos de Ablação:
- A estratégia de Fusão de Pose Aprimorada pela Origem (A3) superou significativamente a fusão de linha de base (A2) e incorporações apenas de origem (A1) em precisão de recuperação (Recall@1 de 99,7% versus 5,0% para a linha de base).
- O modelo completo (B6) superou consistentemente variantes sem o módulo IPF ou com diferentes estratégias de fusão em termos de fidelidade de textura e consistência de pose.
- A análise de convergência indicou que, embora o módulo IPF adicione complexidade inicial de otimização, leva a um desempenho final superior em qualidade perceptual.

Significância e Alegações
O artigo alega que o FPDM aborda uma limitação fundamental na PGPIS baseada em difusão atual: a falta de alinhamento explícito entre sinais de condição heterogêneos (aparência e pose). Ao desacoplar o processo de alinhamento do processo de geração por meio de uma incorporação de fusão pré-treinada, o método garante que a preservação de identidade seja robusta a variações de pose e aparência de origem.

Os autores posicionam o FPDM não como um modelo de geração de vídeo de propósito geral, mas como uma solução específica para Síntese de Imagem de Pessoa Guiada por Pose. Eles destacam sua aplicabilidade prática em:

Prova Virtual e Avatares Digitais: Devido à alta fidelidade de textura e preservação de identidade.
Geração de Língua de Sinais: Especificamente para gerar quadros de vídeo consistentes com o sinalizador, onde manter a estrutura da mão e a identidade através de diferentes poses é crucial. O artigo observa que, embora o FPDM opere no nível de síntese de imagem, seu forte desempenho em métricas centradas na mão o torna um componente central viável para pipelines de vídeo de língua de sinais.

Os autores reconhecem limitações, incluindo a dificuldade de reproduzir texto ou logotipos de alta granularidade e o custo computacional inerente da amostragem iterativa de difusão em comparação com GANs de passagem única. Eles concluem que trabalhos futuros devem focar em estender essa estratégia de alinhamento explícito para tarefas de geração de vídeo estruturadas temporalmente.