🤖 AI

Fusion Embedding for Pose-Guided Person Image Synthesis with Diffusion Model

Este artículo propone FPDM, un marco novedoso basado en difusión para la síntesis de imágenes de personas guiadas por pose que utiliza un módulo explícito de fusión de imagen-pose y aprendizaje contrastivo para alinear las incrustaciones de fuente-pose con las imágenes objetivo, mejorando así significativamente la fidelidad de la textura y la consistencia de la generación en diversas poses y apariencias.

Autores originales: Donghwna Lee, Kirok Kim, Jisu Lee, Kyungha Min, Wooju Kim

Publicado 2026-05-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Donghwna Lee, Kirok Kim, Jisu Lee, Kyungha Min, Wooju Kim

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una foto de un amigo vistiendo un atuendo específico (la Imagen de Origen) y un dibujo de palitos de una pose diferente (la Pose Objetivo). Tu objetivo es crear una nueva foto de ese mismo amigo vistiendo ese atuendo exacto, pero de pie en la nueva pose. Esto se llama Síntesis de Imágenes de Personas Guiada por Pose.

Durante mucho tiempo, las computadoras tuvieron dificultades con esto. O bien acertaban la pose pero arruinaban la ropa, o mantenían la ropa correcta pero perdían la identidad de la persona.

Así es como los autores de este artículo, FPDM, resolvieron el problema utilizando una nueva "receta" para la generación de imágenes por IA.

1. El Problema: El "Chef Confundido"

Los métodos anteriores eran como un chef que recibe dos instrucciones separadas: "Haz una pizza" (el atuendo) y "Hazla redonda" (la pose). El chef intenta mezclar estas instrucciones mientras cocina. Como las instrucciones están mezcladas en la olla, el resultado suele ser desordenado. A veces la pizza parece cuadrada, o los ingredientes se pierden.

En términos técnicos, los modelos de IA más antiguos intentaban mezclar la "apariencia" de la persona y la "forma" de la pose en el último segundo de la creación. Esto llevó a resultados inconsistentes: si pedías la misma pose con una foto de origen ligeramente diferente, la IA se confundía y cambiaba la identidad de la persona o la textura de la ropa.

2. La Solución: El "Plano Maestro" (Fusión de Incrustaciones)

Los autores proponen un nuevo método llamado FPDM. En lugar de mezclar las instrucciones mientras se cocina, crean un Plano Maestro antes de que comience la cocina.

Piénsalo así:

La Vieja Forma: Le entregas al chef una foto de una camisa y un boceto de una pose, y dices: "Resuélvelo mientras avanzas".
La Forma FPDM: Primero tomas la foto de la camisa y el boceto de la pose, y usas un traductor especial para combinarlos en un único y perfecto Plano. Este plano dice exactamente: "Esta es la camisa, y así es como se ve cuando la persona está en esta pose".

3. Cómo Hacen el Plano: El "Emparejador"

¿Cómo hacen este plano perfecto? Utilizan una técnica llamada Aprendizaje Contrastivo, que actúa como un estricto Emparejador.

La IA crea un plano mezclando la "Foto de Origen" y el "Boceto de Pose".
El Emparejador luego compara este plano con la Foto Objetivo Real (la verdad fundamental).
Si el plano no coincide perfectamente con la foto real, el Emparejador dice: "No, eso está mal!" y los separa.
Si se parecen, el Emparejador los acerca.

Crucialmente, los autores añadieron un truco especial: también le muestran al Emparejador la Foto de Origen y dicen: "Esto no es el objetivo; no los confundas". Esto obliga a la IA a aprender la diferencia entre "cómo se ve la persona" y "cómo está posando", asegurando que el plano capture la relación entre ambos, no solo una mezcla borrosa de ambos.

4. El Proceso de Cocina: La "Red de Eliminación de Ruido"

Una vez que la IA tiene este Plano de Fusión perfecto, utiliza un motor potente llamado Modelo de Difusión.

Imagina que el Modelo de Difusión es como un escultor que comienza con un bloque de arcilla ruidosa y llena de estática. El Plano actúa como una guía para el escultor.

El escultor elimina lentamente el ruido (la parte de "eliminación de ruido").
Debido a que el Plano es tan preciso y prealineado, el escultor sabe exactamente dónde debe ir cada arruga en la camisa y cada pliegue en la tela.
El resultado es una imagen de alta calidad donde la identidad de la persona se preserva, la ropa parece real y la pose es exactamente la solicitada.

5. ¿Funciona? (Los Resultados)

Los autores probaron esto en dos cosas principales:

Fotos de Moda: Utilizaron un conjunto de datos masivo de fotos de ropa (DeepFashion). Su método fue mejor para mantener la textura de la ropa (como rayas o patrones) consistente, incluso cuando la persona daba la vuelta o cambiaba de pose.
Lenguaje de Señas: Lo probaron en videos de personas haciendo señas (conjunto de datos RWTH-PHOENIX). Esto es complicado porque los detalles de las manos son diminutos y complejos. Su método produjo manos más claras y movimientos más precisos que los modelos de IA anteriores.

Analogía de Resumen

IA Antigua: Como intentar pintar un retrato mientras alguien grita instrucciones sobre la pose y la ropa al mismo tiempo. Terminas con un borrón confuso.
FPDM: Como tener un arquitecto maestro que dibuja un plano perfecto y detallado que combina el estilo del cliente y la forma del edificio antes de que comience la construcción. El equipo de construcción (el Modelo de Difusión) solo sigue el plano, resultando en un edificio perfecto cada vez.

El artículo concluye que al crear este "Plano de Fusión" explícito primero, la IA puede generar imágenes consistentes y de alta calidad que respetan tanto la identidad de la persona como la nueva pose, resolviendo un gran dolor de cabeza en la visión por computadora.

Resumen Técnico: FPDM (Fusión de Incrustaciones para Síntesis de Imágenes de Personas Guiada por Postura con Modelo de Difusión)

Enunciado del Problema
La Síntesis de Imágenes de Personas Guiada por Postura (PGPIS) tiene como objetivo generar una imagen fotorrealista de una persona en una postura objetivo especificada, preservando al mismo tiempo la identidad, la ropa y la textura de una imagen fuente. Aunque los enfoques recientes basados en difusión han mejorado la calidad de la imagen, generalmente dependen de una agregación implícita de características dentro del proceso de eliminación de ruido. En estos métodos existentes, las incrustaciones de apariencia fuente y de postura objetivo se inyectan directamente en la red de eliminación de ruido (por ejemplo, UNet) sin una prealineación explícita. En consecuencia, la interacción entre apariencia y postura se aprende de forma implícita, lo que a menudo conduce a un "entrelazamiento" donde la relación depende de la trayectoria específica de eliminación de ruido. Esto resulta en resultados de generación inconsistentes para la misma identidad cuando varía la apariencia fuente o la postura objetivo, manifestándose como texturas distorsionadas, contornos borrosos o deriva de identidad.

Metodología
Los autores proponen FPDM (Fusión de Incrustaciones para PGPIS con Modelo de Difusión), un marco que alinea explícitamente las incrustaciones fusionadas de fuente y postura con las incrustaciones de la imagen objetivo antes del proceso de difusión. La arquitectura consta de dos etapas principales:

Módulo de Fusión Imagen-Postura (IPF) (Etapa Pre-Difusión):
- Este módulo aprende una representación unificada fusionando la incrustación de la imagen fuente y la incrustación de la postura objetivo.
- Emplea una Red Combinadora (adaptada de CLIP4CIR) para integrar características de un Codificador de Imágenes basado en CLIP y un Codificador de Posturas basado en CLIP.
- Estrategia de Aprendizaje Contrastivo: La innovación central es el Enfoque de Fusión de Postura Mejorado por la Fuente. A diferencia del aprendizaje contrastivo de línea base que simplemente alinea la incrustación fusionada con la imagen objetivo, este enfoque trata explícitamente la incrustación de la imagen fuente como una muestra negativa durante el entrenamiento.
- Al construir una pérdida InfoNCE aumentada por lotes donde la incrustación fusionada debe estar cerca de la imagen objetivo pero explícitamente distante de la imagen fuente (bajo la condición de la postura objetivo), el modelo impone una separación consciente de la postura. Esto evita que la incrustación fusionada colapse en una representación dominada únicamente por la apariencia fuente, asegurando que capture distinciones condicionadas por la postura.
Modelo de Difusión Condicional (Etapa de Generación):
- Construido sobre el marco de Stable Diffusion (SD), el modelo generativo se guía mediante tres entradas distintas:
  - Apariencia Fuente: Extraída mediante un codificador DINOv2 e inyectada en los bloques transformadores de UNet como características clave/valor.
  - Postura Objetivo: Extraída mediante un codificador basado en CNN (estilo ControlNet) y concatenada con el latente ruidoso.
  - Incrustación de Fusión ( $e_f$ ): La salida del módulo IPF preentrenado, inyectada en los bloques ResNet junto con las incrustaciones de paso de tiempo.
- Durante la inferencia, el modelo utiliza un esquema extendido de Guía Libre de Clasificador (CFG) para ponderar independientemente las contribuciones de la condición de fuente-postura y la incrustación de fusión.

Contribuciones Clave

Alineación Explícita mediante Aprendizaje Contrastivo: FPDM es el primer marco de PGPIS basado en difusión que alinea explícitamente las incrustaciones fusionadas de fuente y postura con las incrustaciones de la imagen objetivo utilizando aprendizaje contrastivo, abordando las limitaciones de la condición implícita.
Fusión de Postura Mejorada por la Fuente: Los autores introducen un objetivo novedoso de aprendizaje contrastivo que distingue explícitamente entre las representaciones de fuente y objetivo al tratar la incrustación de fuente como una muestra negativa. Esto asegura que la incrustación de fusión sea invariante a las variaciones de la apariencia fuente mientras permanece sensible a la postura.
Señal de Condicionamiento Robusta: La incrustación de fusión aprendida sirve como una señal de condicionamiento estable durante todo el proceso de eliminación de ruido, permitiendo una preservación consistente de la identidad a través de posturas e imágenes fuente variables.

Resultados Experimentales
El método fue evaluado en dos puntos de referencia: DeepFashion (síntesis de imágenes de moda) y RWTH-PHOENIX-Weather 2014T (generación de video de lenguaje de señas).

Rendimiento Cuantitativo: En DeepFashion, FPDM logró un rendimiento competitivo frente a los métodos más avanzados (por ejemplo, MCLD, PCDM, XMDPT). Demostró puntuaciones LPIPS superiores (indicando mejor similitud perceptual y preservación de textura) y un fuerte FIDt (Distancia Fréchet Inception en el conjunto de prueba), lo que sugiere una mejor generalización. En el conjunto de datos Phoenix, FPDM logró el Hand SSIM más alto (0.682) y un Error de Postura de Mano competitivo, críticos para la fidelidad del lenguaje de señas.
Rendimiento Cualitativo: Las comparaciones visuales mostraron la capacidad de FPDM para reconstruir detalles finos (por ejemplo, patrones específicos de ropa, logotipos) y mantener la consistencia estructural incluso cuando la imagen fuente proporcionaba solo vistas parciales (por ejemplo, inferir vistas traseras a partir de vistas frontales).
Estudios de Ablación:
- La estrategia de Fusión de Postura Mejorada por la Fuente (A3) superó significativamente a la fusión de línea base (A2) y a las incrustaciones solo de fuente (A1) en precisión de recuperación (Recall@1 del 99.7% frente al 5.0% para la línea base).
- El modelo completo (B6) superó consistentemente a las variantes sin el módulo IPF o con diferentes estrategias de fusión en términos de fidelidad de textura y consistencia de postura.
- El análisis de convergencia indicó que, aunque el módulo IPF añade complejidad de optimización inicial, conduce a un rendimiento final superior en calidad perceptual.

Significado y Afirmaciones
El artículo afirma que FPDM aborda una limitación fundamental en la PGPIS actual basada en difusión: la falta de alineación explícita entre señales de condicionamiento heterogéneas (apariencia y postura). Al desacoplar el proceso de alineación del proceso de generación mediante una incrustación de fusión preentrenada, el método asegura que la preservación de la identidad sea robusta a las variaciones en la postura y la apariencia fuente.

Los autores posicionan a FPDM no como un modelo de generación de video de propósito general, sino como una solución específica para la Síntesis de Imágenes de Personas Guiada por Postura. Destacan su aplicabilidad práctica en:

Probadores Virtuales y Avatares Digitales: Debido a la alta fidelidad de textura y preservación de identidad.
Generación de Lenguaje de Señas: Específicamente para generar cuadros de video consistentes con el signante, donde mantener la estructura de la mano y la identidad a través de diferentes posturas es crucial. El artículo señala que, aunque FPDM opera a nivel de síntesis de imágenes, su fuerte rendimiento en métricas centradas en la mano lo convierte en un componente central viable para pipelines de video de lenguaje de señas.

Los autores reconocen limitaciones, incluida la dificultad de reproducir texto o logotipos de gran detalle y el costo computacional inherente del muestreo iterativo de difusión en comparación con los GAN de paso único. Concluyen que el trabajo futuro debería centrarse en extender esta estrategia de alineación explícita a tareas de generación de video con estructura temporal.