💻 computer science

Beyond Facial Consistency: Personalized Person Image Generation with Holistic Identity Preservation

Este artículo introduce un marco de doble rama mejorado por una estrategia de Escalamiento de Equilibrio Dinámico (DBS) para resolver el compromiso entre la fidelidad facial y la consistencia de la apariencia general en la generación personalizada de imágenes de personas, junto con el lanzamiento del benchmark Pexels-100 para la evaluación integral de la identidad.

Autores originales: Yuxuan Xiao, Shanshan Zhang, Jian Yang, Shengcai Liao

Publicado 2026-07-29

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yuxuan Xiao, Shanshan Zhang, Jian Yang, Shengcai Liao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un director en un estudio de cine, pero en lugar de contratar actores, tienes una cámara mágica que puede conjurar cualquier personaje que puedas describir. Quieres un héroe que se vea exactamente como tu mejor amigo —la misma sonrisa, los mismos ojos, la misma nariz peculiar— pero vistiendo un traje espacial en Marte, o quizás montando un dragón en un bosque medieval. Este es el sueño de la "generación de imágenes personalizada". Durante mucho tiempo, los artistas de IA tenían que elegir entre dos opciones frustrantes: o hacer que el personaje tuviera exactamente el rostro de tu amigo, pero olvidarse de qué estaba vistiendo o cómo era su cuerpo; o vestirlo con el atuendo y la pose perfectos, pero terminar con el rostro de un extraño. Era como intentar hornear un pastel donde podías lograr que el glaseado fuera perfecto o que el bizcocho fuera perfecto, pero nunca ambos al mismo tiempo. Este artículo se sumerge en ese rincón específico de la inteligencia artificial, abordando el complicado problema de mantener el "yo completo" de una persona constante —su rostro y todo su atuendo y estilo— cuando se le pide a la IA que la coloque en nuevas situaciones.

Los investigadores detrás de este estudio, liderados por Yuxuan Xiao y sus colegas, decidieron dejar de elegir bandos. Comenzaron construyendo un sistema "Naive Dual-Branch", que es esencialmente una autopista de dos carriles para la IA. Un carril se enfoca en el panorama general (la ropa, la forma del cuerpo, el peinado) y el otro carril hace un acercamiento a los diminutos detalles del rostro. Descubrieron que, si bien este enfoque de dos carriles era un buen comienzo, era un poco caótico. El "carril del rostro" estaba conduciendo demasiado rápido y se apoderaba de todo el coche, mientras que el "carril de la apariencia" se perdía en el espejo retrovisor. ¿El resultado? Rostros excelentes, pero la ropa a veces se transformaba en algo extraño, o la forma del cuerpo se aplastaba.

Para solucionar este atasco de tráfico, el equipo inventó un ingenioso sistema de control de tráfico llamado Dynamic Balancing Scaling (DBS). Piensa en él como un director inteligente para una orquesta. El director utiliza dos trucos principales. Primero, utilizan el Adaptive Temporal Gating, que es como un regulador de intensidad que cambia el volumen de los músicos del rostro y del cuerpo en diferentes momentos de la canción. Al principio del proceso, el director puede dejar que el rostro toque una melodía constante y confiable para establecer la identidad, pero a medida que la canción progresa, aumenta suavemente el volumen del cuerpo y la ropa para que no sean opacados. Segundo, introdujeron la Optimización Consciente de la Región (Region-Aware Optimization). Imagina que la IA está pintando un cuadro, y normalmente pinta todo el lienzo con la misma presión de pincel. Este nuevo truco le dice a la IA: "Oye, sé súper cuidadoso y preciso al pintar el rostro, pero no olvides prestarle la misma atención a la ropa y al fondo". Esto asegura que la IA no se obsesione con los ojos e ignore la camisa.

El equipo probó su nuevo método en un benchmark personalizado que crearon llamado Pexels-100, el cual presenta 100 imágenes de cuerpo completo diferentes para ver qué tan bien la IA podía mantener intacta la identidad de una persona a través de diversas escenas. Los resultados fueron prometedores. Su método logró alcanzar un equilibrio mucho mejor que otras herramientas de código abierto, manteniendo el rostro reconocible mientras también se aseguraba de que la ropa y el cuerpo se vieran correctos. De hecho, su enfoque funcionó tan bien que incluso rivalizó con algunos sistemas comerciales costosos de código cerrado. Sin embargo, los autores advierten cuidadosamente que esto aún no es una varita mágica para todos los problemas. Si le pides a la IA que dibuje a una persona haciendo un salto gimnástico complejo o mostrando movimientos intrincados de las manos, la imagen todavía podría volverse un poco inestable o distorsionada, porque el modelo de IA subyacente todavía tiene dificultades con esas estructuras físicas complicadas. Pero para la mayoría de los escenarios cotidianos, este nuevo "director" ayuda a la IA a finalmente cantar en armonía, manteniendo a toda la persona viéndose como ella misma, no solo su rostro.

Resumen Técnico: Más allá de la consistencia facial: Generación de imágenes de personas personalizada con preservación de identidad holística

Declaración del problema
La generación de imágenes de personas personalizada tiene como objetivo sintetizar imágenes que coincidan con la identidad de un usuario basándose en una imagen de referencia y prompts de texto. Los métodos actuales enfrentan un compromiso fundamental: típicamente enfatizan ya sea la consistencia del sujeto (preservando la apariencia global, la vestimenta y la forma corporal) o la consistencia facial (preservando la estructura y los detalles faciales locales), pero rara vez ambas simultáneamente. Los enfoques existentes suelen sufrir de inestabilidad al intentar combinar ambas, lo que conduce a escenarios donde la identidad facial se preserva a expensas de la apariencia general, o viceversa. Este desequilibrio surge de los espacios de representación heterogéneos y los mecanismos de inyección de las diferentes ramas de identidad, que causan interacciones descoordinadas y una persistente sobre-dominancia de la rama facial durante el proceso de eliminación de ruido (denoising).

Metodología
Los autores proponen un marco unificado construido sobre la arquitectura de transformador de difusión FLUX.1-dev, introduciendo una línea base de Rama Dual Ingenua (NDB) y refinándola con una estrategia de ajuste fino de Escalado de Equilibrio Dinámico (DBS).

Línea Base de Rama Dual Ingenua (NDB):
El marco integra dos vías de condicionamiento distintas:
- Rama de Apariencia: Basada en InstantCharacter [23], esta rama captura pistas de identidad global (peinado, proporciones corporales, vestimenta) utilizando características fusionadas de DINOv2 y SigLIP proyectadas mediante un Q-Former e inyectadas vía atención cruzada (cross-attention).
- Rama Facial: Basada en InfiniteYou [10], esta rama se enfoca en la geometría y textura facial de grano fino utilizando un codificador facial preentrenado, inyectado a través de una vía residual de estilo ControlNet.
  Aunque esta combinación ofrece resultados prometedores, exhibe inestabilidad donde la rama facial domina la generación, provocando una apariencia inconsistente.
Escalado de Equilibrio Dinámico (DBS):
Para coordinar las dos ramas y mitigar la dominancia de la rama facial, el DBS introduce dos componentes complementarios:
- Puerta Temporal Adaptativa (ATG): Un mecanismo sensible al tiempo que modula dinámicamente la fuerza de contribución de las ramas de apariencia y facial a lo largo de la trayectoria de eliminación de ruido. La rama facial sirve como un ancla de referencia estable, mientras que la contribución de la rama de apariencia se relaja progresivamente en relación con este ancla. Esto evita la optimización inestable en las etapas tempranas del entrenamiento y asegura una guía equilibrada a través de diferentes pasos de tiempo.
- Optimización Consciente de la Región (RAO): Una función de pérdida diseñada para abordar el desequilibrio espacial. Dado que las regiones faciales son pequeñas y las regiones de apariencia son grandes, el Error Cuadrático Medio (MSE) global estándar proporciona una supervisión uniforme que no logra optimizar las regiones específicas de manera efectiva. El RAO descompone el error de eliminación de ruido en tres objetivos regionales: facial ( $L_f$ ), de apariencia ( $L_a$ ) y global ( $L_g$ ). Emplea una agregación de estilo Pareto guiada por referencia, donde las pérdidas faciales y de apariencia se activan solo cuando rinden por debajo de una referencia de media móvil exponencial (EMA), mientras que la pérdida global permanece como un objetivo de fondo persistente. Esto protege las pistas de identidad específicas de cada región sin permitir que una sola rama domine la trayectoria de optimización.

Contribuciones Clave

Método de Rama Dual Ingenua (NDB): La propuesta de modelar explícitamente la apariencia y las características faciales locales por separado dentro de un marco de generación compartido para abordar la consistencia de identidad holística.
Escalado de Equilibrio Dinámico (DBS): Una estrategia de ajuste fino que comprende la Puerta Temporal Adaptativa y la Optimización Consciente de la Región. Esta estrategia alivia la insuficiencia en el mantenimiento de la consistencia holística causada por la fuerte dominancia de señales en la línea base NDB, logrando un mejor equilibrio entre la fidelidad facial y la consistencia de la apariencia.
Benchmark Pexels-100: La construcción del primer benchmark de prueba específicamente para evaluar la consistencia de identidad holística en la generación de imágenes de personas personalizada, utilizando imágenes de cuerpo completo y prompts de texto para evaluar el rendimiento a través de las dimensiones facial y de apariencia.

Resultados Experimentales
El método fue evaluado en el benchmark Pexels-100 utilizando métricas que incluyen Similitud Facial (ArcFace), Re-identificación de Personas (ReID), puntuación DINOv2 y CLIP-T.

Desempeño Cuantitativo: El método propuesto supera a las líneas base de código abierto existentes (ej. InstantCharacter, InfiniteYou, UNO, Kontext) en consistencia de identidad holística. Específicamente, alcanza una Puntuación Facial de 0.7875 y una puntuación DINOv2 de 0.3202, superando a la mayoría de los modelos de código abierto y manteniéndose competitivo con sistemas comerciales de código cerrado (ej. GPT-Image-2).
Desempeño Cualitativo: Las comparaciones visuales demuestran que, si bien algunos métodos sobresalen en similitud facial o consistencia de vestimenta, el método propuesto mantiene un equilibrio más favorable, preservando tanto la identidad facial como la coherencia de la apariencia general en diversos escenarios.
Estudios de Ablación: Los experimentos confirman que tanto el ATG como el RAO contribuyen a las mejoras de rendimiento. El modelo DBS completo logra la mejor consistencia holística, validando que los componentes son complementarios en lugar de redundantes.

Significancia y Reivindicaciones
El artículo afirma proporcionar un marco básico controlable para el modelado de identidad holística. Al abordar el compromiso inherente entre la fidelidad facial y la consistencia de la apariencia, el método propuesto ofrece un enfoque más estable e interpretable para la generación de personas personalizada en comparación con las soluciones de código abierto existentes. Los autores enfatizan que su enfoque no pretende maximizar la similitud facial de forma aislada, sino mejorar la coherencia de la representación de identidad completa. Si bien el método depende de la modulación basada en puertas sin alterar el aprendizaje de características subyacente del backbone (lo que limita su rendimiento en poses complejas o estructuras de grano fino como las manos), establece un paso significativo hacia la unificación de las restricciones de identidad global y local en la generación de imágenes basada en difusión.

Más como este