Resumen Técnico: Ajuste de Identidad Latente en Modelos de Personalización de Texto a Imagen

Declaración del Problema

Los métodos actuales de personalización de texto a imagen (T2I) sobresalen en la reproducción de la identidad de un sujeto a partir de imágenes de referencia a través de diversos prompts. Sin embargo, carecen de la precisión requerida para el ajuste de identidad de grano fino. Aunque los usuarios pueden desear modificar atributos faciales específicos (por ejemplo, añadir una barba, cambiar la forma de la nariz o alterar la apertura de los ojos) manteniendo la identidad central, los enfoques existentes a menudo fallan al no ofrecer un control localizado. La edición de imágenes estándar opera sobre una única imagen generada, lo que impide asegurar que la modificación persista de manera consistente en nuevas generaciones. Además, la edición guiada por texto suele tener dificultades para expresar cambios faciales sutiles y localizados sin alterar la identidad percibida del sujeto o introducir artefactos globales.

Metodología

Los autores proponen el Ajuste de Identidad Latente (Latent-Identity Tuning), un marco que opera directamente sobre la representación de la identidad latente dentro de un codificador de personalización preentrenado y congelado (utilizando específicamente Q-Formers). En lugar de reentrenar el modelo u optimizar por imagen, el método explora el espacio latente del codificador para descubrir direcciones semánticas para el ajuste.

1. Análisis del Espacio de Tokens de Identidad

El marco aprovecha la observación de que los adaptadores Q-Former en los modelos de personalización producen un conjunto de tokens de identidad ($Z \in \mathbb{R}^{N \times C}$). Estos tokens no son monolíticos; más bien, exhiben una organización estructurada y parcialmente desentrelazada donde tokens específicos o subconjuntos de tokens corresponden a distintas regiones faciales espaciales o semánticas (por ejemplo, ojos, labios, nariz).

2. Selección de Tokens

Para permitir el ajuste localizado, el método identifica el subconjunto específico de tokens ($S$) relevantes para un atributo objetivo:

• Atributos Localizados: Para partes faciales específicas (por ejemplo, labios), el método construye imágenes emparejadas ($I, I_{patch}$) donde un parche se pega sobre la región objetivo. Al computar la diferencia en las representaciones de identidad ($\Delta Z$), selecciona los top-$k$ tokens con la mayor magnitud de cambio. Este subconjeto se reutiliza para todos los sujetos.
• Atributos Globales: Para atributos que abarcan toda la cara (por ejemplo, pecas, tono de piel), el método entrena SVMs lineales sobre las características de los tokens individuales para predecir etiquetas de atributos. Los tokens cuyos clasificadores logran una alta precisión de validación son seleccionados como el subconjunto relevante.

3. Técnicas de Ajuste

Una vez identificados los tokens relevantes, el marco aplica diversas estrategias de manipulación:

• Interpolación Global y Local: El método interpola entre representaciones de identidad ($Z_A$ y $Z_B$). Al interpolar solo un subconjunto seleccionado de tokens ($Z_S$), permite la transferencia de identidad localizada (por ejemplo, trasplantar las cejas de una persona a otra) mientras preserva el resto de la identidad.
• Direcciones Lineales Supervisadas: Utilizando conjuntos de datos con etiquetas de atributos binarios (como CelebA), el método aprende direcciones de edición mediante:
  • Estimador de Diferencia de Medias: Calculando la diferencia entre las representaciones medias de las muestras positivas y negativas.
  • Estimador Basado en SVM: Utilizando el vector normal del hiperplano de una SVM lineal como la dirección de edición. Los autores señalan que las SVM suelen ser más efectes para ediciones de grano fino (por ejemplo, mejillas sonrosadas), mientras que la diferencia de medias es mejor para cambios pronunciados (por ejemplo, barba).
• Direcciones Lineales No Supervisadas: Utilizando el Análisis de Componentes Principales (PCA) sobre las representaciones de identidad.
  • PCA Global: Captura correlaciones a través de todos los tokens para ediciones globales (por ejemplo, edad).
  • PCA por Token/Grupo: Aplicar PCA a tokens específicos o subconjuntos seleccionados revela controles localizados (por ejemplo, color de ojos, apertura ocular).

4. Actualizaciones de Preservación de Norma

Para asegurar que los ajustes permanezcan dentro de la distribución del espacio latente, el método aplica una actualización de preservación de norma (Ec. 2). Esto centra el vector, añade una dirección escalada y reescala el resultado para preservar la distancia original respecto a la media del conjunto de datos.

Contribuciones Clave

1. Definición de Ajuste de Identidad: El artículo formaliza la tarea de modificar la representación de la identidad latente misma para asegurar ediciones persistentes y consistentes a través de diversas generaciones, diferenciándose de la edición de una sola imagen.
2. Descubrimiento del Espacio de Tokens Estructurado: Demuestra que el espacio de tokens de identidad de los codificadores de personalización basados en Q-Former está estructurado e interpretable, con tokens que mapean a regiones faciales específicas.
3. Mecanismo de Selección de Tokens: Un método novedoso para aislar tokens relevantes para atributos faciales específicos utilizando análisis de diferencia basado en parches o clasificación supervisada.
4. Marco de Control de Grano Fino: Una suite de técnicas (interpolación, direcciones lineales supervisadas/no supervisadas) que permiten ediciones continuas, localizadas y semánticamente coherentes sin necesidad de entrenamiento adicional del modelo.

Resultados

El marco fue validado utilizando codificadores Omni-ID y PuLID con el modelo T2I Flux.dev, evaluado en los conjuntos de datos FFHQ y CelebA.

• Desempeño Cualitativo: El método realiza con éxito ediciones difíciles de expresar mediante texto, como modificar la forma de la nariz, añadir estilos de barba específicos o transferir regiones perioculares (cejas/párpados) entre identidades. La identidad editada permanece consistente a través de variados prompts (fondos, poses, estilos).
• Comparación Cuantitativa: Comparado con líneas base como PreciseControl, Weights2Weights y Flux Kontext (variantes Direct y Sequential), el método propuesto logra:
  • Mayor Consistencia de Identidad: Medida por la similitud de coseno de ArcFace a través de las imágenes generadas.
  • Mayor Adherencia al Ajuste: Mejor alineación con la modificación solicitada.
  • Mayor Adherencia al Prompt: Mejor alineación con la descripción de la escena objetivo.
  • Estudio de Usuario: En una comparación por pares que involucró 250 juicios, el método propuesto fue preferido sobre todas las líneas base en Preservación de Identidad, Consistencia de Identidad, Adherencia al Ajuste, Adherencia al Prompt y Preferencia General (tasas de victoria de entre el 70% y el 96%).

Significado

El artículo afirma que el espacio de tokens de identidad en los codificadores de personalización es interpretable y controlable con una granularidad facial fina. Al desplazar el enfoque del ajuste de imagen a la sintonización de la identidad latente, los autores permiten a los usuarios refinar aspectos delicados de la identidad visual (por ejemplo, la apertura de los ojos, la textura de las pecas) con alta precisión. El significado radica en proporcionar un mecanismo para la modificación de la identidad persistente, consistente y localizada que no requiere optimización por imagen ni reentrenamiento, superando así las limitaciones de los enfoques actuales de edición de imágenes y guiados por texto en el contexto de rostos humanos.