Resumen Técnico: Generación de Imágenes Personalizada mediante Optimización Bayesiana con Humano en el Bucle

1. Planteamiento del Problema

A pesar de los rápidos avances en los modelos de difusión (por ejemplo, FLUX, Stable Diffusion 3), persiste una brecha fundamental entre la imagen mental de un usuario ($x^*$) y la mejor imagen ($x_p^*$) alcanzable únicamente mediante prompts de lenguaje. Esta brecha surge porque el espacio de las imágenes es de mayor dimensionalidad que el lenguaje, el vocabulario del usuario es limitado y los modelos conjuntos de lenguaje e imagen (como CLIP) poseen imperfecciones inherentes.

Aunque los usuarios a menudo pueden identificar cuándo una imagen generada está "más cerca" de su objetivo mental que una anterior, tienen dificultades para articular los cambios lingüísticos específicos necesarios para cerrar esta brecha. Los métodos existentes que dependen de prompts de lenguaje, o aquellos que requieren un entrenamiento exhaustivo fuera de línea con grandes conjuntos de datos (por ejemplo, RLHF, DiffusionDPO), son insuficientes para la hiper-personalización o computacionalmente costosos. El artículo plantea esto como un problema de optimización de caja negra con humano en el bucle: cómo refinar iterativamente una imagen utilizando únicamente la retroalimentación preferencial de un usuario, sin acceso a la función de satisfacción interna del usuario ni al objetivo de verdad fundamental $x^*$.

2. Metodología: MultiBO

Los autores proponen MultiBO (Optimización Bayesiana de Elección Múltiple), un marco interactivo y libre de entrenamiento que optimiza la generación de imágenes modificando las representaciones internas de un modelo de difusión basándose en las preferencias del usuario.

Componentes Principales

La metodología aborda dos desafíos primordiales: la alta dimensionalidad del espacio de la imagen y la dificultad de obtener calificaciones numéricas precisas de los usuarios.

A. Optimización Bayesiana de Elección Múltiple (Multi-choicePBO)

En lugar de comparaciones de pares estándar (A frente a B), MultiBO presenta al usuario un conjunto de $K$ imágenes y le pide que seleccione las $N$ mejores opciones ($N$ de entre $K$).

• MultiwiseGPR: Para modelar la función de satisfacción latente $f$ del usuario a partir de esta compleja retroalimentación, los autores introducen un modelo de verosimilitud de Regresión de Procesos Gaussianos de Elección Múltiple (MultiwiseGPR). Esto extiende los modelos estándar de Probit/Logit Binomial utilizados en la optimización de preferencias por pares a un marco de Logit Multinomial. Mapea la probabilidad de que un usuario seleccione un subconjunto específico de imágenes a los valores de la función latente, lo que permite al sistema inferir $f$ de manera más eficiente con menos consultas.
• Función de Adquisición de Subespacio Equilibrado Dinámico (DBS): La mejora esperada (EI) estándar es computacionalmente intratable cuando se optimiza sobre $K$ elecciones de forma conjunta. Los autores proponen DBS, una función de adquisición ligera que:
  1. Computa una muestra única de Mejora Esperada ($x_{EI}$).
  2. Construye $K$ puntos "ancla" (vectores puente) entre la mejor estimación actual ($\hat{x}^*$) y $x_{EI}$.
  3. Muestrea perturbaciones de un subespacio dinámico $\Omega \subseteq Y$. Este subespacio está determinado por la brecha espectral de la matriz de covarianza del gradiente de la posterior de la GPR, asegurando que las $K$ opciones presentadas al usuario abarquen las dimensiones visualmente más significativas del espacio latente manteniendo la diversidad.

B. Deformación de la Autoatención (Self-Attention Warping)

La optimización directa en el espacio latente de alta dimensión ($D \approx 16k$) es infactible. MultiBO optimiza, en cambio, dentro del mecanismo de autoatención del modelo de difusión (específicamente las matrices de Consulta, Clave y Valor; $Q, K, V$).

• Espacio de Transformación: La optimización se restringe a un espacio de transformaciones de deformación válidas (una composición de transformaciones Afines y de Placa Delgada o Thin-Plate Spline) aplicadas a las características de atención.
• Racional: La autoatención controla los atributos espaciales, la textura y la forma. Al deformar estas características, MultiBO puede inducir cambios semánticos globales y locales sin el costo dimensional de la optimización en el espacio de píxeles. Esto evita la necesidad de la atención cruzada (que está ligada al prompt de texto) y se enfoca en refinar el resultado visual.

Flujo de Trabajo

1. Inicialización: Generar una imagen inicial $x_p^*$ a partir de un prompt.
2. Iteración (hasta $B$ rondas):
   • El módulo DBS propone $K$ conjuntos de parámetros de deformación.
   • Estos parámetros se aplican a las características de autoatención del modelo de difusión para generar $K$ imágenes candidatas.
   • El usuario selecciona las $N$ mejores imágenes.
   • El modelo MultiwiseGPR actualiza su creencia posterior de la función de satisfacción $f$.
   • El proceso se repite hasta que se agota el presupuesto $B$, entregando la imagen optimizada final $\hat{x}^*$.

3. Contribuciones Clave

1. Marco de Preferencia de Elección Múltiple: El artículo demuestra que la retroalimentación de elección múltiple ($N$-de-$K$) proporciona información significativamente más rica que las comparaciones por pares, reduciendo la carga de consultas del usuario. Esto se formaliza matemáticamente mediante la verosimilitud MultiwiseGPR y su correspondiente función de adquisición.
2. Optimización en el Espacio de Atención: A diferencia de los métodos que optimizan vectores de ruido o el espacio de píxeles, MultiBO optimiza las características de autoatención ($Q, K, V$) utilizando un espacio de transformación de deformación restringido. Esto equilibra la necesidad de una edición expresiva con la viabilidad computacional.
3. Personalización Libre de Entrenamiento: El enfoque no requiere entrenamiento fuera de línea con grandes conjuntos de datos ni el ajuste fino (fine-tuning) del modelo de difusión. Opera enteramente durante la inferencia, lo que lo hace independiente del modelo y adaptable a las preferencias individuales de cada usuario.
4. Selección de Subespacio Dinámico: La función de adquisición DBS identifica de forma adaptativa las dimensiones más influyentes para la optimización, evitando que la búsqueda colapse en variaciones redundantes.

4. Resultados Experimentales

Los autores evaluaron MultiBO contra cinco categorías de líneas base: alineación de preferencias basada en entrenamiento (DiffusionDPO, IterComp), métodos de inferencia libres de entrenamiento (DEMON, DNO, DAS) y variantes guiadas por métricas de MultiBO.

• Alineación con el Objetivo: MultiBO superó significativamente a todas las líneas base en las métricas CLIP-I2I y LPIPS (que miden la similitud con el objetivo $x^*$), logrando resultados comparables a un límite superior de tipo "Oráculo" guiado por L2. Notablemente, superó a las variantes donde el humano es reemplazado por modelos de recompensa automatizados (por ejemplo, MultiBOCLIP-I2I), validando que la retroalimentación humana captura matices que las métricas de aproximación omiten.
• Métricas de Preferencia: MultiBO logró puntuaciones competitivas o superiores en métricas de recompensa estándar (ImageReward, Aesthetic, HPSv2) en comparación con los métodos basados en entrenamiento, a pesar de no utilizar datos de entrenamiento.
• Robustez: A diferencia de algunas líneas base (por ejemplo, DNO, DAS) que sufrieron de "ataque de recompensa" (reward hacking — generando imágenes pobres que puntuaban alto en métricas específicas), MultiBO mantuvo la integridad visual.
• Evaluación Humana: En un estudio con 30 voluntarios, MultiBO alcanzó una tasa de victoria del 70.82% en la selección de la imagen más cercana al objetivo, superando significativamente a todas las líneas base (la siguiente mejor fue del 15.60%).
• Estudios de Ablación:
  • Multiwise vs. Pairwise: La retroalimentación de elección múltiple ($K=4$) convergió más rápido y con mayor calidad que la de pares ($K=2$).
  • Tamaño del Conjunto de Elección: $K=4$ ofreció el equilibrio óptimo entre la ganancia de información y la carga cognitiva del usuario; $K=10$ condujo a rendimientos decrecientes.
  • Selección de Capas: La edición de las capas de autoatención intermedia a tardía (capas del decodificador) produjo el mejor control espacial sin destruir la estructura semántica.
  • Pasos de Tiempo (Timesteps): La edición durante los pasos de eliminación de ruido de temprano a medio proporcionó la mayor libertad de dirección.

5. Significación y Reivindicaciones

El artículo afirma que MultiBO logra cerrar eficazmente la brecha de "última milla" entre la imaginación de un usuario y el resultado del modelo generativo. Su importancia radica en:

• Eficiencia: Lograr una personalización de alta fidelidad con solo ~50 consultas de usuario, evitando el costo computacional de entrenar grandes modelos de recompensa.
• Diseño Centrado en el Humano: Al aprovechar la capacidad humana para juzgar la calidad relativa (preferencia) en lugar de la calidad absoluta (calificación), el sistema elude las limitaciones del prompting de lenguaje y las métricas de recompensa imperfectas.
• Practicidad: El método es libre de entrenamiento e independiente del modelo, ofreciendo una vía viable para la generación de imágenes hiper-personalizadas sin requerir conjuntos de datos masivos o hardware especializado para el entrenamiento.

Los autores reconocen las limitaciones, señalando que la optimización puede estancarse en escenarios donde las preferencias del usuario son ambiguas (opciones igualmente malas o buenas) y que el espacio de deformación restringido puede limitar el alcance de las ediciones en comparación con la optimización total del espacio latente. Se propone como trabajo futuro incorporar prioris informados de modelos de recompensa pre-entrenados y explorar estrategias de optimización de alta dimensión más adecuadas para la geometría de la difusión latente.