Personalizing Text-to-Image Generation to Individual Taste

Resumen Técnico: PAM∃LA

1. El Problema

Los modelos actuales de texto a imagen (T2I), como los basados en difusión, han logrado una fidelidad visual impresionante, pero adolecen de un "punto ciego" fundamental: optimizan para el consenso general (la masa) en lugar de para el individuo.

• Subjetividad ignorada: El gusto estético es altamente subjetivo. Dos usuarios con el mismo prompt pueden desear resultados visualmente distintos. Los sistemas actuales tratan a todos los usuarios por igual, forzando un "promedio" de preferencias que a menudo no satisface a nadie.
• Limitaciones de los modelos de recompensa actuales: Los modelos de recompensa existentes (como ImageReward o HPS) se entrenan con datos agregados o no curados, aprendiendo una noción de "bueno" que es genérica. Además, a menudo se basan en imágenes generadas por IA antiguas, lo que puede llevar a los modelos a generar artefactos obsoletos o un estilo "AI look" (saturado y genérico) en lugar de realismo o estilos artísticos específicos.
• Falta de personalización real: Métodos previos como DreamBooth personalizan el contenido (ej. una cara específica), pero no el estilo o la composición según el gusto estético del usuario.

2. Metodología

Los autores proponen un enfoque centrado en la predicción de preferencias condicionada al usuario, presentando dos componentes principales:

A. El Dataset PAM∃LA (Personalized Aesthetic Model & Large-scale Appraisals)

• Escala y Diversidad: Compuesto por 70,000 calificaciones sobre 5,077 imágenes diversas, generadas con modelos de vanguardia (Flux 2 y Nano Banana) para minimizar artefactos.
• Estructura de Anotación: Cada imagen fue evaluada por 15 usuarios únicos, proporcionando una distribución rica de preferencias subjetivas.
• Dominios: Cubre áreas donde la variación estilística es altamente subjetiva: arte, diseño, moda y fotografía cinematográfica.
• Metadatos: Incluye información demográfica de los usuarios (edad, género, nacionalidad, experiencia en arte) y metadatos de la imagen (género, estilo, emoción).
• Diferenciación: A diferencia de datasets previos que promedian las calificaciones, PAM∃LA mantiene la estructura "por usuario", permitiendo el entrenamiento de modelos personalizados.

B. El Predictor PAM∃LA (Modelo de Recompensa Personalizado)

• Arquitectura: Utiliza un transformador ligero que fusiona múltiples fuentes de información:
  • Visuales y Textuales: Extraídos mediante un codificador SigLIP2 congelado (para la imagen y el prompt).
  • Metadatos y Demografía: Codificados mediante un encoder de lenguaje (llama-embed-nemotron-8B) y proyectados a través de una MLP.
  • Embeddings de Usuario: Se aprende un embedding específico para cada usuario en el conjunto de entrenamiento para capturar preferencias idiosincrásicas no explicadas solo por la demografía.
• Entrenamiento: Se entrena de manera conjunta (jointly) en tres datasets: PAM∃LA (IA), LAPIS (arte) y PARA (fotografía), para mejorar la robustez frente a la evolución de la calidad de los modelos T2I.
• Generalización Few-Shot (Usuarios no vistos): Para usuarios nuevos, el modelo no tiene un embedding aprendido. En su lugar, utiliza un enfoque k-nearest neighbors (k-NN) en el espacio de preferencias visuales. Se construye un perfil de preferencia basado en las primeras calificaciones del usuario (contexto k) y se interpola con los embeddings de los usuarios de entrenamiento más similares para inferir la puntuación personalizada.

3. Contribuciones Clave

1. PAM∃LA Dataset: El primer dataset a gran escala diseñado específicamente para la personalización del gusto en imágenes generadas por IA, con cobertura densa de múltiples evaluadores por imagen.
2. Predictor Personalizado: Un modelo de recompensa que supera a los modelos de estado del arte (SOTA) en la predicción de preferencias individuales, manteniendo alto rendimiento a nivel de población.
3. Optimización de Prompts Personalizada: Demostración de que la optimización de prompts guiada por este predictor puede dirigir la generación hacia el gusto específico de un usuario, alterando atributos composicionales (iluminación, ángulo) en lugar de solo saturación.
4. Validación Humana: Un estudio de usuario que confirma que las imágenes optimizadas para el gusto individual son preferidas significativamente sobre las optimizadas con modelos genéricos o sin optimizar.

4. Resultados

• Rendimiento Predictivo: En el conjunto de prueba con usuarios no vistos, el modelo PAM∃LA superó a todos los baselines (incluyendo HPSv3, Q-Align, ImageReward) en todas las métricas:
  • Correlación de Rango (SROCC) a nivel de usuario: 0.4514 (vs 0.4019 de HPSv3).
  • Precisión de Pares (Pairwise Accuracy) a nivel de usuario: 0.6631 (vs 0.6427 de HPSv3).
  • También mantuvo un rendimiento SOTA a nivel de población (promedio agregado).
• Estudio de Usuario (User Study): En una prueba de preferencia pareada (Bradley-Terry), las imágenes optimizadas con PAM∃LA para el usuario específico obtuvieron la puntuación más alta (1065), superando tanto a la imagen base (1016) como a las optimizadas con modelos genéricos (HPSv3: 959, Q-Align: 922).
• Calidad Visual: A diferencia de los modelos globales que tienden a la saturación excesiva y al "look de IA", PAM∃LA tiende a generar resultados más realistas y fotográficos, ajustando la composición y la iluminación según el usuario.
• Resolución de Conflictos: El modelo logró predecir correctamente el 61.44% de los pares de preferencias divergentes (donde el usuario A prefiere la imagen X y el usuario B la imagen Y), demostrando su capacidad para manejar la subjetividad.

5. Significado e Impacto

• Cambio de Paradigma: El trabajo marca una transición de la alineación basada en consenso (promedio de la población) hacia la alineación basada en preferencias individuales.
• Mitigación de Sesgos: Al personalizar, se evita que los modelos se sobreajusten a los gustos de grupos demográficos dominantes en los datos de entrenamiento, revelando que lo que se considera "bueno" a menudo es un sesgo demográfico y no una verdad objetiva.
• Herramienta para la Investigación: La liberación del dataset y el modelo proporciona un estándar para evaluar la alineación del gusto en la generación de imágenes, facilitando el desarrollo de sistemas de IA que realmente entiendan y respeten la subjetividad humana.
• Aplicabilidad Práctica: Demuestra que técnicas simples de optimización de prompts, cuando se guían por un modelo de recompensa personalizado, pueden lograr una personalización realista y eficiente sin necesidad de reentrenar el modelo generativo completo (como en DreamBooth).

En conclusión, PAM∃LA demuestra que la calidad subjetiva en la IA generativa no es universal, y que la personalización basada en datos densos y modelos de predicción condicionados al usuario es esencial para el siguiente salto en la generación de imágenes.