Position: Universal Aesthetic Alignment Narrows Artistic Expression

Resumen Técnico: La Alineación Estética Universal Reduce la Expresión Artística

Enunciado del Problema
El artículo identifica un conflicto crítico en las actuales cadenas de generación de imágenes: la tensión entre el seguimiento de instrucciones y la alineación estética general. Si bien los modelos se ajustan mediante Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) para alinearse con una preferencia humana "universal" o generalizada por la belleza, esta alineación a menudo anula las instrucciones explícitas del usuario que solicitan resultados "antiestéticos" o de baja calidad. Los autores argumentan que esto crea una "alineación invertida", donde el sistema alinea al usuario con la preferencia colectiva del modelo en lugar de alinear el modelo con la intención específica del usuario. Este fenómeno suprime la expresión artística legítima (por ejemplo, el surrealismo, el arte abstracto, las emociones negativas) e impone valores centrados en el desarrollador, reduciendo efectivamente el espectro de resultados creativos admisibles.

Metodología
Para validar empíricamente este sesgo, los autores construyeron un conjunto de datos de estética de amplio espectro y evaluaron modelos de generación y de recompensa de última generación (SOTA) mediante una cadena de tres etapas:

1. Generación de Prompts:

   • Partiendo de 300 descripciones base del conjunto de datos COCO, los autores muestrearon de 2 a 4 dimensiones estéticas del conjunto de datos VisionReward (por ejemplo, iluminación, color, detalle).
   • Utilizando un Modelo de Visión y Lenguaje (Qwen/Qwen3-VL-235B-A22B-Instruct), generaron "prompts de estética de amplio espectro" ($p_a$) que solicitaban explícitamente atributos "indeseables" (por ejemplo, desenfoque, ruido, bajo contraste, emociones negativas) manteniendo el sujeto central.
   • Estos se compararon con los prompts originales ($p_o$).

2. Generación de Imágenes:

   • El estudio evaluó cuatro familias de modelos: Flux (incluyendo base, DanceFlux, PrefFlux y Flux Krea), Stable Diffusion (variantes SDXL, Playground-2.5, SD3.5M) y Nano Banana de Google.
   • Para cada modelo, se generaron dos imágenes: una a partir de $p_o$ y otra a partir de $p_a$.
   • El estudio incluyó tanto modelos base como variantes alineadas explícitamente para la estética general o el seguimiento de prompts.

3. Evaluación y Métricas:

   • Modelos de Recompensa: Las imágenes generadas fueron puntuadas por múltiples modelos de recompensa (HPSv3, HPSv2.1, ImageReward, PickScore, MPS) y líneas base no alineadas (CLIP-L, BLIP-L).
   • Verdad Terrenal: Un VLM ajustado (Qwen/Qwen3-VL-4B-Instruct) y evaluadores humanos determinaron qué imagen en un par se adhería mejor al prompt de amplio espectro ($p_a$).
   • Validación en el Mundo Real: Los autores probaron los modelos de recompensa en fotografías reales antiestéticas (del conjunto de datos AVA) y obras de arte históricas (del conjunto de datos LAPIS) para ver si estos modelos penalizaban desviaciones artísticas intencionales.

Resultados Clave

• Fallo de los Modelos de Recompensa: Los modelos de recompensa entrenados en preferencias generales fallaron consistentemente en reconocer la estética de amplio espectro. Cuando se les asignó la tarea de seleccionar la imagen que mejor coincidía con un prompt "antiestético", modelos como HPSv3 tuvieron un rendimiento peor que el azar (puntuación F1 ~0.54) y significativamente peor que las líneas base no alineadas como BLIP-L (F1 ~0.97).
• Sesgo en los Modelos de Generación: Los modelos de generación alineados estéticamente (por ejemplo, DanceFlux, Playground) a menudo recurrieron a resultados convencionalmente bellos, ignorando instrucciones explícitas de desenfoque, ruido o emociones negativas. Por ejemplo, los modelos alineados a menudo generaron rostros neutros o felices cuando se les pidió tristeza o ira, mientras que los modelos no alineados siguieron el prompt con precisión.
• Penalización del Arte: La validación en el mundo real reveló que los modelos de recompensa penalizaban obras artísticas genuinas. HPSv3 asignó puntuaciones significativamente más bajas a fotografías intencionalmente antiestéticas y obras maestras históricas (por ejemplo, El grito de Edvard Munch) en comparación con imágenes limpias generadas por IA, incluso cuando el prompt solicitaba explícitamente el estilo "feo".
• Sesgo Emocional: El estudio encontró un sesgo sistemático de "positividad tóxica". Los modelos de recompensa penalizaron fuertemente las imágenes que representaban emociones negativas (tristeza, miedo, ira), incluso cuando el prompt las solicitaba explícitamente, reforzando una dicotomía donde las emociones positivas son "deseables" y las negativas son "indeseables".

Contribuciones Clave

1. Marco Conceptual: El artículo introduce el concepto de "alineación invertida", argumentando que los procesos actuales de RLHF alinean a los usuarios con una preferencia colectiva definida por el desarrollador en lugar de respetar la autonomía individual del usuario.
2. Conjunto de Datos y Referencia: Los autores lanzan un conjunto de datos de estética de amplio espectro y un marco de evaluación correspondiente diseñado para probar la capacidad de los modelos para generar imágenes intencionalmente de "baja calidad" o no convencionales.
3. Evidencia Empírica de Sesgo: Mediante pruebas rigurosas en múltiples familias de modelos y modelos de recompensa, el artículo proporciona evidencia de que la alineación estética actúa como un filtro que suprime sistemáticamente el pluralismo artístico, incluido el surrealismo, la abstracción y la expresión emocional negativa.
4. Crítica a la Captura de Valores: Los autores enmarcan la alineación estética como un caso de "Captura de Valores", donde la naturaleza rica, matizada y a menudo conflictiva del juicio estético humano se reduce a una única puntuación de recompensa simplificada, delegando así la autonomía del usuario al modelo.

Significado y Afirmaciones
El artículo afirma que la adhesión estricta a una preferencia estética universal no es meramente una limitación técnica, sino una forma de "autoritarismo estético". Al priorizar una media estadística de la preferencia humana (a menudo sesgada hacia demografías específicas y apariencias "pulidas"), los sistemas actuales:

• Socavan la autonomía del usuario y la capacidad expresiva.
• Limitan el pluralismo estético al penalizar movimientos artísticos legítimos (por ejemplo, el dadaísmo, el expresionismo) que dependen de la desviación de las normas.
• Crean una "realidad higienizada" que no refleja la complejidad total de la emoción y la experiencia humana, particularmente al suprimir las emociones negativas.

Los autores concluyen que, si bien la alineación con preferencias generales tiene beneficios para la seguridad y la experiencia del usuario, no debe anular las instrucciones explícitas del usuario. Argumentan a favor de un cambio desde estándares estéticos universales prescriptivos hacia sistemas que apoyen el pluralismo estético y permitan la "fealdad" intencional como un modo válido de expresión. El artículo no propone un nuevo algoritmo específico para solucionar esto, sino que pide una reevaluación de los objetivos de alineación para distinguir entre contenido verdaderamente dañino y contenido que simplemente no gusta a los desarrolladores.