Resumen Técnico: XPASS-VIS: Un Conjunto de Datos para la Evaluación de la Estética de Imágenes Personalizada entre Dominios

1. Planteamiento del Problema

La Evaluación de la Estética de Imágenes Personalizada (PIAA, por sus siglas en inglés) tiene como objetivo modelar la naturaleza subjetiva de los juicios estéticos a nivel individual, yendo más allá del consenso a nivel poblacional. Si bien se sabe que la preferencia estética es profundamente personal, también exhibe consistencia a través de diversos dominios visuales; por ejemplo, la preferencia de un individuo por la simplicidad puede manifestarse tanto en el arte minimalista como en la moda sobria. Sin embargo, los conjuntos de datos y métodos de PIAA existentes están mayoritariamente confinados a un único dominio o carecen de suficientes muestras por anotador dentro de cada dominio para sustentar un análisis entre dominios. En consecuencia, el alcance de la transferencia de las preferencias estéticas personalizadas a través de los dominios visuales permanece inexplorado. Además, la recopilación de suficientes datos etiquetados para cada nuevo dominio es prohibitivamente costosa, lo que crea un problema de "inicio en frío" (cold-start) donde no existe un historial de calificación del usuario. Esto requiere el desarrollo de estrategias de Adaptación de Dominio No Supervisada (UDA) para transferir modelos de dominios fuente etiquetados a dominios objetivo no etiquetados.

2. Metodología

2.1 El Conjunto de Datos XPASS-Vis

Para abordar la falta de infraestructura de datos para la PIAA entre dominios, los autores presentan XPASS-Vis, el primer conjunto de datos diseñado explícitamente para esta tarea.

• Estímulos: El conjunto de datos comprende 6,526 estímulos a través de tres dominios visuales distintos: Arte (2,345 imágenes de la división de prueba de LAPIS), Moda (2,082 imágenes de alta resolución del conjunto de datos Clothing Co-Parsing) y Paisaje (2,099 clips de video de un minuto de Sekai-Real-Walking-HQ, convertidos a fotogramas individuales).
• Anotadores: 129 anotadores calificaron los estímulos en los tres dominios.
• Anotaciones: Cada anotador proporcionó 10 calificaciones por estímulo:
  1. Evaluación Estética General: Una escala Likert de 7 puntos (1 = Muy poco estético, 7 = Muy estético).
  2. Calificaciones de Estética-Emoción: Nueve ítems del cuestionario AESTHEMOS (por ejemplo, "Me gustó", "Me hizo sentir nostalgia"), calificados en una escala de 5 puntos.
• Atributos del Usuario: Los anotadores proporcionaron datos demográficos (edad, género, nacionalidad, historial académico) y rasgos de personalidad (Inventario de Personalidad de Diez Ítems/TIPI).
• Escala: El conjunto de datos genera 87,836 interacciones usuario-estímulo, con cada anotador calificando más de 200 estímulos por dominio, asegurando una cobertura suficiente para la personalización.

2.2 Configuración Experimental y Baselines

Los autores establecieron un punto de referencia para la PIAA entre dominios bajo una configuración de Adaptación de Dominio No Supervisada (UDA), donde un modelo se entrena en un dominio fuente etiquetado y se transfiere a un dominio objetivo no etiquetado sin utilizar etiquetas del objetivo.

• Preprocesamiento:
  • Atributos del Usuario: Codificados como vectores one-hot (114 dimensiones en total), incluyendo demografía, personalidad e interés en el dominio.
  • Atributos de la Imagen: 45 Propiedades de Imagen Cuantitativas (QIPs) de bajo nivel extraídas mediante una herramienta, que cubren color, textura, simetría y complejidad.
• Pipeline de Entrenamiento:
  • Evaluación de la Estética de Imágenes General (GIAA): Un modelo base (NIMA con backbone CLIP) entrenado para predecir puntuaciones agregadas de la población.
  • Evaluación de la Estética de Imágenes Personalizada (PIAA): Un enfoque de dos fases:
    1. Preentrenamiento (Nivel Poblacional): Se entrena un módulo de personalización con usuarios generales para aprender patrones de preferencia a nivel poblacional.
    2. Ajuste Fino (Nivel Individual): El modelo se ajusta para usuarios específicos utilizando un pequeño número de sus calificaciones (100 muestras).
  • Baselines: El estudio evalúa Modelos de Lenguaje Extensos propietarios (GPT-5.4, Claude Opus 4.6, Gemini 3.0 Flash) mediante inferencia zero-shot y dos arquitecturas de PIAA establecidas (MIR e ICI).
• Métodos de Adaptación de Dominio: Los autores evaluaron sistemáticamente 8 métodos representativos de UDA:
  • Adversarios: DANN, CDAN, ALDA.
  • Basados en Discrepancia (Transporte Óptimo): DeepJDOT, JUMBOT.
  • Basados en Discrepancia (Alineación de Características): DeepCORAL, RSD, DARE-GRAM.
  • Nota: RSD y DARE-GRAM son variantes conscientes de la regresión diseñadas específicamente para la predicción de puntuaciones continuas.

2.3 Evaluación

El rendimiento se midió mediante validación cruzada de 5 pliegues (5-fold cross-validation) a nivel de usuario. Las métricas incluyeron:

• SCC (Coeficiente de Correlación de Rango de Spearman): Mide la correlación de orden de rango.
• CCC (Coeficiente de Correlación de Concordancia): Mide tanto el orden de rango como la concordancia absoluta (sensible al uso de la escala de calificación).

3. Resultados Clave

3.1 Rendimiento Dentro del Dominio

• PIAA vs. GIAA: Los modelos personalizados (ICI e MIR) superaron significativamente al modelo GIAA de nivel poblacional (NIMA) y a los LLMs zero-shot. El modelo ICI logró el mejor rendimiento general (Promedio SCC = 0.470, CCC = 0.423).
• Dificultad del Dominio: El rendimiento varió según el dominio, siendo Arte el que obtuvo las puntuaciones más altas y Moda las más bajas. Esto se correlaciona con un menor acuerdo entre anotadores (ICC) en moda, lo que sugiere una mayor subjetividad y dificultad para modelar el consenso de la población en este dominio.
• Limitaciones de los LLM: Los LLM propietarios zero-shot funcionaron de manera comparable entre sí, pero no lograron superar al baseline NIMA en ningún dominio, lo que indica que el juicio a nivel individual es difícil de inferir a partir de atributos de texto sin datos de entrenamiento.

3.2 Transferencia entre Dominios (UDA)

• Desplazamiento de Dominio: El baseline "Solo-Fuente" (sin adaptación) funcionó deficientemente (Promedio SCC = 0.145), resaltando un desplazamiento de dominio sustancial.
• Éxito de la Adaptación: La mayoría de los métodos UDA mejoraron respecto al baseline Solo-Fuente.
  • Alineación de Características vs. Adversarios: Los métodos de alineación de características (DeepCORAL, RSD, DARE-GRAM) superaron a los métodos adversarios y de transporte óptimo.
  • Conciencia de Regresión: Los mejores métodos fueron RSD y DARE-GRAM, que están diseñados explícitamente para tareas de regresión. Estos alcanzaron las puntuaciones SCC más altas entre todos los métodos UDA.
• Transferibilidad: Los mejores métodos de adaptación recuperaron aproximadamente el 60% del límite superior de Solo-Objetivo (el límite teórico si se tuvieran etiquetas del objetivo) en términos de SCC. Esto proporciona evidencia de que las preferencias estéticas personalizadas son transferibles entre dominios en una medida significativa.
• Rendimiento Absoluto vs. Relativo: Aunque las puntuaciones absolutas fueron menores para los objetivos de moda, la tasa de recuperación relativa a la dificultad del dominio objetivo fue consistente en la mayoría de las direcciones, lo que sugiere que la adaptabilidad de las preferencias no depende de la dirección, sino que está constreñida por la dificultad inherente del dominio objetivo.
• Limitaciones de CCC: La recuperación para CCC (acuerdo absoluto) fue menor (~38%) que para SCC, lo que indica que la adaptación no supervisada tiene dificultades para capturar las tendencias de calificación específicas del anotador (por ejemplo, el uso de la escala).

3.3 Análisis a Nivel de Usuario

Los autores investigaron si atributos específicos del usuario (demografía, personalidad, estilo de calificación) predicen quién se beneficia de la adaptación de dominio.

• Hallazgo: Aparte de un efecto mecánico de "regresión a la media", ningún atributo de usuario predijo sistemáticamente las ganancias de adaptación. Los efectos significativos fueron raros y limitados a direcciones de transferencia específicas.
• Implicación: Los beneficios de la UDA de alineación marginal son de base amplia y no están filtrados por subgrupos demográficos o de personalidad. El éxito parece impulsado por propiedades intra-individuales más finas (por ejemplo, el grado de superposición de la estructura de preferencia entre dominios) en lugar de rasgos estáticos.

4. Contribuciones Clave

1. Conjunto de Datos XPASS-Vis: El lanzamiento del primer conjunto de datos diseñado explícitamente para la PIAA entre dominios, que presenta 129 anotadores calificando 6,526 estímulos en Arte, Moda y Paisaje con suficiente cobertura por dominio (>200 muestras/usuario) y una rica colección de atributos de usuario.
2. Benchmark y Baselines: El establecimiento de una nueva tarea de benchmark para la PIAA entre dominios, incluyendo una evaluación sistemática de 8 métodos representativos de UDA y LLMs propietarios.
3. Evidencia Empírica de Transferibilidad: La demostración de que las preferencias estéticas personalizadas son transferibles entre dominios visuales, con métodos de alineación de características conscientes de la regresión recuperando ~60% del límite superior supervisado en entornos totalmente no supervisados.
4. Perspectiva sobre la Adaptación: El hallazgo de que las ganancias de adaptación no son predictibles mediante atributos de usuario estándar, lo que sugiere que las futuras estrategias de adaptación de PIAA deben centrarse en modelar la propia estructura de preferencia entre dominios en lugar de depender de proxies demográficos.

5. Significación y Reivindicaciones

El artículo afirma que XPASS-Vis proporciona un recurso fundamental para estudiar la PIAA entre dominios, abordando una brecha crítica en la literatura existente donde los conjuntos de datos eran de un solo dominio o carecían de densidad por usuario. Los resultados ofrecen una "evidencia alentadora" de que las preferencias estéticas no son enteramente específicas de un dominio, sino que contienen componentes transferibles e invariantes al dominio.

Los autores enmarcan sus hallazgos de manera modesta como un "sí calificado" a la pregunta de la transferibilidad. Enfatizan que, si bien los métodos no supervisados actuales recuperan una parte significativa del rendimiento, queda una brecha sustancial, particularmente en la captura de las tendencias de calificación absoluta (CCC). El trabajo postula que el siguiente paso para el campo es el desarrollo de estrategas de adaptación específicos para PIAA que modelen explícitamente la interacción entre los atributos del usuario y los desplazamientos de dominio, en lugar de depender de técnicas de UDA de propósito general. El trabajo también destaca la necesidad de futuras investigaciones en la adaptación cross-modal y dominios visuales más amplios.