Efficient Personalization of Generative User Interfaces

1. El Problema

La personalización de interfaces de usuario (UI) generativas (GenUI) presenta un desafío único: las propiedades deseables de una interfaz (estilo visual, densidad de información, jerarquía) son subjetivas, difíciles de articular y costosas de inferir a partir de retroalimentación escasa.

• Limitaciones actuales: Los métodos tradicionales dependen de conjuntos de diseños predefinidos o ajustes manuales persistentes, lo cual no funciona bien para interfaces efímeras generadas bajo demanda.
• Subjetividad: Incluso entre diseñadores expertos, existe un desacuerdo significativo sobre qué constituye un "buen diseño". Los modelos agregados (entrenados en promedios) fallan al capturar las preferencias individuales, ya que tratan la diversidad de gustos como ruido en lugar de una señal valiosa.
• Escasez de datos: Para un nuevo usuario, solo se dispone de una cantidad muy limitada de retroalimentación, lo que hace inviable el ajuste fino (fine-tuning) de modelos grandes.

2. Metodología

Los autores proponen un enfoque de personalización eficiente en muestras que representa a un nuevo usuario como una mezcla de diseñadores previos, en lugar de intentar definir un conjunto fijo de reglas de diseño.

A. Construcción del Dataset (Estudio de Preferencias)

• Datos: Se recopiló un nuevo dataset con 12,000 etiquetas de preferencia por pares (pairwise) generadas por 20 diseñadores profesionales sobre un conjunto compartido de 600 interfaces móviles generadas por IA (GPT-5 y Gemini-2.5-Pro).
• Protocolo: Los diseñadores compararon pares de pantallas y calificaron la fuerza de su preferencia en una escala de 4 puntos (sin opción neutral).
• Hallazgos preliminares:
  • Alto desacuerdo entre diseñadores (Coeficiente Kappa de Cohen $\kappa = 0.25$).
  • Las justificaciones escritas revelaron que, aunque los diseñadores usan conceptos similares (ej. "limpieza", "jerarquía"), los interpretan y priorizan de manera diferente.
  • Se identificaron temas divergentes clave: densidad de información, estilo visual (claro vs. oscuro), utilidad decorativa vs. funcional, y prominencia de la acción.

B. Modelo de Aprendizaje de Preferencias

El método propuesto consta de tres etapas:

1. Construcción de Banco de Datos: Se crea una representación de los pares de pantallas y las etiquetas de los diseñadores.
2. Selección de Consultas (Query Selection) Adaptativa:
   • Durante el onboarding, se seleccionan activamente pares de UI para mostrar al nuevo usuario.
   • Se utiliza Ganancia de Información Esperada (EIG) para elegir las consultas que maximizarán la reducción de la incertidumbre sobre el perfil del usuario.
   • Se modela al usuario como una distribución de probabilidad sobre los diseñadores del conjunto de entrenamiento (prior compartido).
3. Personalización del Modelo:
   • Se utiliza un modelo de recuperación (retrieval-based) basado en UIClip (con una capa residual aprendible).
   • Para predecir la preferencia de un nuevo usuario $u$ sobre un par $q$, el sistema recupera pares similares del banco de datos y agrega sus etiquetas ponderadas por la distribución aprendida de diseñadores ($\pi_u$).
   • Fórmula de puntuación: $s(q|u) = \sum_j w_{qj} \sum_d \pi_u(d) c_{d,j}$, donde se combinan la similitud de recuperación y la similitud del perfil del diseñador.

C. Evaluación Técnica y Online

• Evaluación Offline: Comparación contra un modelo multimodal grande (GPT-5.2) y el modelo base UIClip, utilizando validación cruzada "leave-one-designer-out".
• Estudio Online: Se realizó con 12 nuevos diseñadores en un entorno de "arena" donde compararon interfaces generadas en tiempo real bajo cuatro condiciones:
  1. Generación zero-shot (sin perfil).
  2. Generación condicionada al perfil de texto del usuario.
  3. Generación + juez LMM condicionado al perfil de texto.
  4. Generación + modelo de preferencia adaptativo (Propuesta).

3. Contribuciones Clave

1. Nuevo Dataset: Un conjunto de datos de 12,000 preferencias por pares de 20 diseñadores sobre 600 UIs generadas, diseñado específicamente para estudiar la divergencia de preferencias.
2. Análisis de Divergencia: Evidencia empírica de que el desacuerdo entre diseñadores es estructurado y significativo, demostrando que los conceptos de diseño compartidos se interpretan de manera heterogénea.
3. Método de Personalización Eficiente: Un pipeline que combina un prior global con una selección activa de ejemplos (active learning) y un modelo de recuperación ponderado por el perfil del usuario.
4. Pipeline de Generación Personalizada: Una implementación end-to-end que demuestra que la personalización basada en pocas muestras de retroalimentación (8 pares) supera a los enfoques basados en prompts de texto o modelos masivos.

4. Resultados

• Rendimiento Offline:
  • El modelo de recuperación personalizado superó al modelo multimodal grande (GPT-5.2) y al modelo base UIClip.
  • Curiosamente, añadir ejemplos de onboarding al prompt de GPT-5.2 degradó su rendimiento (posible "rotura de contexto"), mientras que el modelo de recuperación mejoró consistentemente.
  • Precisión final del modelo propuesto: 0.620 (vs 0.591 de GPT-5.2 en zero-shot).
• Rendimiento Online (Estudio con 12 diseñadores):
  • El sistema propuesto obtuvo la tasa de victoria agregada más alta (60.35%) en comparaciones tipo arena.
  • Superó significativamente a la generación condicionada solo por texto (47.5%) y al juez condicionado por texto (50.9%).
  • En el 96.8% de las re-muestreos bootstrap, el método propuesto se clasificó en primer lugar.
  • Hallazgo crucial: Las etiquetas de preferencia por pares (comportamiento) capturaron matices de preferencia que los perfiles de texto libre no lograron articular, especialmente en compromisos específicos de tareas.

5. Significado e Implicaciones

• Cambio de Paradigma: El trabajo demuestra que la personalización efectiva en UI generativa no requiere definir reglas universales ni recolectar grandes cantidades de datos por usuario. En su lugar, es más eficiente aprender la "huella" del usuario en relación con un prior de diseñadores expertos.
• Valor de la Retroalimentación Escasa: Unos pocos ejemplos de comparación (8 pares) son suficientes para adaptar un sistema generativo a las preferencias individuales, superando a enfoques que dependen de descripciones textuales largas.
• Diversidad como Señal: La heterogeneidad en las preferencias no es ruido que deba promediarse, sino la señal fundamental que permite una personalización significativa.
• Aplicabilidad Práctica: El enfoque de "recuperar y reordenar" (retrieve-and-rerank) es viable con modelos generativos de caja cerrada (como GPT-5) que no pueden ser ajustados, permitiendo la personalización sin necesidad de reentrenar el generador principal.
• Futuro: Abre la puerta a sistemas que aprenden continuamente de interacciones implícitas y explícitas, adaptándose a la incertidumbre y al contexto cambiante de las preferencias individuales.