When Do LLM Personas Support Visualization Design? A Cross-Model Study of Color Assignment and Chart Choice

Resumen Técnico: ¿Cuándo los Personajes de LLM Soportan el Diseño de Visualización?

Planteamiento del Problema
Los personajes (personas) de los Modelos de Lenguaje Extensos (LLM) se utilizan cada vez más para simular perfiles de usuario diversos durante las etapas iniciales de la investigación de visualización, ofreciendo una alternativa rentable a los estudios humanos para explorar alternativas de diseño como la asignación de colores y las preferencias de gráficos. Sin embargo, persiste un riesgo metodológico crítico: no está claro si los resultados condicionados por el personaje reflejan efectos de personalidad estables o si son meros artefactos de configuraciones específicas del modelo, valores predeterminados de los prompts o la semántica de la tarea. Este estudio investiga si condicionar los LLM con perfiles de personalidad de los "Big Five" produce diferencias sistemáticas y estables en las elecciones de visualización, o si estas señales son frágiles y dependen del modelo subyacente y del tipo de tarea.

Metodología
Los autores realizaron dos experimentos a través de tres configuraciones de modelos: GPT-4o-mini, GPT-4.1-mini y GPT-5-mini, utilizando un conjunto consistente de 43 perfiles de personalidad únicos de los "Big Five" derivados de datos estatales de EE. UU.

• Experimento 1 (Asignación de Color): El estudio probó si el condicionamiento de la personalidad altera los colores asignados a seis conceptos (tres concretos: Banana, Fresa, Zanahoria; tres abstractos: Serendipia, Serenidad, Caos). Para cada par concepto-personaje, se generaron 30 muestras de color por modelo.

  • Procesamiento de Datos: Las salidas RGB se convirtieron al espacio de color CIELCH. La variación entre personajes se cuantificó mediante la distancia de Hellinger promedio por pares a través de histogramas de tono (hue).
  • Análisis: Una prueba de permutación de Mantel evaluó la correlación entre la distancia de personalidad de los "Big Five" (distancia L1) y la distancia de color. Un ANOVA de dos vías descompuso la varianza del tono en contribuciones de la identidad del modelo y del personaje.
  • Nota sobre GPT-5-mini: Como la temperatura no fue expuesta, la variabilidad se indujo mediante ocho lentes interpretativas (p. ej., literal, metafórica) a través de semillas fijas.

• Experimento 2 (Preferencias de Gráficos): Basándose en el trabajo de Alves et al., este experimento evaluó las preferencias de ídiomas de gráficos a través de tres contextos de tarea (jerarquía, series temporales, comparación) utilizando 12 tipos de gráficos.

  • Simulación: Los 43 perfiles se volvieron a muestrear en 60 ejecuciones condicionadas por personajes. Los personajes se agregaron en tres grupos alineados con rasgos (Organizado/Estable, Sociable/Cooperativo, Emocionalmente Reactivo) basados en la distancia L1 a los vectores prototipo.
  • Análisis: Las preferencias se analizaron mediante regresiones OLS de rasgos individuales y métodos de agregación a nivel de grupo (Voto Mayoritario, Votación de Ronda Instantánea, Soporte Apriori, Conteo de Borda). Se estableció una línea base de "sin personaje" para determinar si las principales elecciones eran impulsadas por el contexto o por la personalidad. El acuerdo entre modelos se midió utilizando la $\tau$ de Kendall.

Resultos Clave

• Dependencia de la Configuración del Modelo: El acoplamiento personalidad-color depende altamente de la configuración específica del modelo.
  • GPT-4o-mini: No mostró una asociación significativa entre la distancia de personalidad y la distancia de tono para ninguno de los seis conceptos.
  • GPT-4.1-mini: Demostró un acoplamiento consistente en los seis conceptos.
  • GPT-5-mini: Mostró un acoplamiento parcial (significativo para solo dos de los seis conceptos), con efectos sensibles a la resolución de los bins de tono.
• Influencia del Tipo de Concepto: La fuerza de la señal varía según el tipo de concepto. Para conceptos abstractos, la personalidad explicó significativamente más varianza de tono ($\eta^2 = 0.038$) que la identidad del modelo ($\eta^2 = 0.008$). Para conceptos concretos, ambos efectos fueron pequeños y comparables, lo que sugiere que los conceptos concretos están limitados por las asociaciones de color predeterminadas.
• Estabilidad de la Agregación: En la elección de gráficos, agregar personajes en grupos alineados con rasgos estabilizó los rankings de los principales ídiomas para los contextos de jerarquía y series temporales en todos los modelos. Sin embargo, el contexto de comparación mostró una menor estabilidad, particularmente para el grupo "Emocionalmente Reactivo".
• Contexto vs. Personaje: Una línea base sin personaje recuperó los mismos ídiomas de gráficos de primer rango que las ejecuciones condicionadas por personajes en 8 de 9 celdas de modelo-contexto. Esto indica que el contexto de la tarea (p. ej., "jerarquía" frente a "serie temporal") impulera la selección de rango 1 con más fuerza que el condicionamiento de la personalidad. El prompting de personajes modula principalmente los niveles de calificación absoluta (p. ej., el grupo "Emocionalmente Reactivo" calificó los ídiomas ~1 punto más bajo en una escala de 7 puntos) en lugar de reordenar la elección principal.

Significancia y Reivindicaciones
El artículo posiciona a los personajes de LLM como sondas exploratorias para el diseño de visualización en lugar de sustitutos de participantes humanos. Los autores argumentan que los resultados condicionados por personajes no son una propiedad única y estable del prompting, sino que son contingentes a la configuración del modelo, el tipo de concepto y la granularidad del análisis.

El estudio motiva tres prácticas metodológicas específicas para investigaciones futuras:

1. Pruebas multi-modelo: Depender de una sola configuración de modelo puede generar falsos negativos (como se vio con GPT-4o-mini) o artefactos.
2. Desagregación por tipo de concepto: Agrupar conceptos abstractos y concretos puede ocultar patrones distintos de influencia de la personalidad.
3. Líneas base sin personaje: Los investigadores deben reportar los resultados de la línea base para distinguir entre los valores predeterminados impulsados por el contexto y los efectos genuinos de la personalidad.

Los autores declaran explícitamente que estos hallazgos no pretenden afirmar que los personajes de LLM puedan reemplazar los estudios humanos; más bien, resaltan la necesidad de una pequeña calibración humana para determinar qué patrones observados reflejan preferencias de usuario genuinas y cuáles son artefactos del modelo.