When Do LLM Personas Support Visualization Design? A Cross-Model Study of Color Assignment and Chart Choice

Resumo Técnico: Quando as Personas de LLM Suportam o Design de Visualização?

Declaração do Problema
As personas de Grandes Modelos de Linguagem (LLMs) são cada vez mais utilizadas para simular diversos perfis de usuários durante as fases iniciais de pesquisa em visualização, oferecendo uma alternativa de baixo custo aos estudos com humanos para explorar alternativas de design, como atribuição de cores e preferências de gráficos. No entanto, um risco metodológico crítico permanece: não está claro se os resultados condicionados por persona refletem efeitos de personalidade estáveis ou se são meros artefatos de configurações específicas do modelo, padrões de prompt ou semântica da tarefa. Este estudo investiga se o condicionamento de LLMs em perfis de personalidade Big Five produz diferenças sistemáticas e estáveis nas escolhas de visualização, ou se esses sinais são frágeis e dependentes do modelo subjacente e do tipo de tarefa.

Metodologia
Os autores conduziram dois experimentos em três configurações de modelos: GPT-4o-mini, GPT-4.1-mini e GPT-5-mini, utilizando um conjunto consistente de 43 perfis de personalidade Big Five únicos derivados de dados estaduais dos EUA.

• Experimento 1 (Atribuição de Cores): O estudo testou se o condicionamento de personalidade altera as cores atribuídas a seis conceitos (três concretos: Banana, Morango, Cenoura; três abstratos: Serendipidade, Serenidade, Caos). Para cada par conceito-persona, 30 amostras de cores foram geradas por modelo.

  • Processamento de Dados: Os outputs RGB foram convertidos para o espaço de cores CIELCH. A variação entre personas foi quantificada usando a distância de Hellinger média entre pares nos histogramas de matiz (hue).
  • Análise: Um teste de permutação de Mantel avaliou a correlação entre a distância de personalidade Big Five (distância L1) e a distância de cor. Uma ANOVA de dois fatores decompôs a variância do matiz em contribuições da identidade do modelo e da persona.
  • Nota sobre o GPT-5-mini: Como a temperatura não foi exposta, a variabilidade foi induzida via oito lentes interpretativas (ex: literal, metafórica) através de sementes (seeds) fixas.

• Experimento 2 (Preferências de Gráficos): Baseando-se no trabalho de Alves et al., este experimento avaliou as preferências de ídolos de gráficos em três contextos de tarefa (hierarquia, série temporal, comparação) usando 12 tipos de gráficos.

  • Simulação: Os 43 perfis foram reamostrados em 60 execuções condicionadas por persona. As personas foram agregadas em três clusters alinhados a traços (Organizado/Estável, Sociável/Cooperativo, Emocionalmente Reativo) baseados na distância L1 em relação a vetores protótipos.
  • Análise: As preferências foram analisadas via regressões OLS individuais e métodos de agregação de nível de cluster (Votação por Maioria, Votação por Corrida Instantânea, Suporte Apriori, Borda Count). Uma linha de base "sem persona" foi estabelecida para determinar se as principais escolhas eram impulsionadas pelo contexto ou pela personalidade. O acordo entre modelos foi medido usando o $\tau$ de Kendall.

Principais Resultados

• Dependência de Configuração de Modelo: O acoplamento personalidade-cor é altamente dependente da configuração específica do modelo.
  • GPT-4o-mini: Não mostrou associação significativa entre a distância de personalidade e a distância de matiz para nenhum dos seis conceitos.
  • GPT-4.1-mini: Demonstrou acoplamento consistente em todos os seis conceitos.
  • GPT-5-mini: Mostrou acoplamento parcial (significativo para apenas dois de seis conceitos), com efeitos sensíveis à resolução de bins de matiz.
• Influência do Tipo de Conceito: A força do sinal varia conforme o tipo de conceito. Para conceitos abstratos, a personalidade explicou significativamente mais variância de matiz ($\eta^2 = 0,038$) do que a identidade do modelo ($\eta^2 = 0,008$). Para conceitos concretos, ambos os efeitos foram pequenos e comparáveis, sugerindo que conceitos concretos são limitados por associações de cores padrão.
• Estabilidade de Agregação: Na escolha de gráficos, a agregação de personas em clusters alinhados a traços estabilizou os rankings de ídolos principais para contextos de hierarquia e série temporal em todos os modelos. No entanto, o contexto de comparação mostrou menor estabilidade, particularmente para o cluster "Emocionalmente Reativo".
• Contexto vs. Persona: Uma linha de base sem persona recuperou o mesmo ídolo de gráfico principal que as execuções condicionadas por persona em 8 de 9 células de modelo-contexto. Isso indica que o contexto da tarefa (ex: "hierarquia" vs. "série temporal") impulsiona a seleção de rank-1 mais fortemente do que o condicionamento de personalidade. O prompt de persona modula primariamente os níveis absolutos de avaliação (ex: o cluster "Emocionalmente Reativo" avaliou ídolos cerca de 1 ponto abaixo em uma escala de 7 pontos) em vez de reordenar a escolha principal.

Significância e Alegações
O artigo posiciona as personas de LLM como sondas exploratórias para o design de visualização, em vez de substitutas para participantes humanos. Os autores argumentam que os resultados condicionados por persona não são uma propriedade única e estável de prompting, mas são contingentes à configuração do modelo, ao tipo de conceito e à granularidade da análise.

O estudo motiva três práticas metodológicas específicas para pesquisas futuras:

1. Testagem multi-modelo: Depender de uma única configuração de modelo pode gerar falsos negativos (como visto com o GPT-4o-mini) ou artefatos.
2. Desagregação por tipo de conceito: Agrupar conceitos abstratos e concretos pode obscurecer padrões distintos de influência da personalidade.
3. Linhas de base sem persona: Pesquisadores devem relatar resultados de linha de base para distinguir entre padrões padrão (defaults) impulsionados pelo contexto e efeitos genuínos de personalidade.

Os autores afirmam explicitamente que estas descobertas não pretendem alegar que as personas de LLM podem substituir estudos humanos; em vez disso, destacam a necessidade de calibraçãoção humana em pequena escala para determinar quais padrões observados refletem preferências reais de usuários e quais são artefatos do modelo.