Not-quite-human tastes: the stylized omnivorousness of LLM survey surrogates

Resumo Técnico: Gostos quase humanos: a onivoridade estilizada de substitutos de pesquisa por LLM

Problema
Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais utilizados como "substitutos de silício" para respondentes humanos em pesquisas, oferecendo a promessa de uma coleta de dados barata, escalável e livre de fadiga. Embora trabalhos anteriores tenham estabelecido que os LLMs podem aproximar a opinião pública agregada sobre questões políticas e morais, sua fidelidade no domínio do gosto cultural permanece uma questão empírica em aberto. O gosto cultural é distinto da simples opinião; ele é fundamentalmente relacional, estruturado por associações complexas entre gêneros e profundamente alinhado ao espaço social (classe, idade, gênero, raça). O presente artigo investiga se amostras de silício podem reproduzir fielmente não apenas os estimativas ecológicas (taxas de apreciação agregadas) do consumo cultural, mas também as estruturas relacionais e as associações multivariadas que definem as ecologias do gosto humano. A urgência desta investigação é impulsionada pela rápida adoção comercial de "painéis sintéticos" por empresas de pesquisa de mercado e pelo risco de "contaminação sintética" em dados de pesquisa padrão.

Metodologia
O estudo emprega uma abordagem de métodos mistos para avaliar a fidelidade das amostras de silício contra um conjunto de dados humano canônico: o Survey of Public Participation in the Arts (SPPA).

• Geração de Dados: Os autores geraram 277.470 substitutos de silício (30 respostas sintéticas por respondente real) utilizando três provedores distintos de LLM: OpenAI (GPT-4.0), Anthropic (Claude 3.7 Sonot) e DeepSeek (R1). Esses modelos foram instigados a adotar personas correspondentes às características demográficas de 9.249 respondentes reais do SPPA e responder a perguntas binárias de "gostar/não gostar" sobre 17 gêneros musicais.
• Análise de Fidelidade Ecológica: O estudo compara as taxas agregadas de "apreciação" entre amostras de silício e humanas. Utiliza a distância de Jaccard para medir a dissimilaridade entre o conjunto de gêneros apreciados por um respondente humano e seu correspondente de silício. Os autores testam se as discrepâncias são explicadas por um "viés WEIRD" (favorecendo populações Ricas, Educadas, Industrializadas, Desenvolvidas e Ocidentais) ou por uma "penalidade de minoria".
• Análise de Relacionalidade: Para avaliar a estrutura do gosto, os autores constroem matrizes de covariância de Cramer's V de 17×17 tanto para as amostras humanas quanto para as de silício. Isso mede a força da associação entre pares de gêneros (ex: gostar de jazz correlaciona-se com gostar de ópera?). O estudo compara essas matrizes para determinar se as amostras de silício preservam a complexa "relacionalidade" do gosto humano ou se apenas reproduzem estatísticas agregadas sem coerência estrutural.
• Análise de Associação Multivariada: Utilizando um arcabouço de meta-regressão de efeitos mistos, os autores modelam os coeficientes da relação entre gostos musicais e quatro dimensões sociais: idade, renda, gênero e raça. Eles calculam o viés de coeficiente introduzido pelas amostras de silício, comparando as inclinações de regressão derivadas dos dados sintéticos com as dos dados originais do SPPA.

Principais Resultados
O estudo conclui que, embora as amostras de silício possam produzir aproximações superficiais do gosto humano, elas são "fáçies altamente estilizadas" que falham em capturar a lógica subjacente do consumo cultural.

1. Viés Positivo Sistemático (Hiper-onivoridade): As amostras de silício exibem um viés positivo generalizado, "gostando excessivamente" de gêneros significativamente mais do que os respondentes humanos. Isso resulta em um perfil "hiper-onívoro", particularmente para gêneros não populares. Por exemplo, os substitutos da OpenAI inflaram a apreciação por música folk em +63,61 pontos percentuais. Esse viés não é explicado por uma penalidade de minoria; de fato, as amostras de silício foram menos fiéis para respondentes ricos, mais instruídos e brancos, contradizendo a hipótesia de que os LLMs são simplesmente enviesados para grupos sub-representados.
2. Perda de Estrutura Relacional: A complexa relacionalidade do gosto humano é "completamente perdida" nas amostras de silício. Embora a força média de associação (média do Cramer's V) parecesse semelhante entre os dados humanos e de silício, os pares específicos eram não correlacionados (Pearson's r = 0,06). As amostras de silício atenuam associações humanas fortes (ex: o vínculo entre blues e classic rock) e fabricam associações espúrias entre gêneros não relacionados (ex: hip-hop e bluegrass). A fidelidade relacional era condicional à popularidade, com os gêneros não populares apresentando a maior divergência estrutural.
3. Alinhamentos Sociais Distorcidos: As amostras de silício falham em preservar os conhecidos alinhamentos culturais entre o gosto e o espaço social:
   • Idade: As amostras de silício sobre-associam gostos à juventude, amplificando coeficientes de idade negativos para gêneros como rock alternativo e pop, enquanto atenuam a natureza "codificada para idosos" do classic rock.
   • Classe (Renda): As amostras de silício resgatam hierarquias de classe "anacrônicas" reminiscentes do início do século XX, imponendo fortes gradientes de renda positivos em gêneros de "alta cultura" (clássica, jazz, ópera) onde os dados humanos mostram associações nulas ou fracas.
   • Gênero: As amostras de silício "caricaturizam" as associações de gênero, exagerando-as para gêneros como Broadway e pop, enquanto apagam ou revertem associações não estereotípicas (ex: revertendo a preferência feminina por música country).
   • Raça: As amostras de silício "inventam" associações fictícias entre raça e gosto, exagerando preferências racializadas para gêneros como reggae e hip-hop, e fabricando associações raciais onde não existem no dado humano (ex: atribuindo um viés não-branco para música eletrônica).

Significância e Alegações
O artigo afirma que a amostragem de silício, em seu estado atual, não é um substituto fiel para respondentes humanos no estudo do gosto cultural. Os autores argumentam que a "plausibilidade" das amostras de silício é enganosa; elas reproduzem estatísticas de resumo (apreciação agregada), mas falham em capturar a organização do gosto que lhe confere significado sociológico.

A significância destes achados reside em duas áreas:

1. Aviso Metodológico: Pesquisadores que utilizam amostras de silício para a sociologia cultural correm o risco de tirar inferências fundamentalmente incorretas sobre a estrutura do gosto e sua relação com a estratificação social. As falhas "relacionais" e "multivariadas" significam que os dados de silício não podem ser usados para estudar a ecologia do gosto, a evolução das fronteiras de gêneros ou a localização social das preferências culturais.
2. Insight Teórico: O estudo destaca que os LLMs, apesar de treinados em vastos textos humanos, não possuem um "espaço social" latente que espelhe a realidade cultural humana. Em vez disso, produzem outputs "estilizados" que refletem artefatos algorítmicos (como uma tendência à afirmação positiva e uma reconstrução de hierarquias de classe obsoletas) em vez da natureza matizada, contingente e frequentemente contraditória do consumo cultural humano.

Os autores concluem que, embora a amostragem de silício possa oferecer utilidade para tarefas específicas e de grão grosso, sua aplicação ao gosto cultural é atualmente limitada por vieses sistemáticos que a tornam "não-totalmente humana".