Not-quite-human tastes: the stylized omnivorousness of LLM survey surrogates

Resumen Técnico: Sabores no del todo humanos: la omnivoridad estilizada de los sustitutos de encuestas mediante LLM

Planteamiento del problema
Los modelos de lenguaje extensos (LLM) se utilizan cada vez más como "sustitutos de silicio" para los encuestados humanos en la investigación de encuestas, ofreciendo la promesa de una recolección de datos barata, escalable y libre de fatiga. Si bien trabajos previos han establecido que los LLM pueden aproximar la opinión pública agregada sobre cuestiones políticas y morales, su fidelidad en el dominio del gusto cultural sigue siendo una cuestión empírica abierta. El gusto cultural es distinto de la simple opinión; es fundamentalmente relacional, estructurado por asociaciones complejas entre géneros y profundamente alineado con el espacio social (clase, edad, género, raza). Este artículo investiga si las muestras de silicio pueden reproducir fielmente no solo los estimados ecológicos (tasas de agrado agregadas) del consumo cultural, sino también las estructuras relacionales y las asociaciones multivariantes que definen las ecologías del gusto humano. La urgencia de esta indagación es impulsada por la rápida adopción comercial de "paneles sintéticos" por parte de firmas de investigación de mercado y el riesgo de "contaminación sintética" en los datos estándar de encuestas.

Metodología
El estudio emplea un enfoque de métodos mixtos para evaluar la fidelidad de las muestras de silicio frente a un conjunto de datos humanos canónico: la Encuesta de Participación Pública en las Artes (SPPA).

• Generación de datos: Los autores generaron 277,470 sustitutos de silicio (30 respuestas sintéticas por cada encuestado real) utilizando tres proveedores de LLM distintos: OpenAI (GPT-4.0), Anthropic (Claude 3.7 Sonnet) y DeepSeek (R1). Estos modelos fueron instruidos para adoptar personajes que coincidieran con las características demográficas de 9,249 encuestados reales de la SPPA y responder preguntas binarias de "me gusta/no me gusta" sobre 17 géneros musicales.
• Análisis de fidelidad ecológica: El estudio compara las tasas de "agrado" agregadas entre las muestras de silicio y las humanas. Utiliza la distancia de Jaccard para medir la disimilitud entre el conjunto de géneros que le gustan a un encuestado humano y su contraparte de silicio. Los autores prueban si las discrepancias son explicadas por un "sesgo WEIRD" (favoreciendo a poblaciones ricas, educadas, industrializadas, ricas y democráticas) o por una "penalización de minorías".
• Análisis de relacionalidad: Para evaluar la estructura del gusto, los autores construyen matrices de covariación de Cramer's V de 17×17 tanto para las muestras humanas como para las de silicio. Esto mide la fuerza de asociación entre pares de géneros (por ejemplo, ¿el hecho de que le guste el jazz correlaciona con que le guste la ópera?). El estudio compara estas matrices para determinar si las muestras de silicio preservan la compleja "relacionalidad" del gusto humano o si simplemente reproducen estadísticas agregadas sin coherencia estructural.
• Análisis de asociación multivariante: Utilizando un marco de metarregresión de efectos mixtos, los autores modelan los coeficientes de la relación entre los gustos musicales y cuatro dimensiones sociales: edad, ingresos, género y raza. Calculan el sesgo de coeficiente introducido por las muestras de silicio, comparando las pendientes de regresión derivadas de los datos sintéticos con las de los datos originales de la SPPA.

Resultos clave
El estudio encuentra que, si bien las muestras de silicio pueden producir aproximaciones superficiales del gusto humano, son "facsímiles altamente estilizados" que no logran capturar la lógica subyacente del consumo cultural.

1. Sesgo positivo sistemático (Hiper-omnivoridad): Las muestras de silicio exhiben un sesgo positivo generalizado, "gustando de más" géneros significativamente más que los encuestados humanos. Esto resulta en un perfil de "hiper-omnivoridad", particularmente para géneros no populares. Por ejemplo, los sustitutos de OpenAI inflaron el agrado por la música folk en un +63.61 puntos porcentuales. Este sesgo no se explica por una penalización de minorías; de hecho, las muestras de silicio fueron menos fieles para los encuestados más ricos, más educados y blancos, contradiciendo la hipótesis de que los LLM simplemente están sesgados hacia los grupos subrepresentados.
2. Pérdida de estructura relacional: La compleja relacionalidad del gusto humano se "pierde completamente" en las muestras de silicio. Aunque la fuerza de asociación promedio (media de Cramer's V) pareció similar entre los datos humanos y de silicio, las parejas específicas no estaban correlacionadas (Pearson's r = 0.06). Las muestras de silicio atenuaron las fuertes asociaciones humanas (por ejemplo, el vínculo entre el blues y el classic rock) y fabricaron asociaciones espurias entre géneros no relacionados (por ejemplo, hip-hop y bluegrass). La fidelidad relacional dependía de la popularidad, mostrando los géneros menos populares la mayor divergencia estructural.
3. Distorsiones en los alineamientos sociales: Las muestras de silicio no preservan los conocidos alineamientos culturales entre el gusto y el espacio social:
   • Edad: Las muestras de silicio sobreasocian los gustos con la juventud, amplificando los coeficientes de edad negativos para géneros como el rock alternativo y el pop, mientras atenúan la naturaleza "codificada para adultos mayores" del classic rock.
   • Clase (Ingresos): Las muestras de silicio resucitan jerarquías de clase "anacrónicas" que recuerdan a principios del siglo XX, imponiendo fuertes gradientes de ingresos positivos en géneros de "alta cultura" (clásica, jazz, ópera) donde los datos humanos muestran asociaciones nulas o débiles.
   • Género: Las muestras de silicio "caricaturizan" las asociaciones de género, exagerándolas para géneros como Broadway y el pop, mientras borran o revierten las asociaciones no estereotípicas (por ejemplo, revirtiendo la preferencia femenina por la música country).
   • Raza: Las muestras de silicio "inventan" asociaciones ficticias entre raza y gusto, exagerando las preferencias racializadas para géneros como el reggae y el hip-hop, y fabricando asociaciones raciales donde no existen en los datos humanos (por ejemplo, asignando un sesgo no blanco a la música electrónica).

Significación y afirmaciones
El artículo sostiene que el muestreo de silicio, en su estado actual, no es un sustituto fiel de los encuestados humanos en el estudio del gusto cultural. Los autores argumentan que la "plausibilidad" de las muestras de silicio es engañosa; reproducen estadísticas de resumen (agrado agregado) mientras fallan en capturar la organización del gusto que le otorga significado sociológico.

La significación de estos hallazgos reside en dos áreas:

1. Advertencia metodológica: Los investigadores que utilicen muestras de silicio para la sociología cultural corren el riesgo de extraer inferencias fundamentalmente incorrectas sobre la estructura del gusto y su relación con la estratificación social. Los fallos "relacionales" y "multivariantes" significan que los datos de silicio no pueden utilizarse para estudiar la ecología del gusto, la evolución de las fronteras de los géneros o la ubicación social de las preferencias culturales.
2. Perspectiva teórica: El estudio destaca que los LLM, a pesar de haber sido entrenados en vastos textos humanos, no poseen un "espacio social" latente que refleje la realidad cultural humana. En su lugar, producen resultados "estilizados" que reflejan artefactos algorítmicos (como una tendencia hacia la afirmación positiva y la reconstrucción de jerarquías de clase obsoletas) en lugar de la naturaleza matizada, contingente y a menudo contradictoria del consumo cultural humano.

Los autores concluyen que, si bien el muestreo de silicio puede ofrecer utilidad para tareas específicas y de grano grueso, su aplicación al gusto cultural está actualmente limitada por sesgos sistemáticos que lo vuelven "no del todo humano".