When Do LLMs Generate Realistic Social Networks? A Multi-Dimensional Study of Culture, Language, Scale, and Method

Resumen Técnico: ¿Cuándo Generan los LLM Redes Sociales Realistas?

Enunciado del Problema
Los Modelos de Lenguaje Grandes (LLM) se utilizan cada vez más como sustitutos de sujetos humanos en simulaciones conductuales, incluida la generación de redes sociales sintéticas. Aunque investigaciones anteriores indican que los LLM producen grafos estructuralmente realistas, las dependencias específicas de sus resultados relacionales sobre el diseño del prompt, el encuadre cultural, el idioma del prompt y la escala del modelo permanecen poco caracterizadas. Los estudios existentes no han aislado suficientemente cómo interactúan estas variables para dar forma a la topología de la red y la homofilia (la tendencia a asociarse con otros similares). Además, la validez de utilizar LLM como proxies relacionales es cuestionada, con preocupaciones sobre sesgos sistemáticos que pueden no ser aparentes en los resultados a nivel individual pero que emergen en las estructuras agregadas de la red.

Metodología
El estudio formaliza la generación de redes basada en LLM como una familia de distribuciones condicionales distintas sobre conjuntos de aristas, indexadas por cuatro arquitecturas de prompting específicas derivadas de teorías sociológicas de formación de vínculos:

1. Secuencial: El modelo actúa como un ego respondiendo a una lista (factorizando por nodo fuente).
2. Global: El modelo actúa como un observador omnisciente asignando vínculos a la lista completa simultáneamente (no factorizado, muestreo conjunto).
3. Local: El modelo opera dentro de un contexto acotado de un vecindario curado (factorizando por fuente, contexto restringido).
4. Iterativo: El modelo actualiza vínculos mediante una cadena de Markov sobre conjuntos de aristas (no factorizado, dinámico).

El diseño experimental implica una lista fija de 50 personas fundamentadas demográficamente (género, edad, raza/etnia, religión, afiliación política, intereses) muestreadas a partir de márginales del Censo de EE. UU. El estudio genera 192 redes dirigidas verificadas a través de tres experimentos independientes:

• Estudio Cultural: Varía el encuadre cultural (EE. UU., India, Japón, Brasil) con idioma inglés fijo y método secuencial.
• Estudio de Método: Varía las cuatro arquitecturas de prompting a través de los cuatro contextos culturales.
• Estudio de Idioma: Fija la cultura a EE. UU. y varía el idioma del prompt (inglés, español, hindi, japonés) a través de los cuatro métodos.

Todos los experimentos utilizan tres variantes del modelo GPT-4.1 (nano, mini, full) con una temperatura de muestreo fija ($\tau = 0.8$) y dos semillas por condición. El realismo de la red se evalúa frente a líneas base clásicas (Erdős/Rényi, Barabási/Albert, Watts/Strogatz) utilizando métricas que incluyen densidad, coeficiente de agrupamiento, modularidad y la proporción de nodos en el componente conectado más grande (LCC). La homofilia se mide utilizando la descomposición línea base/endogamia, distinguiendo entre vínculos inducidos por el tamaño del grupo y la preferencia residual.

Resultados Clave

• Encuadre Cultural: El contexto cultural produce desplazamientos medibles y no uniformes en la estructura de la red. La afiliación política es la dimensión más sensible a la cultura bajo los métodos secuencial, local e iterativo. El Componente Conectado Más Grande (LCC) es la métrica topológica más sensible al encuadre cultural, lo que indica que la cultura afecta la cohesividad global más que la cantidad de aristas.
• Impulsores Dominantes de Formación de Vínculos: La afiliación política domina la formación de vínculos en tres de los cuatro métodos (secuencial, local, iterativo) a través de todas las culturas e idiomas, superando consistentemente las líneas base aleatorias. Sin embargo, el método Global actúa como una excepción sistemática, donde la edad se convierte en la dimensión de homofilia dominante, probablemente debido a la degradación atencional en contextos largos donde las características superficiales son más salientes que las señales políticas sutiles.
• Divergencia de Escala del Modelo: Los modelos no son intercambiables. Existe una jerarquía de divergencia estable a través de todos los estudios: $d(\text{full}, \text{mini}) < d(\text{mini}, \text{nano}) < d(\text{full}, \text{nano})$. La variante más pequeña (nano) produce una estructura de red cualitativamente diferente en lugar de simplemente una versión más ruidosa de los modelos más grandes.
• Asimetría del Idioma del Prompt: Variar el idioma del prompt (con la cultura fija) desplaza significativamente la homofilia de la religión (especialmente bajo prompting en hindi, donde la relación alcanza un pico de 1.74), mientras que la homofilia política permanece notablemente invariante a través de los cuatro idiomas. Esto sugiere que el idioma actúa como un selector suave para ejes demográficos específicos basados en patrones de co-ocurrencia en los datos de entrenamiento.
• Realismo Estructural vs. Sesgo: Las redes generadas por LLM coinciden con grafos sociales reales mejor que las líneas base clásicas en agrupamiento (0.61 vs. 0.45 para redes reales) y modularidad (0.50 vs. 0.38). Sin embargo, codifican sesgos demográficos (específicamente homofilia de endogamia) que exceden los niveles observados empíricamente.

Significado y Afirmaciones
El artículo argumenta que la aparente neutralidad de la simulación social basada en LLM es ilusoria. Las decisiones de diseño del prompt, a menudo tratadas como detalles de implementación, codifican suposiciones sociológicas sustantivas.

• Arquitectura del Prompt como Variable Sociológica: La elección del método de generación (por ejemplo, secuencial frente a global) altera fundamentalmente qué dimensiones demográficas impulsan la formación de vínculos.
• Sensibilidad al Idioma: El idioma del prompt no es un conducto neutral; amplifica selectivamente dimensiones específicas de homofilia (como la religión bajo hindi) mientras deja otras (como la política) invariantes.
• Implicaciones de la Escala del Modelo: Sustituir modelos más pequeños por modelos más grandes por razones de costo no produce una versión "más ruidosa" de la misma red, sino una estructuralmente distinta, lo que desafía la suposición de que la escalada por sí sola resuelve las distorsiones demográficas.
• Recomendación Metodológica: Los autores sostienen que los diagnósticos estructurales (agrupamiento, modularidad, descomposición de homofilia) y los análisis de sensibilidad a través de arquitecturas de prompts e idiomas deben ser requisitos estándar de informe para simulaciones basadas en LLM. Tratar estas variables como valores predeterminados fijos corre el riesgo de incrustar priores demográficos no examinados, particularmente a medida que las redes generadas por LLM se utilizan cada vez más como datos de entrenamiento o evaluación para modelos posteriores, creando potencialmente bucles de retroalimentación de sesgo sintético.