When Do LLMs Generate Realistic Social Networks? A Multi-Dimensional Study of Culture, Language, Scale, and Method

Resumo Técnico: Quando os LLMs Geram Redes Sociais Realistas?

Declaração do Problema
Os Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais utilizados como substitutos para sujeitos humanos em simulações comportamentais, incluindo a geração de redes sociais sintéticas. Embora pesquisas anteriores indiquem que os LLMs produzem grafos estruturalmente realistas, as dependências específicas de seus resultados relacionais em relação ao design do prompt, enquadramento cultural, idioma do prompt e escala do modelo permanecem pouco caracterizadas. Estudos existentes não isolaram suficientemente como essas variáveis interagem para moldar a topologia da rede e a homofilia (a tendência de associar-se a outros semelhantes). Além disso, a validade do uso de LLMs como proxies relacionais é contestada, com preocupações sobre vieses sistemáticos que podem não ser aparentes em resultados de nível individual, mas emergem em estruturas de rede agregadas.

Metodologia
O estudo formaliza a geração de redes baseada em LLMs como uma família de distribuições condicionais distintas sobre conjuntos de arestas, indexadas por quatro arquiteturas de prompt específicas derivadas de teorias sociológicas de formação de laços:

1. Sequencial: O modelo atua como um ego respondendo a uma lista (fatorando pelo nó de origem).
2. Global: O modelo atua como um observador onisciente atribuindo laços à lista completa simultaneamente (não fatorando, amostragem conjunta).
3. Local: O modelo opera dentro de um contexto limitado de um bairro curado (fatorando pelo nó de origem, contexto restrito).
4. Iterativo: O modelo atualiza laços por meio de uma cadeia de Markov sobre conjuntos de arestas (não fatorando, dinâmico).

O desenho experimental envolve uma lista fixa de 50 personas fundamentadas demograficamente (gênero, idade, raça/etnia, religião, afiliação política, interesses) amostradas a partir de marginais do Censo dos EUA. O estudo gera 192 redes direcionadas verificadas em três experimentos independentes:

• Estudo Cultural: Varia o enquadramento cultural (EUA, Índia, Japão, Brasil) com idioma inglês fixo e método sequencial.
• Estudo de Método: Varia as quatro arquiteturas de prompt através dos quatro contextos culturais.
• Estudo de Idioma: Fixa a cultura nos EUA e varia o idioma do prompt (inglês, espanhol, hindi, japonês) através de todos os quatro métodos.

Todos os experimentos utilizam três variantes do modelo GPT-4.1 (nano, mini, full) com uma temperatura de amostragem fixa ($\tau = 0.8$) e duas sementes por condição. O realismo da rede é avaliado contra baselines clássicos (Erdős/Rényi, Barabási/Albert, Watts/Strogatz) usando métricas incluindo densidade, coeficiente de agrupamento, modularidade e a proporção de nós no maior componente conectado (LCC). A homofilia é medida usando a decomposição baseline/endogamia, distinguindo entre laços induzidos pelo tamanho do grupo e preferência residual.

Principais Resultados

• Enquadramento Cultural: O contexto cultural produz deslocamentos mensuráveis e não uniformes na estrutura da rede. A afiliação política é a dimensão mais sensível à cultura sob os métodos sequencial, local e iterativo. O Maior Componente Conectado (LCC) é a métrica topológica mais sensível ao enquadramento cultural, indicando que a cultura afeta mais a coesão global do que as contagens de arestas.
• Drivers Dominantes de Formação de Laços: A afiliação política domina a formação de laços em três dos quatro métodos (sequencial, local, iterativo) através de todas as culturas e idiomas, consistentemente excedendo as baselines aleatórias. No entanto, o método Global atua como uma exceção sistemática, onde a idade torna-se a dimensão dominante de homofilia, provavelmente devido à degradação atencional em contextos longos, onde características superficiais são mais salientes do que sinais políticos sutis.
• Divergência de Escala do Modelo: Os modelos não são intercambiáveis. Existe uma classificação de divergência estável em todos os estudos: $d(\text{full}, \text{mini}) < d(\text{mini}, \text{nano}) < d(\text{full}, \text{nano})$. A variante menor (nano) produz uma estrutura de rede qualitativamente diferente, e não meramente uma versão mais ruidosa de modelos maiores.
• Assimetria de Idioma do Prompt: Variar o idioma do prompt (com cultura fixa) desloca significativamente a homofilia de religião (especialmente sob prompt em hindi, onde a razão atinge um pico de 1,74), enquanto a homofilia política permanece notavelmente invariante em todos os quatro idiomas. Isso sugere que o idioma atua como um seletor suave para eixos demográficos específicos com base em padrões de co-ocorrência nos dados de treinamento.
• Realismo Estrutural vs. Viés: Redes geradas por LLMs correspondem melhor a grafos sociais reais do que as baselines clássicas em agrupamento (0,61 vs. 0,45 para redes reais) e modularidade (0,50 vs. 0,38). No entanto, elas codificam vieses demográficos (especificamente homofilia de endogamia) que excedem os níveis empiricamente observados.

Significado e Alegações
O artigo argumenta que a aparente neutralidade da simulação social baseada em LLMs é ilusória. Escolhas de design de prompt, frequentemente tratadas como detalhes de implementação, codificam suposições sociológicas substantivas.

• Arquitetura de Prompt como Variável Sociológica: A escolha do método de geração (por exemplo, sequencial vs. global) altera fundamentalmente quais dimensões demográficas impulsionam a formação de laços.
• Sensibilidade ao Idioma: O idioma do prompt não é um conduto neutro; ele amplifica seletivamente dimensões específicas de homofilia (como religião sob hindi) enquanto deixa outras (como política) invariantes.
• Implicações da Escala do Modelo: Substituir modelos menores por maiores por razões de custo não produz uma versão "mais ruidosa" da mesma rede, mas uma estruturalmente distinta, desafiando a suposição de que a escala por si só resolve distorções demográficas.
• Recomendação Metodológica: Os autores sustentam que diagnósticos estruturais (agrupamento, modularidade, decomposição de homofilia) e análises de sensibilidade através de arquiteturas de prompt e idiomas devem ser requisitos padrão de relatórios para simulações baseadas em LLMs. Tratar essas variáveis como padrões fixos corre o risco de incorporar priores demográficos não examinados, especialmente à medida que redes geradas por LLMs são cada vez mais usadas como dados de treinamento ou avaliação para modelos a jusante, potencialmente criando ciclos de retroalimentação de viés sintético.