Beyond Marginal Distributions: A Framework to Evaluate the Representativeness of Demographic-Aligned LLMs

Título: Além das Distribuições Marginais: Um Framework para Avaliar a Representatividade de LLMs Alinhados Demograficamente

1. O Problema

À medida que os Grandes Modelos de Linguagem (LLMs) são integrados em domínios socialmente sensíveis, surge o desafio do alinhamento pluralista: garantir que a IA reflita as intenções, normas éticas e crenças diversas de uma população global heterogênea.

• Limitação Atual: A literatura existente foca predominantemente no alinhamento de distribuições marginais (comparando a distribuição de respostas para cada pergunta isoladamente).
• A Lacuna: Essa abordagem trata cada exemplo de avaliação independentemente, ignorando estruturas latentes mais profundas que caracterizam populações reais e fundamentam teorias de valores culturais. Um modelo pode acertar a média de respostas para duas políticas diferentes, mas falhar em capturar a correlação entre elas (ex: apoio a uma política estar correlacionado com oposição à outra), o que mascara falhas estruturais na representatividade.

2. Metodologia e Framework de Avaliação

Os autores propõem um novo framework que avalia a representatividade não apenas pelas distribuições marginais, mas também pelos padrões de correlação multivariada entre as questões.

• Dados de Referência (Ground Truth): Utilizam a World Values Survey (WVS), onda 7, com 193 questões sobre valores sociais, políticos e culturais.
• Configuração Experimental:
  • Subgrupos Demográficos: 10 subgrupos (gênero, idade, geografia, ideologia política).
  • Modelos Comparados:
    1. Baseline Não Orientado: Phi-3 (sem instruções demográficas).
    2. Persona Prompting: Phi-3 + prompts de engenharia de prompt definindo uma identidade demográfica.
    3. Ajuste Fino Demográfico (Fine-tuning): OpinionGPT (LoRA adapters treinados em dados do Reddit de subgrupos específicos).
• Métricas de Avaliação:
  1. Distribuições Marginais: Medem a similaridade entre as respostas simuladas e reais usando distâncias (Wasserstein-1 para escalas ordenadas, Variação Total para nominais) e analisam a diversidade de respostas (variância).
  2. Estruturas de Correlação: Avaliam se o modelo preserva as interdependências entre questões.
     • Calculam matrizes de correlação (questão-questão e tópico-tópico) baseadas nas médias das respostas dos subgrupos.
     • Comparam as matrizes simuladas com as reais usando Correlação de Pearson (estrutura relativa) e RMSE (magnitude).
     • Estabelecem limites inferiores (baseline de permutação) e superiores (resampling split-half da WVS) para contextualizar o desempenho.

3. Principais Contribuições

1. Novo Framework de Avaliação: Introduz a análise de estruturas de correlação como um critério necessário para a representatividade populacional, indo além das médias isoladas.
2. Estudo de Caso Comparativo: Demonstra o valor diagnóstico do framework ao comparar duas técnicas de "steering" (orientação) de modelos: Persona Prompting vs. Fine-tuning Demográfico.
3. Descoberta de Falhas Estruturais: Evidencia que o alinhamento marginal não implica alinhamento estrutural, revelando que modelos podem parecer representativos em métricas tradicionais, mas falhar em capturar a coerência ideológica global.

4. Resultados Chave

• Análise de Distribuições Marginais (RQ1):

  • O OpinionGPT (Fine-tuning) superou consistentemente o Persona Prompting e o baseline não orientado na similaridade das distribuições marginais e na diversidade de respostas (variância).
  • O Persona Prompting tendeu a suprimir a diversidade, colapsando frequentemente em respostas estereotipadas (modal collapse), enquanto o OpinionGPT às vezes superestimava a discordância (variância excessiva).

• Análise de Estruturas de Correlação (RQ2):

  • Reversão de Desempenho: Embora o OpinionGPT fosse melhor nas marginais, o Persona Prompting performou ligeiramente melhor na reprodução da estrutura de correlação empírica entre as questões (Pearson $\rho$ de 0,158 vs 0,09 para o OpinionGPT).
  • Falha Geral: Apesar da reversão, nenhuma das técnicas conseguiu reproduzir fielmente os padrões de correlação humanos. Ambos os modelos ficaram muito abaixo do "teto empírico" (split-half resampling), indicando que não capturam as dependências latentes que formam visões de mundo coerentes.
  • Efeito de Agregação: Ao agregar questões por tópicos, a estrutura de correlação do OpinionGPT degradou-se quase totalmente, enquanto a do Persona Prompting melhorou ligeiramente, mas permaneceu pobre.

• Variação Demográfica (RQ3):

  • A representatividade varia significativamente dependendo do subgrupo e do domínio de valores. Grupos como "Pessoas do Oriente Médio" e "Idosos" foram menos bem representados, possivelmente devido à escassez de dados de treinamento no Reddit para esses grupos.

5. Significado e Conclusões

• Representatividade como Dimensão Distinta: A representatividade não é apenas uma questão de segurança ou factualidade, mas uma dimensão de alinhamento que exige a preservação de interdependências estruturais e diversidade demográfica.
• Perigo de Conclusões Otimistas: Avaliações focadas apenas em distribuições marginais podem levar a conclusões excessivamente otimistas sobre a representatividade de um modelo, mascarando falhas estruturais graves.
• Implicações para Teorias Culturais: Teorias de valores culturais (como Hofstede ou Schwartz), que dependem de correlações multivariadas para definir dimensões culturais, não se sustentam quando aplicadas às respostas dos LLMs testados.
• Direção Futura: É necessário incorporar estruturas de dependência em nível populacional nos mecanismos de alinhamento para garantir que os modelos não apenas simulem subgrupos isolados, mas também a rede complexa de opiniões interconectadas da sociedade.

Em suma, o artigo argumenta que para que um LLM seja verdadeiramente representativo, ele deve ser capaz de simular não apenas o que as pessoas pensam em questões isoladas, mas como essas opiniões se relacionam e se estruturam coletivamente.