Fairness in LLM-Generated Surveys

Resumo Técnico: Equidade em Pesquisas Geradas por LLMs

Problema
Os Grandes Modelos de Linguagem (LLMs) emergiram como alternativas viáveis às pesquisas tradicionais para simular padrões socio-políticos e econômicos, sendo capazes de gerar conjuntos de dados sintéticos que espelham respostas humanas. No entanto, a aplicabilidade global desses modelos é questionável devido aos vieses inexplorados provenientes de seus dados de treinamento, que são predominantemente centrados nos EUA. Embora os LLMs demonstrem alto desempenho em contextos bem representados, como os Estados Unidos, sua capacidade de modelar comportamentos socio-políticos de forma precisa e justa em regiões sub-representadas, como o Chile, permanece pouco explorada. Este estudo aborda a lacuna crítica na compreensão de como os LLMs performam em diversos contextos socio-demográficos e geográficos, examinando especificamente se esses modelos perpetuam preconceitos sociais existentes ou representam inadequadamente populações específicas.

Metodologia
O estudo emprega um framework comparativo utilizando dados de pesquisas públicas do Chile (Centro de Estudios Públicos - CEP) e dos Estados Unidos (American National Election Studies - ANES). O design da pesquisa inclui três experimentos de predição:

1. Votação Presidencial: Predição de escolhas de voto nas eleições de 2020 nos EUA e na eleição presidencial chilena de 2021.
2. Opinião sobre Aborto: Predição de posicionamentos individuais sobre o aborto com base em características socio-demográficas.
3. Plebiscito Constitucional: Predição de resultados para o referendo constitucional chileno de 2022.

Modelos e Prompts: O estudo avalia múltiplos modelos, incluindo GPT-3.5-turbo, GPT-4-turbo, Llama-13b e Mistral (v0.2). Uma configuração de "prompt padrão" é utilizada, incorporando raciocínio de Cadeia de Pensamento (Chain-of-Thought - CoT), exemplos de poucos disparos (few-shot) (5 instâncias aleatórias) e o inglês como idioma principal, embora o espanhol também seja testado. Para garantir uma comparação transnacional justa, um Random Forest in-sample é treinado para estabelecer um limite superior na precisão da predição, servindo como um baseline para normalizar o desempenho do modelo em relação à previsibilidade inerente dos dados.

Métricas:

• Acurácia (Accuracy): Mede a correção da predição ao nível individual.
• Similaridade de Jensen-Shannon (JSS): Mede o alinhamento global entre as distribuições de probabilidade previstas e as reais (padrões de nível de grupo).
• Igualdade de Acurácia Geral: Um critério de equidade que avalia se a acurácia da predição é igual entre grupos protegidos e não protegidos.
• Regressão Logística: Utilizada para analisar como variáveis socio-demográficas específicas (gênero, idade, educação, identidade política, etc.) e suas interseções influenciam a probabilidade de uma predição correta.

Principais Contribuições

1. Framework Inovador: Introdução de um framework para medir vieses socio-demográficos em LLMs através de diferentes contextos geográficos.
2. Avaliação Comparativa: Uma comparação direta das capacidades preditivas de LLMs usando questões políticas e morais comparáveis do Chile e dos EUA.
3. Análise de Mitigação de Viés: Um exame de técnicas de prompting e estratégias de ajuste fino (fine-tuning) para abordar disparidades de desempenho.

Resultos

• Disparidades Geográficas: Os modelos superam consistentemente os conjuntos de dados dos EUA em comparação aos conjuntos de dados chilenos em todas as métricas (Acurácia e JSS). Essa lacuna persiste mesmo após a normalização pela previsibilidade do conjunto de dados, indicando um forte viés em direção aos dados de treinamento centrados nos EUA.
• Desempenho do Modelo: O Llama-13b emergiu como o modelo de melhor desempenho, frequentemente superando o benchmark de Random Forest in-sample ao capturar tendências de nível populacional (alto JSS), embora ainda tenha tido dificuldades com a acurácia ao nível individual no Chile. O ajuste fino (fine-tuning) nos dados chilenos rendeu apenas melhorias marginais e, em alguns casos, introduziu vieses de distribuição.
• Vieses Socio-Demográficos:
  • Chile: Observaram-se vieses significativos contra mulheres, adultos mais velhos, indivíduos com níveis de escolaridade mais baixos e indivíduos religiosos. A identidade política também desempenhou um papel importante, com visões centristas sendo menos precisamente preditas do que ideologias fortes de esquerda ou direita. A análise interseccional revelou que mulheres idosas, religiosas e com baixa escolaridade enfrentaram a menor acurácia de predição.
  • Estados Unidos: O desempenho foi mais estável entre gênero e idade, mas apresentou disparidades baseadas na identidade política (visões de inclinação à esquerda foram preditas com mais acurácia) e renda (indivíduos de baixa renda foram preditos com menos acurácia). A análise interseccional destacou um viés específico contra mulheres não brancas.
• Predição Individual vs. de Grupo: Embora os LLMs tenham demonstrado forte capacidade em replicar distribuições de macro-nível (alto JSS), eles tiveram dificuldade em capturar as nuances das identidades socio-políticas individuais, resultando em menor acurácia individual em comparação com as tendências de nível de grupo.

Significância e Alegações
O artigo afirma que, embora os LLMs sejam ferramentas poderosas para simular amplas tendências socio-políticas, seu uso atual em regiões sub-representadas corre o risco de perpetuar inequidades devido aos vieses nos dados de treinamento. O estudo assegura que a natureza "centrada nos EUA" dos corpora de pré-treinamento limita a generalização desses modelos, tornando-os menos eficazes em contextos como o Chile, onde as nuances culturais e linguísticas diferem.

Os autores enfatizam que garantir a equidade requer ir além do implantação genérica de modelos. Eles defendem a necessidade de estratégias específicas ao contexto, incluindo a coleta de dados de treinamento mais diversos e representativos, a incorporação de características socio-demográficas durante o ajuste fino e a aplicação de restrições de equidade. O estudo conclui que abordar essas disparidades é essencial para a aplicação ética da IA na pesquisa em ciências sociais, garantindo que os modelos não desfavoreçam sistematicamente grupos socio-demográficos específicos ou falhem em representar populações sub-representadas.