Prompt Programming for Cultural Bias and Alignment of Large Language Models

Este artigo valida e estende um framework de alinhamento cultural para modelos de linguagem de código aberto, demonstrando que a otimização programática de prompts com DSPy supera a engenharia manual ao reduzir vieses culturais e alinhar as respostas do modelo aos valores das populações-alvo.

O essencial

🌍 O Problema: O "Sotaque" do Robô

Imagine que você tem um chef de cozinha robótico (o Modelo de Linguagem ou LLM) que é incrivelmente inteligente. Ele sabe cozinhar qualquer prato do mundo. No entanto, quando você pede para ele cozinhar, ele sempre usa os temperos e o estilo da cozinha americana moderna, mesmo que você peça um prato típico do Brasil, da Índia ou do Egito.

O artigo diz que esses robôs, quando não recebem instruções específicas, tendem a pensar e agir como se fossem de um grupo específico de pessoas (geralmente ocidentais, educadas e ricas). Isso é chamado de viés cultural. Se você usar esse robô para tomar decisões importantes sobre políticas públicas ou para resumir documentos de diferentes países, ele pode distorcer a realidade, ignorando os valores locais.

🔍 A Descoberta: O Mapa do Mundo

Os autores do estudo usaram um "mapa do mundo das ideias" (chamado de Mapa Cultural de Inglehart-Welzel). Eles perguntaram a esses robôs: "O que você acha sobre felicidade, confiança nas pessoas ou autoridade?".

• Sem ajuda: Quando perguntaram de forma genérica ("O que você acha?"), todos os robôs (sejam eles da Llama, Gemma ou GPT) se agruparam em um único ponto do mapa, longe da maioria dos países reais. Eles tinham um "sotaque" padrão muito forte.
• Com ajuda manual: Quando os pesquisadores disseram: "Aja como um cidadão do Brasil", o robô mudou um pouco para o lado brasileiro no mapa. Funcionou, mas era como tentar ajustar um rádio girando o botão manualmente: às vezes funcionava bem, às vezes não.

🚀 A Solução: O "Programador de Prompts" (DSPy)

Aqui entra a grande inovação do artigo. Em vez de tentar adivinhar manualmente qual frase fazer o robô entender ("Aja como um brasileiro"), os autores usaram uma ferramenta chamada DSPy.

Pense no DSPy como um treinador de atletas de elite ou um ajustador de rádio automático:

1. Você diz ao treinador: "Quero que o robô pense exatamente como um cidadão do Egito".
2. O treinador (DSPy) testa milhares de variações de instruções automaticamente.
3. Ele mede o resultado: "Quão perto essa resposta está da resposta real de um humano egípcio?".
4. Ele ajusta a instrução milhões de vezes até encontrar a frase perfeita que faz o robô "pensar" como o egípcio.

🏆 O Resultado: O Ajuste Automático é Melhor

O estudo comparou três situações:

1. Robô solto: Pensa como um "cidadão do mundo" (mas na verdade, pensa como um americano).
2. Robô com instrução manual: Pensa um pouco mais como o país alvo, mas ainda erra bastante.
3. Robô com "Treinador DSPy": Pensa muito mais perto da realidade do país alvo.

A analogia final:

• Prompting Manual é como tentar ensinar alguém a falar um sotaque lendo um livro de gramática. Você tenta, mas o sotaque ainda fica estranho.
• Prompt Programming (DSPy) é como colocar um fone de ouvido com um professor nativo que corrige a pronúncia em tempo real, repetindo o exercício até que o sotaque fique perfeito.

💡 Por que isso importa?

Se usarmos esses robôs para ajudar governos, empresas ou a criar leis, precisamos que eles entendam a cultura local. Se um robô americano tentar resolver um problema na Nigéria ou na China sem estar "alinhado" com a cultura local, ele pode sugerir soluções que não funcionam ou que ofendem as pessoas.

O estudo mostra que, usando essa nova técnica de "programação de prompts" (DSPy), podemos ensinar esses robôs a serem mais flexíveis e a respeitarem os valores de diferentes culturas, tornando-os ferramentas mais justas e úteis para todo o mundo, não apenas para o Ocidente.

Resumo em uma frase: O artigo ensina como usar um "ajustador automático" para fazer os robôs inteligentes deixarem de ter um sotaque americano padrão e passarem a pensar como os cidadãos de qualquer país que precisarmos.

Resumo técnico

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) são cada vez mais utilizados em tarefas de tomada de decisão estratégica, suporte a políticas e engenharia de documentos (como sumarização e auditoria). No entanto, esses modelos frequentemente exibem vieses culturais que não se alinham com as populações-alvo.

• Viés de "Default": Sob prompts genéricos, os LLMs tendem a concentrar-se em perfis de valores ocidentais (WEIRD - Ocidental, Educado, Industrializado, Rico e Democrático), ignorando a diversidade cultural global.
• Limitações do Estado da Arte: Trabalhos anteriores (como Tao et al., 2024) demonstraram que o prompt engineering manual (condicionamento cultural explícito) pode reduzir esse desalinhamento, mas esses estudos focaram apenas em modelos proprietários e dependiam de engenharia manual de prompts, que é estática e difícil de escalar.
• Questões de Pesquisa: O artigo busca responder: (1) Os achados sobre viés cultural e alinhamento via condicionamento de prompt se mantêm para modelos de código aberto (open-weight)? (2) A otimização programática de prompts (usando DSPy) supera a engenharia manual de prompts para alinhar culturalmente as respostas dos LLMs?

2. Metodologia

Os autores seguiram e estenderam o pipeline de avaliação baseado em pesquisas sociais de Tao et al., aplicando-o a modelos de código aberto e introduzindo otimização via DSPy.

A. Espaço de Referência Cultural (Mapa IVS)

• Utilizaram os dados do Integrated Values Surveys (IVS), uma integração do World Values Survey (WVS) e do European Values Study (EVS).
• Aplicaram Análise de Componentes Principais (PCA) em 10 indicadores de pesquisa (ex: felicidade, confiança social, autoridade) para projetar os dados em um mapa cultural bidimensional (Eixos: Survival vs. Self-Expression e Traditional vs. Secular).
• Calcularam coordenadas de referência para cada país/território com base nas respostas humanas.

B. Modelos Avaliados

O estudo foi replicado em cinco modelos de peso aberto (open-weight) de diferentes escalas e regimes de treinamento:

• Llama 3.3 (70B)
• Llama 4 (16x17B)
• Gemma 3 (27B)
• GPT-OSS (20B e 120B)

C. Regimes de Prompting Testados

Para cada modelo e país-alvo, compararam três abordagens:

1. Sem Condicionamento (Genérico): Perguntas diretas das pesquisas IVS sem contexto cultural.
2. Engenharia Manual de Prompt (Cultural): Adição de um prefixo fixo (ex: "Você é um cidadão de [País X]") para condicionar a resposta.
3. Programação de Prompt com DSPy (Otimização): Uso do framework DSPy para tratar o prompt como um programa parametrizável e otimizável.
   • Objetivo: Minimizar a distância euclidiana entre a projeção da resposta do modelo e a referência humana do país no mapa IVS.
   • Teleprompters: Utilizaram COPRO (otimização cooperativa de instruções) e MIPROv2 (otimização de múltiplos prompts e demonstrações).
   • Modelos Propositor: Testaram a influência do modelo que gera os candidatos de prompt, comparando um modelo pequeno (Llama 3.2 1B) contra um grande (GPT-OSS 120B).

3. Principais Contribuições

1. Validação em Modelos Abertos: Confirmou-se que os modelos de código aberto exibem o mesmo viés cultural ocidental sob prompts genéricos que os modelos proprietários, e que o condicionamento manual reduz esse viés.
2. Introdução de DSPy para Alinhamento Cultural: Pela primeira vez, aplicou-se a programação de prompts (DSPy) para otimizar especificamente o alinhamento cultural, transformando o problema em uma tarefa de otimização matemática de distância cultural.
3. Comparação de Otimizadores: Avaliou-se o impacto de diferentes teleprompters (COPRO vs. MIPROv2) e do tamanho do modelo propositor na qualidade do prompt final.
4. Análise de Transferência: Demonstrou-se que a otimização programática oferece um caminho mais estável e transferível para o alinhamento cultural do que a engenharia manual.

4. Resultados Chave

• Viés Genérico: Todos os cinco modelos de código aberto agruparam-se em uma região estreita do mapa cultural IVS, próxima aos valores ocidentais de "Autoexpressão", longe de muitas densidades de países não ocidentais.
• Eficácia do Condicionamento Manual: A adição manual de um prefixo de país reduziu significativamente a distância cultural em comparação com o prompt genérico, mas deixou "caudas" de desalinhamento para muitos países.
• Superioridade da Otimização (DSPy):
  • A Programação de Prompt geralmente superou a engenharia manual.
  • A configuração mais eficaz foi o MIPROv2 utilizando um modelo propositor grande (GPT-OSS 120B).
  • Para o modelo Llama 4, todas as variantes do DSPy superaram o método manual. Para Gemma 3 e GPT-OSS, os ganhos foram mais seletivos, mas ainda presentes com a configuração ideal.
• Impacto por Região: O ajuste via DSPy produziu reduções de distância muito maiores para países onde o desalinhamento inicial era grande (ex: países do Oriente Médio e África, como Jordânia, com redução de $\Delta \approx +4.29$), enquanto para países ocidentais (ex: EUA), a melhoria foi menor ($\Delta \approx +0.14$), indicando que o modelo já estava próximo desses valores.
• Generalização: A otimização mostrou-se capaz de melhorar o alinhamento médio, mas ainda falhou em um subconjunto de países, destacando a necessidade de validação desagregada por país.

5. Significado e Conclusão

O trabalho demonstra que o viés cultural em LLMs não é exclusivo de sistemas proprietários e que a otimização programática de prompts é uma ferramenta superior à engenharia manual para mitigar esse viés.

• Implicações Práticas: Para aplicações em segurança nacional, governança e análise de documentos, o uso de DSPy permite criar "instruções de cultura" compiladas que são mais robustas e adaptáveis do que templates manuais.
• Limitações e Futuro: O estudo focou em itens de pesquisa de escolha forçada em inglês. O futuro trabalho deve explorar a generalização para geração de texto aberto, diálogo multi-turno e contextos multilíngues, além de investigar o alinhamento com "culturas estratégicas" específicas (conceito de Snyder) em cenários de segurança.

Em suma, o artigo estabelece que tratar o alinhamento cultural como um problema de otimização de programa (via DSPy) oferece um caminho mais escalável e eficaz para garantir que as recomendações e análises dos LLMs reflitam os perfis de valor das populações-alvo, e não apenas os priors ocidentais do modelo.