Resumo Técnico: O Prompt de Ocupação Revela Viés Cultural em Grandes Modelos de Linguagem

Declaração do Problema

Embora pesquisas anteriores tenham estabelecido que os Grandes Modelos de Linguagem (LLMs) exibem vieses culturais — especificamente uma tendência ocidental como padrão ao serem instigados de forma genérica ou com pistas baseadas em nacionalidade — o quanto as identidades ocupacionais influenciam a expressão de valores permanece incerto. Papéis sociais carregam pressupostos sobre formação, status e normas institucionais que moldam o julgamento humano. À medida que os LLMs são cada vez mais implantados em fluxos de trabalho profissionais e de suporte à decisão, é crítico determinar se os modelos atribuem orientações de valor cultural sistemáticas às identidades ocupacionais e se essas associações produzem mudanças previsíveis nos outputs dos modelos. Os frameworks existentes para medir o viés cultural focaram primordialmente no prompting baseado em nacionalidade, deixando uma lacuna na compreensão de como pistas de papéis profissionais, por si só, moldam estruturas de valores latentes.

Metodologia

Os autores estendem o framework de alinhamento cultural baseado em pesquisas introduzido por Tao et al. [17] para investigar o prompting ocupacional. O estudo utiliza o seguinte pipeline:

1. Construção do Espaço de Benchmark: Os autores utilizam as Pesquisas de Valores Integrados (IVS), harmonizando dados do World Values Survey (WVS) e do European Values Study (EVS). Eles aplicam Análise de Componentes Principais (PCA) com rotação varimax a dez itens específicos de pesquisa para gerar um espaço cultural canônico bidimensional definido pelas dimensões de Inglehart–Welzel: Sobrevivência vs. Autoexpressão e Tradicional vs. Secular.
2. Dataset Ocupacional: Um conjunto curado de 234 ocupações foi gerado usando o ChatGPT Pro, anotado com metadados referentes a setor, domínio, nível de escolaridade e campo. Este dataset cobre funções profissionais, técnicas, de serviço, científicas e de ofícios especializados.
3. Avaliação do Modelo: Cinco LLMs de pesos abertos foram avaliados: Llama 3.3 (70B), Llama 4 (16×17B), Gemma 3 (27B), GPT-OSS (20B) e GPT-OSS (120B).
4. Estratégia de Prompting: Em vez de prompts genéricos ou baseados em nacionalidade, os modelos foram condicionados com identidades ocupacionais (ex: "Você é um ser humano comum trabalhando como contador..."). Os modelos responderam aos mesmos dez itens da pesquisa IVS sob essas restrições de papel específicas.
5. Projeção e Análise: As respostas dos modelos foram padronizadas, projetadas no espaço cultural IVS e calculadas a partir da média entre variantes de descritores de respondentes. As coordenadas resultantes foram analisadas em dois níveis:
   • Nível de Domínio: Agrupando ocupações em campos mais amplos (ex: "cibersegurança", "educação").
   • Nível de Ocupação: Analisando funções individuais.
   • Atribuição: Pontos foram atribuídos a categorias culturais de benchmark (ex: Europa Protestante, Confucionista, Africano-Islâmica) via correspondência de distância euclidiana de centro mais próximo.

Principais Contribuições

O artigo apresenta quatro contribuições primárias:

1. Extensão do Framework: Estende a avaliação de viés cultural baseada em pesquisas do prompting baseado em nacionalidade para o prompting ocupacional, utilizando identidades profissionais como sondas para estruturas de valores latentes.
2. Mapeamento Cultural: Projeta as respostas condicionadas por ocupação de múltiplos LLMs de pesos abertos no espaço cultural de Inglehart–Welzel, analisando a distribuição de ocupações específicas e grupos ocupacionais.
3. Análise Estrutural: Investiga tanto ocupações individuais quanto agrupamentos baseados em metadados, revelando padrões estruturais de nível superior através de domínios e atributos relacionados.
4. Comparação de Modelos: Compara múltiplos LLMs de pesos abertos dentro do mesmo pipeline para distinguir entre padrões ocupacionais consistentes e comportamentos específicos de cada modelo.

Resultados

O estudo produz várias descobertas fundamentais sobre como os LLMs associam ocupações a valores culturais:

• Viés Ocidental Persistente: Quando instigados com identidades ocupacionais, os outputs dos LLMs geralmente permanecem dentro de uma região amplamente tendenciosa ao Ocidente no mapa cultural (especificamente no lado da autoexpressão). O prompting ocupacional não elimina o prior ocidental observado no prompting genérico, mas introduz variação dentro desta região.
• Desvios Ocupacionais Distintos: Diferentes ocupações induzem deslocamentos sistemáticos dentro do cluster ocidental:
  • Autoexpressão/Europa Protestante: Domínios criativos, sociais, educacionais e de design (ex: aconselhamento, design visual, pesquisa educacional) agrupam-se próximo à região da Europa Protestante.
  • Secular/Confucionista: Domínios técnicos, financeiros, de risco e de segurança (ex: contabilidade, cibersegurança, análise de inteligência) deslocam-se para cima, em direção ao lado secular, mais próximos da região Confucionista.
  • Tradicional/Anglófono: Domínios religiosos (ex: teologia) movem-se para baixo, em direção ao lado tradicional, frequentemente alinhando-se mais próximo das coordenadas de países de língua inglesa.
  • Papéis de Autoridade/Centrais: Funções orientadas à autoridade e à instituição (ex: polícia, militares, judiciário) ocupam posições centrais, muitas vezes próximas às fronteiras da Europa Católica, Europa Ortodoxa ou Ásia Ocidental e Meridional.
• Cobertura Assimétrica: O mapa cultural não é coberto simetricamente pelos prompts ocupacionais. A Europa Protestante é a região mais acessível, alcançável por uma diversidade de funções. Em contraste, regiões como Africano-Islâmica, América Latina e Ásia Ocidental e Meridional são apenas aproximadas através de um conjunto estreito e repetitivo de pistas, envolvendo principalmente figuras de autoridade (militares, polícia, juízes) ou líderes religiosos.
• Variância de Modelo: Embora a tendência geral de viés ocidental seja consistente, diferentes modelos utilizam diferentes "vias ocupacionais" para aproximar o mesmo centroide cultural. Por exemplo, os modelos variam em se associam valores "Confucionistas" a funções de seguros, cibersegurança ou ofícios militares.

Significância e Alegações

O artigo alega que os prompts ocupacionais não são tratados como rótulos de papel neutros pelos LLMs. Em vez disso, eles evocam padrões estruturados de expressão de valores, indicando que os modelos associam domínios profissionais específicos a perfis de valores culturais distintos ao longo dos eixos de Inglehart–Welzel.

Os autores posicionam este trabalho como uma expansão necessária da avaliação de viés cultural além da nacionalidade. Eles argumentam que, como os descritores ocupacionais são comuns em prompts do mundo real (mesmo sem pistas culturais ou nacionais explícitas), compreender essas associações é vital para configurações onde os LLMs apoiam auditoria, tomada de decisão ou raciocínio profissional. O estudo fornece um framework para medir como os LLMs organizam informações de papéis sociais em estruturas de valores latentes, alertando que essas projeções refletem as associações internas do modelo e não os valores culturais reais das profissões do mundo real.

Os autores explicitam limitações: o dataset de ocupações foi curado por LLM (servindo como um framework analítico em vez de uma verdade fundamental), a avaliação depende de respostas de escolha forçada de formato curto, e as projeções medem a organização do modelo em relação a um mapa de referência, e não as distribuições demográficas do mundo real.