Resumo Técnico: Viés Geopolítico em LLMs Origina-se no Pós-Treinamento

Declaração do Problema

A suposição predominante no campo do viés em Modelos de Linguagem de Grande Escala (LLMs) é que preferências geopolíticas são herdadas diretamente das regularidades estatísticas dos corpora de pré-treinamento. A literatura anterior postula que os modelos atuam como herdeiros passivos dos vieses demográficos, culturais e ideológicos presentes em seus dados de treinamento, implicando que a mitigação de vieses deve operar no nível dos dados. Este estudo desafia esse modelo causal, questionando se o viés geopolítico é primariamente uma função dos dados de pré-treinamento ou se é ativamente introduzido ou amplificado durante a fase de pós-treinamento (ajuste de instruções e alinhamento).

Metodologia

Os autores conduziram um experimento controlado de cenários pareados em sete famílias de LLMs de peso aberto de sete laboratórios diferentes (três ocidentais: Mistral AI, Meta, Google; quatro chineses: Alibaba, Baichuan, 01.AI, Zhipu).

Desenho Experimental

• Pares de Modelos: O estudo comparou o modelo "base" (apenas pré-treinamento) contra o modelo "chat" (pré-treinamento + pós-treinamento) para cada família. Todos os modelos foram selecionados para caber em uma única RTX 3090 (7–9B parâmetros) para garantir reprodutibilidade.
• Banco de Cenários: Um banco de 79 cenários geopolíticos envolvendo 28 pares de países foi construído. Os cenários cobriram 13 tipos (por exemplo, incursão no espaço aéreo, coerção comercial, disputas de soberania), equilibrando tópicos políticos "quentes" com tópicos procedimentais "frios".
• Sonda de Escolha Forçada: Os modelos foram apresentados a uma narrativa onde o País A e o País B estavam envolvidos em um conflito. Eles foram forçados a escolher qual país agiu de forma mais ou menos justificável.
  • Recursos de Robustez: O desenho incluiu equilíbrio de papéis (variando qual país é o agressor) e enquadramento de dupla pergunta (pedindo tanto "mais" quanto "menos" justificado) para filtrar artefatos lexicais ou posicionais.
  • Medição: O viés foi quantificado usando log-odds ($\log P(A) - \log P(B)$) após softmax sobre o vocabulário.
• Variáveis Linguísticas: A sonda foi executada em três idiomas: inglês, francês e chinês. As traduções foram geradas por um LLM (Claude) para manter a consistência, embora os autores observem que isso introduz um potencial fator de confusão.
• Correções Técnicas:
  • Soma de Variantes de Token: Para modelos que usam tokenizadores SentencePiece (Yi, Baichuan), os autores somaram probabilidades sobre variantes de token (por exemplo, "A", " A", "(A") para evitar a subcontagem de conformidade.
  • Correções de Pré-carregamento (Prefill): Ajustes específicos foram feitos para os modelos de chat GLM e Yi para contabilizar modelos de resposta (por exemplo, adicionar novas linhas ou parênteses no início) que suprimiam artificialmente as pontuações de conformidade na pontuação ingênua de token único.
  • Filtro de Coerência: A análise foi restrita a 31 cenários onde a preferência do modelo mudou de sinal entre o enquadramento "justificado" e "injustificado" em pelo menos 70% das combinações de modelo-idioma.

Principais Resultados

1. Pós-Treinamento como Fonte de Viés

A descoberta mais significativa é que o viés geopolítico origina-se no pós-treinamento, não no pré-treinamento.

• Modelos Base: Seis dos sete modelos base estavam estatisticamente próximos da neutralidade em relação à favorabilidade à China. Por exemplo, o modelo base Qwen 2.5 da Alibaba mostrou uma pontuação de favorabilidade à China de $-0.15$ log-odds ($p=0.15$), indistinguível da neutralidade.
• Modelos Chat: O pós-treinamento introduziu mudanças significativas. O modelo de chat Qwen 2.5 mudou para $+2.91$ log-odds ($p < 10^{-4}$), representando um aumento de 18 vezes nas odds favoráveis à China.
• Direcionalidade: Em seis das sete famílias, a mudança de pós-treinamento alinhou-se com a nacionalidade do desenvolvedor do modelo (laboratórios ocidentais mudaram para anti-China; três dos quatro laboratórios chineses mudaram para pró-China). A exceção foi o Yi da 01.AI, que mudou para anti-China após o pós-treinamento.

2. Modulação Linguística do Viés

O idioma usado para solicitar ao modelo amplifica ou atenua o viés impresso.

• Solicitação em Francês: O modelo Mistral, de fabricação francesa, tornou-se decididamente pró-França apenas quando solicitado em francês. A mudança de solicitações em inglês para francês resultou em uma mudança de $+1.91$ log-odds na favorabilidade à França ($p < 10^{-4}$).
• Solicitação em Chinês: Embora cinco dos sete modelos pós-treinados mostrassem uma mudança descritiva em direção ao pró-China quando solicitados em chinês, esse efeito em nível populacional não foi estatisticamente distinguível da tendência do modelo base ($p=0.66$). No entanto, modelos específicos como Mistral e Yi mostraram grande amplificação.
• Mecanismo: O estudo sugere que o idioma modula preferências expressas com base na preferência de linha de base do modelo e no "emaranhamento de conteúdo" do idioma com países específicos, em vez de simplesmente ativar um viés estático "alinhado ao fabricante".

3. Heterogeneidade entre Laboratórios e Oponentes

• Variância entre Laboratórios: "LLM desenvolvido na China" não é uma categoria homogênea. O Qwen 2.5 mostrou forte viés pró-China contra nações ocidentais, mas viés mais fraco contra nações do Sul Global. Em contraste, o Yi 1.5 mostrou viés pró-China apenas contra os EUA e viés anti-China contra quase todos os outros oponentes.
• Independência de Tópicos: O viés foi amplo, não específico a tópicos. A magnitude do viés não diferiu significativamente entre cenários "quentes" (soberania, nuclear) e "frios" (espaço aéreo, comércio).

4. Verificações de Robustez e Validade

• Conformidade: O estudo abordou a questão de "recusa" ou não conformidade. A pontuação ingênua frequentemente interpretou mal modelos de resposta (por exemplo, saída com nova linha primeiro do GLM) como recusas. Após corrigir esses modelos, a conformidade foi alta e os vieses foram revelados.
• Entidades Fictícias: Quando testados com nomes de países fictícios com pistas fonéticas (por exemplo, "Zhaodong" soando chinês), os modelos exibiram os mesmos vieses alinhados ao fabricante, sugerindo que o viés é acionado por pistas de identidade, e não por fatos memorizados sobre países do mundo real.
• Geração Livre: Tarefas de raciocínio de código aberto confirmaram que os vieses observados em sondas de escolha forçada persistem mesmo quando os modelos podem gerar raciocínio, indicando que a preferência não é meramente um artefato do formato de escolha forçada.

Significância e Alegações

O artigo afirma reestruturar o viés geopolítico não apenas como um problema de dados (herdado da internet), mas como um problema de alinhamento e implantação.

• Moldagem Ativa: O estudo demonstra que as preferências geopolíticas são ativamente moldadas durante o pipeline de pós-treinamento (SFT, RLHF ou ajuste de segurança). Os modelos base são amplamente neutros, enquanto os modelos de chat refletem os objetivos de alinhamento específicos do laboratório desenvolvedor.
• Necessidades de Transparência: Como o pós-treinamento determina como os modelos representam nações e perspectivas políticas, os autores argumentam por maior transparência, auditoria e supervisão dos processos de alinhamento.
• Limitações: Os autores permanecem modestos em suas alegações. Eles observam que o tamanho da amostra ($n=7$ famílias) limita o poder estatístico de generalizações entre laboratórios (a tendência de 6/7 de alinhamento falhou em um teste binomial em $\alpha=0.05$, mas passou em um teste t de magnitude assinada). Eles também reconhecem que não podem distinguir entre objetivos de alinhamento deliberados e efeitos colaterais incidentais de outras metas de ajuste (por exemplo, utilidade ou inocuidade). Além disso, o estudo é limitado a modelos de 7–9B parâmetros e não cobre modelos fechados de fronteira.

Em conclusão, o estudo fornece evidências empíricas de que a "lente geopolítica" de um LLM é amplamente um produto de seu alinhamento de pós-treinamento, e não de seus dados de pré-treinamento, com o idioma de solicitação servindo como um modulador crítico dessas preferências expressas.