The Shibboleth Effect: Auditing the Cross-Lingual Distributional Skew of Large Language Models

Resumo Técnico: O Efeito Shibboleth em Grandes Modelos de Linguagem

Enunciado do Problema
O paradigma predominante na segurança de IA assume que o Aprendizado por Reforço com Feedback Humano (RLHF) produz uma postura comportamental monolítica e universalmente cooperativa em modelos de linguagem de fronteira (LLMs), tornando-os árbitros independentes de linguagem. Este estudo desafia essa suposição, postulando que, se as salvaguardas geopolíticas de um modelo mudam em função da língua de operação, esses sistemas podem funcionar não como mediadores neutros, mas como "câmaras de eco algorítmicas". O problema central é o potencial para um desvio distributivo translinguístico — termo o "Efeito Shibboleth" — onde consultar um modelo em uma língua não dominante (especificamente o turco) ativa caminhos de tokens, associações culturais e regularidades normativas diferentes das consultas em inglês. A literatura anterior baseou-se amplamente em benchmarks estáticos de turno único ou pesquisas traduzidas, que capturam "preferências declaradas", mas falham em revelar disposições comportamentais dinâmicas sob fricção adversarial.

Metodologia
Para isolar o efeito da linguagem no comportamento geopolítico, os autores projetaram um jogo de guerra geopolítico de alta fidelidade, multiagente, intitulado Cerulean Sea Crisis. Esta disputa marítima sintética é estruturalmente isomórfica aos conflitos no Mediterrâneo Oriental, envolvendo seis modelos de fronteira atribuídos a papéis geopolíticos específicos (ex: Turquia, Grécia, EUA, UE, Rússia e um Auditor Institucional).

• Design Experimental: Um design entre grupos ($N = 10$ jogos independentes por braço, $K = 5$ rodadas por jogo) foi empregado. A única variável independente foi a língua da simulação (Inglês vs. Turco), enquanto todos os parâmetros estruturais, objetivos dos agentes e prompts do sistema permaneceram constantes.
• Modelos Testados: O estudo implantou um "ecossistema de elite" de seis modelos: GPT-4o, Llama-4, Mistral-Large, Gemini-3.1-Pro, Qwen3.6-Plus e DeepSeek-R1.
• Protocolo de Avaliação: Um classificador zero-shot automatizado (usando GPT-4o em $T=0.0$) avaliou 586 declarações diplomáticas validadas através de duas métricas contínuas: Taxa de Concessão (grau de afastamento das linhas vermelhas) e Retórica Coercitiva (uso de ultimatos e ameaças).
• Abordagem Estatística: Dada a natureza não normal das distribuições de dados, o estudo utilizou testes não paramétricos de Mann-Whitney U nas médias por nível de jogo. Os tamanhos de efeito foram reportados como $\delta$ de Cliff, com aplicação da correção de passo descendente de Holm-Bonferroni em 12 testes simultâneos para controlar erros do Tipo I.
• Mecanismo Especial: Para o DeepSeek-R1, um "Protocolo Hot Mic" capturou cadeias de raciocínio de Cadeia de Pensamento (CoT) latentes para analisar os mecanismos internos de buffering.

Resultos Principais
Os resultados demonstram que o Efeito Shibboleth é heterogêneo em vez de uniforme, variando significamente conforme a arquitetura do modelo e o regime de treinamento. Nenhum viés universal foi encontrado para a classe de modelos de origem ocidental.

1. Llama-4 (Tipo I - Suscetível): Exibiu um aumento estatisticamente significativo e de grande magnitude na retórica coercitiva ao operar em turco ($\delta = +0.800, p = .002$). O modelo mudou de uma postura firme em inglês para uma postura altamente coercitiva e baseada em ultimatos em turco, sugerindo que seu alinhamento de RLHF dominante em inglês é insuficientemente generalizado.
2. Gemini-3.1-Pro (Tipo III - Reversão): Demonstrou uma redução significativa e de grande magnitude na retórica coercitiva sob o turco ($\delta = -0.750, p = .005$). Esta reversão direcional sugere que o investimento robusto em RLHF multilíngue pode amortecer ou até inverter o desvio baseado na língua, tornando o modelo mais cooperativo em turco do que em inglês.
3. DeepSeek-R1 (Tipo III - Reversão com CoT): Também mostrou uma redução significativa na coerção em turco ($\delta = -0.860, p = .006$). Crucialmente, as cadeias de CoT capturadas forneceram evidência direta de um mecanismo de buffering: o modelo ancorou explicitamente seu raciocínio em mandatos institucionais (UNCLOS) antes de gerar declarações públicas, efetivamente sobrepondo as associações geopolíticas da entrada da língua turca.
4. GPT-4o (Tipo II - Invariante/Nulo): Gerou um efeito nulo na retórica coercitiva ($\delta = +0.130, p = .614$). Embora o estudo note que este resultado é inconclusivo devido a limitações de tamanho de amostra, a ausência de um grande efeito contrasta com achados anteriores sobre o GPT-5.5, sugerindo que investimentos de alinhamento podem ter estabilizado o comportamento translinguístico nesta versão específica.
5. Achados Agregados: O efeito agrupado no cluster ocidental (GPT-4o, Llama-4, Mistral-Large) foi estatisticamente indistinguível de zero, refutando a hipótese de que os modelos ocidentais são uniformemente hostis ou enviesados em contextos não ingleses.

Principais Contribuições

• Prova Empírica de Heterogeneidade: O estudo fornece a primeira evidência empírica de que o desvio comportamental translinguístico não é uma propriedade universal dos modelos ocidentais, mas depende de regimes de treinamento e configurações arquitetônicas específicas.
• Identificação de Mecanismos de Buffering: O artigo identifica dois mecanismos distintos que mitigam o Efeito Shibboleth:
  1. Ancoragem Institucional via Cadeia de Pensamento (CoT): Observado no DeepSeek-R1, onde etapas explícitas de raciocínio ancoram as saídas ao direito internacional em vez de associações linguísticas.
  2. Alinhamento RLHF Multilíngue: Inferido para o Gemini-3.1-Pro, onde dados de treinamento multilíngues de alta qualidade parecem estabilizar o comportamento entre idiomas.
• Taxonomia Descritiva: Os autores propõem uma taxonomia provisória de três níveis para estabilidade translinguística: Tipo I (Suscetível, ex: Llama-4), Tipo II (Invariante, ex: GPT-4o) e Tipo III (Reversão, ex: Gemini, DeepSeek).
• Avanço Metodológico: Ao ir além de benchmarks estáticos para o uso de jogos de guerra multiagentes dinâmicos com iterações de jogo independentes, o estudo captura "preferências reveladas" sob condições adversariais, ofereando um teste mais rigoroso de segurança de IA do que as pesquisas psicométricas anteriores.

Significância e Alegações
O artigo alega que o risco de implantar LLMs na diplomacia internacional não é que eles sejam uniformemente enviesados, mas que a direção e a magnitude das mudanças comportamentais translinguísticas são específicas de cada modelo e tipicamente desconhecidas para os usuários finais. Um diplomata consultando um modelo "Tipo I" em uma língua local pode receber conselhos significativamente mais agressivos do que em inglês, enquanto um modelo "Tipo III" pode oferecer conselhos inesperadamente conciliadores.

Os autores concluem que a estabilidade comportamental translinguística não pode ser assumida. Eles argumentam que a certificação de segurança robusta para implantações de alto risco deve incluir reavaliação adversarial contínua entre idiomas e versões de modelos, utilizando testes estatísticos rigorosos (como testes de hipótese corrigidos por Holm) para detectar esses efeitos heterogêneos. O estudo evita explicitamente alegar que os LLMs possuem "identidades" no sentido da teoria social, em vez disso, os enquadra como "Construtivistas Algorítmicos" cujos outputs são condicionados pelo discurso linguístico de seus dados de treinamento.