Language as a Hidden Variable: Measuring Behavioral Divergence in Multilingual Large Language Models

Resumo Técnico: A Linguagem como uma Variável Oculta: Medindo a Divergência Comportamental em Grandes Modelos de Linguagem Multilíngues

Definição do Problema
Grandes Modelos de Linguagem (LLMs) multilíngues operam sob uma suposição tácita de que usuários que fazem a mesma pergunta em diferentes idiomas (por exemplo, inglês, hindi, francês) receberão respostas de qualidade, conteúdo factual e postura normativa equivalentes. No entanto, a literatura existente indica lacunas de desempenho, variações na taxa de alucinação e assimetrias de viés induzidas culturalmente entre os idiomas. Crucialmente, pesquisas anteriores não isolaram a linguagem como a única variável controlada ao examinar respostas generativas de formato livre através de distintos regimes comportamentais (factual, normativo e sensível à segurança). Este estudo aborda a lacuna na compreensão de se diferenças comportamentais estruturadas translinguísticas emergem quando todas as outras variáveis são estritamente controladas.

Metodologia
O estudo emprega um design experimental controlado de pequena amostra ($3 \times 3 \times 2$) para isolar a linguagem como a variável independente.

• Configuração Experimental: Os pesquisadores utilizaram 30 prompts semanticamente equivalentes, equilibrados entre três categorias: Factual (controle), Normativo (carregado de valor) e Sensível à Segurança (comportamento de recusa). Esses prompts foram traduzidos para o hindi e o francês a partir do inglês, com verificação de retrotradução (pontuações BLEU computadas, embora observadas como uma limitação para prompts de Segurança).
• Modelos: Dois modelos de ponta ajustados por instrução foram consultados via API Groq: Llama-3.3-70B e GPT-OSS-20B.
• Procedimento: Cada prompt foi testado em inglês (âncora), hindi e francês para ambos os modelos. Os parâmetros de inferência foram travados ($T=0.1$, max tokens=512) para garantir que a linguagem fosse a única fonte de variação sistemática. Um conjunto adicional de 180 respostas foi gerado repetindo prompts em inglês para estabelecer uma linha de base de ruído estocástico intra-idioma.
• Métrica (Pontuação de Divergência Comportamental - BDS): Uma métrica composta foi pré-registrada para quantificar a divergência:
  • BDS-1 (Semântica): Distância de cosseno entre os embeddings SBERT das respostas em inglês e na língua alvo.
    easily
  • Divergência de Sentimento ($S_{sent}$): Diferença absoluta nos scores de sentimento composto.
  • Desajuste de Recusa ($S_{ref}$): Indicador binário se a classe de recusa (Resposta Completa, Parcial, Recusa Explícita) difere entre os idiomas.
  • BDS-full: Uma soma ponderada ($0.5 \times \text{Semântica} + 0.3 \times \text{Sentimento} + 0.2 \times \text{Recusa}$).
• Hipóteses: Três hipóteses direcionais foram pré-registradas: (H1) Prompts de Segurança divergem mais que os Fatais; (H2) O Hindi (EN-HI) diverge mais que o Francês (EN-FR) devido à distância tipológica; (H3) Os padrões de divergência são consistentes entre os modelos.

Principais Resultados

• Divergência vs. Ruído: A divergência translinguística excedeu consistentemente a linha de base de ruído intra-idioma por fatores de 1,1× a 2,5×, confirmando que as diferenças comportamentais não são meros artefatos da estocasticidade do modelo.
• Resultados das Hipóteses: Estritamente falando, nenhuma das três hipóteses direcionais pré-registradas foi apoiada em um sentido estatístico.
  • H1 (Segurança > Factual): Não apoiada nos dados agregados. Embora o Llama-3.3-70B tenha mostrado maior divergência de Segurança, o GPT-OSS-20B exibiu uma divergência Factual anormalmente alta, obscurecendo a tendência.
  • H2 (Hindi > Francês): Não apoiada globalmente. A categoria Normativa aproximou-se da significância com EN-HI > EN-FR, mas as categorias Factual e de Segurança mostraram a tendência oposta (EN-FR > EN-HI), impulsionada em grande parte pelo GPT-OSS-20B.
  • H3 (Consistência entre Modelos): Não apoiada. A correlação entre os modelos foi próxima de zero/negativa ($r \approx -0,1$), indicando que os dois modelos divergem em prompts sistematicamente diferentes.
• Achados Específicos por Categoria:
  • Prompts Normativos: Exibiram a maior divergência de sentimento ($S_{sent} \approx 0,28$) e as maiores taxas de desajuste de recusa (30% para EN-HI, 25% para EN-FR). As respostas não inglesas frequentemente alteraram o tom (mais positivo) ou a classe de recusa em comparação com a âncora em inglês.
  • Prompts de Segurança: Mostraram um achado contraintuitivo onde as respostas em hindi foram mais complacentes (60% Resposta Completa) do que as âncoras em inglês (55%), contradizendo a suposição de que o alinhamento de segurança não inglês é uniformemente mais fraco.
  • Especificidade do Modelo: A divergência não é uma propriedade universal do prompt, mas uma interação modelo-prompt. O GPT-OSS-20B mostrou significativamente maior variância e padrões de divergência diferentes em comparação ao Llama-3.3-70B.

Significância e Alegações
O artigo afirma que sua principal contribuição não é a magnitude da divergência observada, mas a demonstração de que a divergência persiste mesmo sob condições projetadas para eliminar fatores de confusão. O estudo estabelece a inconsistência comportamental translinguística como uma "propriedade de primeira ordem" de LLMs multilíngues, em vez de um artefato de variação não controlada.

As principais implicações destacadas pelos autores incluem:

1. Reavaliação de Métricas: Métricas de precisão agregadas são insuficientes para avaliação multilíngue; a consistência comportamental deve ser medida explicitamente.
2. Segurança e Equidade: A inconsistência no comportamento de recusa (até 30% de desajuste em prompts normativos) e a conformidade de segurança contraintuitiva no hindi sugerem que pipelines de alinhamento centrados no inglês criam lacunas estruturais. Usuários de diferentes contextos linguísticos podem, efetivamente, interagir com comportamentos de modelo diferentes.
3. Orientação de Implementação: Os autores recomendam incorporar auditorias de paridade de idioma, verificações de consistência de recusa e testes de estresse de idioma de prompt nos pipelines de avaliação padrão antes da implementação global.
4. Limites da Distância Linguística: A falha da hipótesia "Hindi diverge mais que o Francês" sugere que a arquitetura do modelo e as escolhas de ajuste fino podem superar a distância tipológica bruta ao determinar os padrões de divergência.

Os autores mantêm um escopo modesto, reconhecendo que os achados são limitados aos modelos específicos (Llama-3.3-70B, GPT-OSS-20B), idiomas (Inglês, Hindi, Francês) e o conjunto de prompts estudados, não se generalizando para todos os LLMs ou idiomas sem investigação adicional.