Resumo Técnico: Os Grandes Modelos de Linguagem Codificam a Experiência Institucional?

Definição do Problema

Grandes modelos de linguagem (LLMs) exibem variações translinguísticas sistemáticas no raciocínio moral, contudo, os mecanismos estruturais que impulsionam essas diferenças permanecem não especificados. Embora a literatura prévia estabeleça que LLMs instigados em diferentes idiomas produzem julgamentos éticos divergentes — frequentemente alinhados com valores ocidentais e protestantes europeus —, a questão do porquê isso ocorre permanece sem solução. A cultura é frequentemente citada como uma causa, mas ela funciona como um rótulo, e não como um mecanismo.

Este artigo investiga um candidato específico a mecanismo: a codificação de prior institucional. Baseando-se na teoria das instituições informais de Douglass North e no teorema do segundo melhor de Lipsey-Lancaster, os autores hipotetizam que as línguas codificam os ambientes institucionais de seus falantes (ex: experiências com corrupção, estado de direito e confiabilidade de aplicação de regras). Consequentemente, os LLMs treinados nesses corpora devem herdar priors morais específicos de instituições, particularmente ao raciocinar sobre dilemas onde a aceitabilidade moral depende do funcionamento de instituições formais (ex: suborno, evasão fiscal, denúncia de irregularidades/whistleblowing).

Uma lacuna crítica na pesquisa anterior é a dependência de enquadramento institucional explícito (nomear o contexto institucional diretamente, ex: "suborno"). Os autores argumentam que tal enquadramento pode acionar respostas de treinamento de alinhamento que suprimem os priors linguísticos específicos, tornando os designs anteriores estruturalmente incapazes de detectar a codificação institucional, mesmo que ela exista.

Metodologia

O estudo emprega dois experimentos pré-registrados (Estudo 1 e Estudo 2) envolvendo seis LLMs de fronteira (Claude, GPT-4o, Gemini, Llama 3.3, DeepSeek, Grok) e nove idiomas abrangendo um amplo gradiente de qualidade institucional (do dinamarquês, CPI 89, ao bengali, CPI 23).

Design Experimental:
A inovação central é um design de três condições usado no Estudo 2 para isolar o efeito de pistas institucionais:

1. Condição Explícita: A falha institucional é nomeada diretamente no prompt (ex: "pagar um suborno a um oficial corrupto"). Isso replica o Estudo 1 e a literatura prévia.
2. Condição Ambígua: Os mesmos cenários institucionais são apresentados, mas as palavras-chave institucionais são omitidas e o desfecho é enquadrado como incerto (ex: "fazer um pagamento para resolver um problema burocrático" sem rotular o oficial como corrupto). Os riscos institucionais estão presentes estruturalmente, mas ausentes lexicalmente.
3. Condição de Controle: Dilemas interpessoais institucionalmente inertes (ex: decepção privada, justiça distributiva) onde a valência moral não depende do funcionamento institucional.

Métricas e Análise:

• Divergência Translinguística: Operacionalizada como o desvio padrão das classificações médias de aceitabilidade entre as nove línguas para cada vinheta.
• Distância Institucional: Computada como a distância euclidiana entre pares de línguas baseada em três índices de governança: Índice de Percepção da Corrupção (CPI), Índice de Estado de Direito do WJP e Índice de Liberdade de Imprensa (RSF).
• Testes Estatísticos:
  • H1: Testes t pareados e testes de Mann-Whitney U comparando a divergência entre as condições (Ambígua vs. Explícita vs. Controle).
  • H2/H3: Testes de permutação de Mantel para correlacionar a divergência moral pareada com a distância institucional pareada.
  • H4: Testes Qui-quadrado sobre a codificação qualitativa da "arquitetura de raciocínio" (de filosófica liberal a diagnóstica institucional).
  • H5: Análise comparativa do DeepSeek (origem chinesa) contra modelos treinados no Ocidente para detectar efeitos de moderação de conteúdo.

Principais Resultados

Estudo 1: A Linha de Base Nula
Sob enquadramento institucional explícito, todas as cinco hipóteses pré-registradas produziram resultados nulos. A divergência translinguística não aumentou para cenários institucionais em comparação aos controles, nem acompanhou a distância institucional. Isso sugere que pistas explícitas acionam uma resposta de alinhamento uniforme que suprime potenciais priors institucionais.

Estudo 2: Dissociação Dependente de Condição
O Estudo 2 revelou uma interação crítica entre enquadramento e divergência:

• Ambiguidade Amplifica a Divergência: A divergência moral translinguística foi significativamente maior na condição ambígua em comparação com a condição de controle ($d = 1.108, p = .007$). Em contraste, a condição explícita não mostrou ampliação significativa sobre o controle ($p = .142$).
• Supressão pelo Alinhamento: Os dados apoiam uma "explicação de supressão": quando os riscos institucionais estão lexicalmente não resolvidos (ambíguos), os priors institucionais codificados emergem, fazendo com com as línguas de diferentes ambientes institucionais divergirem. Quando as pistas são explícitas, o treinamento de alinhamento sobrepõe esses priors, colapsando a divergência.
• Rastreamento da Distância Institucional: Na amostra completa de nove línguas, a correlação entre a divergência moral e a distância institucional na condição ambígua foi positiva, mas não estatisticamente significativa ($r = 0.158, p = .206$). No entanto, uma análise de sensibilidade exploratória excluindo o Chinês (que apresentou anomalias estruturais) fortaleceu essa correlação significativamente ($r = 0.517, p = .033$), fornecendo evidência robusta de que a divergência moral acompanha a distância institucional real quando o chinês é excluído.
• Arquitetura de Raciocínio: A codificação qualitativa (embora abaixo do limiar de confiabilidade pré-registrado) espelhou os resultados de classificação: os estilos de raciocínio variaram mais entre as línguas na condição ambígua ($V = 0.105$) do que na condição explícita ($V = 0.059$), onde os modelos adotaram um estilo "filosófico liberal" uniforme.

A Anomalia Chinesa
O estudo identifica dois mecanismos que desacoplam as saídas da língua chinesa de seu ambiente institucional:

1. Dominância do Alinhamento: Todos os LLMs de fronteira, incluindo os de origem chinesa, produzem saídas morais alinhadas com as bases ocidentais quando instigados em mandarim, suprimindo a codificação institucional local (explicando a divergência quase nula entre dinamarquês e chinês).
2. Moderação de Conteúdo: O DeepSeek especificamente mostrou moderação direcionada a cenários, sendo significativamente mais restritivo em conteúdo institucional em mandarim do que os modelos ocidentais, mas não em conteúdo de controle. Isso produziu uma alta divergência anômala entre o chinês e o hindi (baixo CPI) em cenários específicos.

Principais Contribuições

1. Explicação Mecanística: O artigo vai além de documentar diferenças translinguísticas para propor e testar um mecanismo específico: a codificação de prior institucional. Ele demonstra que a língua codifica adaptações aos ambientes institucionais (ex: navegar em um estado de direito fraco).
2. Insight Metodológico (Supressão de Alinhamento): O estudo identifica o enquadramento institucional explícito como um fator de confusão na pesquisa de LLMs translinguísticos. Argumenta-se que nomear falhas institucionais aciona overrides de alinhamento, mascarando as próprias variações culturais e institucionais que os pesquisadores buscam medir. A condição "ambígua" é proposta como um elemento de design necessário para detectar priors codificados.
3. Elo Estrutural com Instituições do Mundo Real: Ao utilizar um teste de Mantel pré-registrado com índices de governança independentes, o estudo vincula formalmente o raciocínio moral dos LLMs à qualidade institucional do mundo real, mostrando que a divergência escala com a distância institucional (excluindo a anomalia chinesa).
4. Diferenciação de Mecanismos: O artigo distingue entre dominância de alinhamento (um deslocamento global em direção às normas ocidentais) e moderação de conteúdo (supressão específica de cenários), ofereando uma visão matizada de como o suporte multilíngue falha em representar as realidades institucionais locais.

Significância e Alegações

Os autores alegam que a experiência institucional deixa traços detectáveis na linguagem que moldam o raciocínio moral dos LLMs, mas esses traços são frágeis e facilmente suprimidos por pistas explícitas.

• Para a Governança de IA: As descobertas sugerem que as políticas de implementação multilíngue que dependem da calibração específica de cada língua podem superestimar a preservação da diversidade moral cultural. O "achatamento" da variação sob enquadramento explícito é um recurso de design do treinamento de alinhamento, não uma falha, mas tem a consequência secundária de reduzir a legitimidade local.
• Para as Ciências Sociais: Pesquisadores que utilizam LLMs como proxies para cognição cultural devem considerar a construção do prompt. A variação observada pode refletir a supressão de alinhamento em vez de diferenças genuínas nos ambientes institucionais. Designs que não manipulam o conteúdo institucional sob enquadramentos ambíguos e explícitos não conseguem distinguir entre codificação institucional e supressão de alinhamento.
• Modéstia: Os autores reconhecem limitações, incluindo os efeitos modestos, a correlação primária de Mantel não significativa na amostra total e o caráter exploratório da análise de exclusão do chinês. Eles apresentam os resultados da exclusão do chinês como geradores de hipóteses, pendentes de replicação em um design que preveja a exclusão do chinês. A codificação da arquitetura de raciocínio é explicitamente rotulada como exploratória devido a problemas de confiabilidade inter-avaliador.

Em resumo, o artigo argumenta que os LLMs codificam a experiência institucional, mas essa codificação só é visível quando o prompt não aciona explicitamente os mecanismos de alinhamento projetados para impor a consistência transcultural.