Resumo Técnico: A Consciência Cultural é Representada, mas não Decodificada

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) exibem um viés cultural bem documentado, recorrendo por padrão a quadros de referência anglo-americanos ou ocidentais em tarefas que variam desde o raciocínio moral até o reconhecimento de entidades nomeadas. Embora estudos comportamentais tenham estabelecido que os modelos falham em recuperar conhecimento culturalmente específico (por exemplo, falhando em nomear o deus supremo do céu na mitologia finlandesa ou eslava, enquanto nomeiam com confiabilidade Zeus ou Thor), eles não identificaram onde dentro do modelo ocorre essa falha.

A questão central de pesquisa é se esse viés decorre de uma falha de representação (o estado interno do modelo não distingue entre culturas) ou de uma falha de decodificação (o modelo distingue culturas internamente, mas as colapsa em tokens de tradições dominantes durante a geração da saída). Resolver essa distinção é crítico porque os dois regimes exigem intervenções opostas: falhas de representação requerem novas informações no pré-treinamento, enquanto falhas de decodificação requerem mudanças no mecanismo de leitura (readout).

Metodologia

Os autores instrumentam 18 LLMs de código aberto (variando de 1.2B a 34B de parâmetros em 8 famílias de arquitetura, incluindo Llama, Gemma, Phi, Qwen, Yi, OLMo e Aya) usando um substrato transcultural paralelo e quatro ferramentas mecanísticas.

1. Substrato: Conjunto de Entidades Transcultural Paralelo

Para garantir uma comparação justa entre culturas, os autores construíram um conjunto de dados baseado no Índice de Motivos de Folclore e Literatura de Thompson.

• Estrutura: 27 motivos mitológicos específicos (ex: "deus supremo do céu", "roubo do fogo") avaliados em 10 culturas (Grega, Romana, Nórdica, Finlandesa, Ucraniana, Indiana, Egípcia, Chinesa, Japonesa, Mesopotâmica).
• Verdade Fundamental (Ground Truth): Cada par (motivo, cultura) possui um único nome de entidade canônico, ancorado em textos primários (ex: Kalevala, Rig Veda) ou monografias acadêmicas modernas.
• Prompting: Dois modos de prompt foram usados:
  • Contextual: "${nome}` personifica o papel de `${descrição}." (Usado para extração de estado oculto; a palavra da cultura está ausente para evitar cópia trivial).
  • Chat: "Na mitologia de ${cultura}`, qual é o nome do `${descrição}?" (Usado para geração de saída).

2. Instrumentos Mecanísticos

O estudo aplica quatro medições complementares a cada par (entidade, modelo):

• E1 Sondagem Linear (Linear Probing): Um classificador de regressão (ridge classifier) é treinado no fluxo residual para prever o rótulo de cultura de 10 vias. Isso testa se a informação cultural é linearmente decodificável das representações internas.
• E2 Lente de Logit (Logit Lens): A norma final e o unembedding do modelo são aplicados aos estados ocultos intermediários para determinar a profundidade na qual o token de ouro entra nas continuações do top-k.
• E3 Activation Patching: Fluxos residuais de um prompt de cultura de origem são trocados em um prompt de cultura de destino para identificar a camada causal onde a preferência do modelo muda para o nome da cultura de origem.
• E4 Extração de Saída: Decodificação gananciosa (greedy decoding) do template de chat para medir a precisão real da geração.

3. Estrutura de Decomposição

Ao combinar o resultado da sondagem (E1) e o resultado da geração (E4), os autores definem uma decomposição $2 \times 2$:

• Preservado: Sonda correta, Saída correta.
• Suprimido pela Decodificação (Decoding-Suppressed): Sonda correta, Saída errada (a hipótese central).
• Representacionalmente Plano (Representationally Flat): Sonda errada, Saída errada.
• Sorte Superficial (Surface Luck): Sonda errada, Saída correta.

Principais Resultados

1. A Supressão de Decodificação é Universal (RQ1)

Em todos os 18 modelos, a célula Suprimido pela Decodificação é o modo de falha dominante, compreendendo 51–76% dos casos (média de 65%).

• Evidência: A sondagem linear alcança consistentemente alta precisão (0.61–0.88), significativamente acima da linha de base de n-gramas de caracteres (0.60), indicando que o fluxo residual distingue claramente as culturas.
• Contraste: No entanto, a precisão de geração é drasticamente menor (0.09–0.43).
• Conclusão: A distinção cultural está presente no estado interno do modelo, mas não é emitida pelo decodificador. A falha é na leitura (readout), não na representação.

2. Decodificação Tardia e Localização Causal (RQ2 & RQ3)

• Emergência por Camada: A lente de logit mostra que o token de ouro entra nas predições top-k apenas nos últimos 12% das camadas (mediana de profundidade 0.96).
• Limite Causal: O activation patching confirma que a troca de fluxos residuais só altera a preferência do modelo na última quarta parte da rede (mediana de profundidade 0.89).
• Implicação: A rede codifica a cultura cedo (a sondagem atinge o pico na primeira metade), mas o elo causal para o token de saída é estabelecido muito tarde, coincidindo com a camada de unembedding.

3. Efeitos de Escala (RQ4)

Aumentar o tamanho do modelo dentro de uma família (ex: Llama 1.2B $\to$ 8B) melhora tanto a precisão da sondagem quanto a precisão da geração, mas não fecha a lacuna.

• A lacuna diminui ligeiramente (ex: de 0.70 para 0.63 no Llama 3.x), mas permanece substancial mesmo em escalas maiores.
• Isso sugere que simplesmente escalar parâmetros não resolve o problema da supressão de decodificação.

4. Leitura Condicionada pela Língua (RQ5)

A falha é controlada pela língua do prompt.

• Desacoplamento: Paráfrases translinguísticas (consulta em Inglês vs. consulta na Língua Nativa) são aproximadamente 2x mais desacopladas que paráfrases dentro da mesma língua ($r_{cross} = 0.29$ vs $r_{within} = 0.57$).
• Assimetria: A direção do viés (vantagem do Inglês vs. Nativa) acompanha a língua na qual o cânone cultural é documentado hoje (ex: grego/egípcio favorecem consultas em Inglês; finlandês/chinês favorecem consultas nativas), em vez de eficiência de tokenizador ou capacidade do modelo.
• Ensemble Bilíngue: Tomar a disjunção das saídas em Inglês e na Língua Nativa (sem treinamento) recupera um adicional de +8% de precisão absoluta (+36% relativa), confirmando que os dois modos acessam subconjuntos parcialmente disjuntos da mesma representação.

Significância e Alegações

O artigo reivindica um reenquadramento mecanístico do viés cultural em LLMs:

1. Representação vs. Leitura (Readout): O principal locus do achatamento cultural é a camada de unembedding, não o fluxo residual. Os modelos "sabem" as distinções culturais (elas são linearmente separáveis), mas falham em "dizer".
2. Implicações para Mitigação: Intervenções que visam o codificador (ex: pré-treinamento contínuo em corpora sub-representados) podem ajudar a pequena minoria dos casos "Representacionalmente Planos", mas não resolverão diretamente os casos dominantes de "Supressão de Decodificação". A mitigação eficaz deve visar a leitura (ex: geração aumentada por recuperação, reclassificação, ajuste de instrução em QA cultural ou ensemble bilíngue).
3. Limitações: Os achados são estabelecidos em modelos de código aberto com acesso de caixa branca (white-box). Os autores observam que a dominância da "Supressão de Decodificação" é uma conjectura para modelos de código fechado, embora a previsão de leitura condicionada pela língua (RQ5) se generalize a eles, pois baseia-se apenas no comportamento de saída. O substrato é limitado ao folclore (motivos de Thompson) onde rótulos de ouro paralelos são construíveis; a transferência para outros domínios (ex: equívocos biomédicos) é proposta como uma direção futura, mas não reivindicada como um resultado deste estudo.

Em resumo, o artigo argumenta que a equidade cultural no que um modelo diz não pode ser lida a partir do que ele sabe; os dois divergem na etapa de leitura, e é lá que tanto o diagnóstico quanto o reparo devem ser focados.