Fluent but Foreign: Even Regional LLMs Lack Cultural Alignment

Resumo Técnico: "Fluente, mas Estrangeiro: Mesmo LLMs Regionais Carecem de Alinhamento Cultural"

Declaração do Problema
Embora os Grandes Modelos de Linguagem (LLMs) estejam sendo adotados rapidamente em todo o mundo, eles codificam predominantemente valores, crenças e conhecimentos de orientação ocidental. Em resposta, desenvolvedores do Sul Global estão constru로indo LLMs "regionais" ou "soveranos", treinados em línguas locais para servir comunidades específicas. No entanto, existe uma lacuna crítica em avaliar se esses modelos são meramente fluentes linguisticamente ou verdadeiramente alinhados culturalmente. Os benchmarks multilingues atuais focam em capacidades de raciocínio, classificação e geração, mas falham em avaliar o alinhamento com valores culturais, práticas e realidades vividas locais. Este artigo investiga se o treinamento regional realmente dota os LLMs com o alinhamento cultural necessário para servir às suas populações alvo, utilizando a Índia como estudo de caso.

Metodologia
Os autores empregam um framework de avaliação "espesso × amplo" (thick × wide) fundamentado na "cebola cultural" de Hofstede, avaliando duas dimensões: valores (o que as pessoas acreditam) e práticas (o que as pessoas fazem). O estudo avalia 12 modelos: seis modelos indic (ex: nanda-10b, sarvam-m-24b) e seis baselines globais (ex: GPT-4o, Llama-3, Mistral).

A avaliação consiste em quatro tarefas de benchmark e um estudo com usuários:

1. Mapa Cultural (Valores): Utilizando o World Values Survey (WVS), os modelos são posicionados no mapa cultural de Inglehart–Welzel (Tradicional vs. Secular-Racional; Sobrevivência vs. Autoexpressão) para comparar sua orientação de valores contra as médias nacionais.
2. Alinhamento de Opinião (Valores): Utilizando o GlobalOpinionQA (derivado do Pew Global Attitudes), o estudo mede o quão proximamente as previsões dos modelos correspondem às distribuições de resposta do público indiano versus americano em 94 questões divergentes. Um "Diferencial de Alinhamento Cultural" (CAD) é calculado para quantificar o viés.
3. Conhecimento Cultural (Práticas): Utilizando um subconjunto do CulturalBench, os modelos respondem a perguntas de múltipla escolha sobre costumes e etiqueta para a Índia e os EUA.
4. Adaptação Cultural (Práticas): Utilizando o NormAd, os modelos são testados em sua capacidade de aplicar normas culturais em cenários situados (ex: etiqueta à mesa) sob diferentes níveis de contexto (País, Valor+País, Regra-de-Polegar).
5. Estudo de Usuário (Aplicação Downstream): Um estudo com 115 participantes indianos envolveu a escrita de ensaios sobre tópicos culturalmente fundamentados (festivais, comida, figuras públicas) com assistência de IA. O estudo comparou sugestões de escrita de um modelo indic de alto desempenho (Sarvam-M) contra um modelo global (GPT-4o) para medir a homogeneização cultural, a exotização e a preservação do estilo de escrita.

O estudo também testou várias estratégias de prompting (Demográfico, Cross-lingual, Tradução para Hindi) para ver se poderiam recuperar o alinhamento cultural.

Resultos Principais

• Desalinhamento com Valores Locais: Em todas as tarefas, os modelos indic não se alinharam melhor com as normas indianas do que os modelos globais. Na análise do Mapa Cultural, nenhum modelo indic caiu no quadrante que representa a Índia; em alguns casos, um respondente americano médio foi um proxy mais próximo para os valores indianos do que qualquer modelo indic testado.
• Viés de Opinião: No GlobalOpinionQA, vários modelos indic mostraram uma inclinação estatisticamente significativa para a opinião pública dos EUA em vez da opinião indiana. Ao normalizar pelo grau de discordância entre as duas populações, revelou-se que este viés dos EUA era ainda mais pronunciado.
• Déficits de Conhecimento: Os modelos indic tiveram um desempenho significativamente inferior em perguntas de conhecimento cultural indiano do que em perguntas americanas. O ajuste fino regional frequentemente falhou em injetar novo conhecimento cultural e, em vários casos (ex: gajendra-7b, sarvam-m-24b), degradou o desempenho tanto em perguntas culturais indianas quanto americanas em comparação com seus modelos globais base.
• Falha na Adaptação: No NormAd, os modelos indic tiveram dificuldade em aplicar normas sociais indianas, performando próximo ao acaso em contextos de raciocínio implícito, enquanto os modelos globais performaram melhor em normas dos EUA.
• Homogeneização da Escrita: No estudo de usuário, as sugestões do modelo indic (Sarvam-M) levaram a ensaios que eram apenas marginalmente mais similares à escrita natural indiana do que os da GPT-4o. O modelo indic frequentemente sugeriu artefatos ocidentalizados (ex: churrascos para o Dia da Independência) e descrições exotizadas, falhando em preservar expressões culturais indianas autênticas.
• Ineficácia do Prompting: As estratégias de prompting (incluindo pistas demográficas e tradução de idioma) renderam ganhos negligenciáveis no alinhamento cultural e não puderam recuperar o desalinhamento subjacente.

Principais Contribuições

1. Framework de Avaliação Multidimensional: O artigo operacionaliza uma abordagem "espessa × ampla", combinando dados de pesquisa em escala populacional (WWS, Pew) com conjuntos de dados de QA fundamentados em comunidades e um estudo de usuário downstream para avaliar o alinhamento cultural.
2. Evidência Empírica sobre Treinamento Regional: Este é o primeiro estudo empírico em larga escala demonstrando que o ajuste fino regional em línguas locais não resulta necessariamente em alinhamento cultural. Revela que os modelos regionais frequentemente refletem visões de mundo ocidentais, apesar de sua localização linguística.
3. Ponte entre NLP e HCI: O trabalho posiciona o alinhamento cultural como um requisito de design de primeira classe, argumentando que a fluência linguística é insuficiente para o design equitativo de sistemas de IA em contextos não ocidentais.

Significância e Alegações
O artigo alega que o paradigma atual de construção de LLMs "soberanos" é falho se depender apenas da tradução de dados de pré-treinamento de orientação ocidental ou do ajuste fino em fatias tênues de dados de línguas locais. Os autores argumentam que o gargalo reside na escassez de dados culturalmente fundamentados, particularmente para o pré-treinamento.

A significância deste trabalho reside no seu desafio à suposição de que a localização linguística equivale à competência cultural. Os autores defendem:

• Corpora nativos, autorados pela comunidade, para substituir dados traduzidos ou de orientação ocidental.
• Protocolos de avaliação espessos × amplos que combinem co-design comunitário com dados de escala populacional para detectar a fragilidade cultural antes que os modelos sejam escalados.
• Gestão comunitária de recursos de dados para garantir que os sistemas de IA reflitam valores locais e realidades vividas, em vez de impor um olhar ocidental.

Em última análise, o artigo conclui que, sem abordar o desequilíbrio de dados e repensar os objetivos de treinamento, os modelos regionais correm o risco de perpetuar a hegemonia cultural sob o disfarce da localização.