Resumo Técnico: Mitigação de Inconsistências Culturais Translinguísticas em LLMs via Otimização de Preferência Impulsionada por Consenso

1. Definição do Problema: Inconsistência Cultural Translinguística (CCI)

Modelos de Linguagem Grandes Multilíngues (MLLMs) frequentemente exibem comportamento inconsistente quando a língua de um prompt muda, mesmo quando a identidade do usuário é explicitamente definida. Embora os MLLMs sejam geralmente projetados para se adaptar culturalmente à língua de entrada, isso torna-se uma falha crítica em contextos restritos onde um persona de usuário específico (por exemplo, "O usuário é britânico") é fornecido.

Em tais cenários, o modelo frequentemente ignora a instrução de persona explícita e recorre aos estereótipos culturais associados à língua do prompt. Por exemplo, dado um persona britânico fixo e uma consulta ambígua sobre literatura, um prompt em inglês pode elicitar "Shakespeare", enquanto um prompt em espanhol elicita "Cervantes". Este fenômeno, denominado Inconsistência Cultural Translinguística (CCI), representa uma falha no seguimento de instruções onde a personalização implícita impulsionada pela língua sobrepõe restrições explícitas impulsionadas pelo usuário. O artigo postula que essa inconsistência não é meramente uma lacuna de desempenho, mas uma divergência semântica impulsionada pelo emaranhamento estreito entre língua e cultura dentro das representações do modelo.

2. Metodologia

2.1 Construção do Conjunto de Dados

Para avaliar sistematicamente a CCI, os autores construíram um conjunto de dados paralelo multilíngue derivado do benchmark BLEnD (Myung et al., 2024).

• Fonte: O subconjunto de Questões de Múltipla Escolha (MCQ) do BLEnD foi selecionado por seu espaço de resposta discreto, facilitando métricas de concordância.
• Línguas: Oito línguas foram selecionadas para cobrir diversos níveis de recursos e famílias linguísticas: Inglês, Espanhol, Chinês, Árabe, Indonésio, Coreano, Grego e Persa.
• Neutralização: Para isolar o viés implícito impulsionado pela língua, referências explícitas a países nos prompts originais foram removidas usando GPT-5.2 (por exemplo, alterando "Esporte popular no México?" para "Esporte popular?").
• Tradução: As opções de resposta foram traduzidas para as oito línguas-alvo, garantindo que o conjunto de dados contivesse mapeamentos válidos para oito países específicos (EUA, México, China, Argélia, Indonésia, Coreia do Sul, Grécia, Irã).
• Divisão: Os dados foram particionados em 70% para treinamento, 10% para validação e 20% para teste, com medidas rigorosas para evitar vazamento de dados entre as divisões.

2.2 Medição: Fleiss's $\kappa_S$ Singleton

Métricas de consistência padrão frequentemente falham quando modelos alucinam ou geram formatos inválidos, pois descartar esses erros introduz viés de sobrevivência. Os autores introduzem o Fleiss's $\kappa_S$ Singleton, uma métrica novel matematicamente provada como resiliente a alucinações.

• Mecanismo: Diferentemente do Fleiss's $\kappa$ padrão, que assume que todas as respostas mapeiam para um conjunto válido predefinido, o $\kappa_S$ estende o conjunto de respostas válidas $V$ com um conjunto de respostas singleton (inválidas) dinamicamente geradas $U$.
• Penalidade: Cada resposta inválida mapeia para um singleton único. Isso garante que alucinações sejam tratadas como categorias distintas, penalizando matematicamente a inconsistência sem exigir a exclusão ad hoc de amostras.
• Convergência: Os autores provam que, à medida que o tamanho do conjunto de dados aumenta, o $\kappa_S$ converge assintoticamente para o $\kappa$ de categoria válida padrão.

2.3 Mitigação: Otimização de Preferência Consistente Translinguística (C-3PO)

O artigo propõe o C-3PO, um framework de alinhamento auto-supervisionado e impulsionado por consenso, projetado para mitigar a CCI sem depender de anotações humanas custosas ou verdades fundamentais subjetivas.

• Extração de Consenso: O modelo base gera respostas para uma consulta culturalmente neutra em todas as $N$ línguas. Um consenso translinguístico é definido como a resposta selecionada por uma maioria estrita das línguas.
• Construção de Pares de Preferência:
  • Escolhida ($y_w$): A resposta de consenso é universalmente atribuída como a resposta preferida.
  • Rejeitada ($y_l$):
    • Para línguas onde o modelo inicialmente discordou do consenso, a saída divergente real é usada como a resposta rejeitada.
    • Para línguas que já concordaram, uma opção não-consensual aleatória é amostrada como a resposta rejeitada.
• Equilíbrio: Uma estratégia de subamostragem é aplicada para garantir que as línguas que ditam o consenso não enviesem desproporcionalmente os dados de treinamento, equilibrando a representação de línguas consensuais e divergentes.
• Otimização: O modelo é ajustado finamente usando Otimização de Preferência Direta (DPO) com Adaptação de Baixo Rank (LoRA). Os dados são estruturados em lotes paralelos (a mesma consulta traduzida em todas as línguas) para garantir que as atualizações de gradiente puxem simultaneamente representações de línguas diversas em direção a uma âncora semântica unificada.

2.4 Baselines

O C-3PO é avaliado contra três baselines estabelecidas de direcionamento comportamental:

1. Prompting de Persona: Condicionar explicitamente o modelo a uma nacionalidade específica via prompts de sistema.
2. Prompting Few-shot: Fornecer exemplos em contexto de respostas translinguísticas consistentes.
3. Direcionamento Vetorial de Persona: Direcionar o espaço latente do modelo usando vetores de intervenção derivados da diferença nas ativações do fluxo residual entre prompts com e sem instruções de persona.

3. Resultados Chave

3.1 Melhorias de Consistência

Avaliações empíricas em três modelos de peso aberto (Gemma-2-27b-it, Llama-3.1-8B-Instruct, Qwen2.5-3B-Instruct) demonstram que o C-3PO supera consistentemente todas as estratégias de mitigação de baseline em praticamente todos os modelos e grupos linguísticos.

• O C-3PO alcança um aumento absoluto de até 0,10 pontos no Fleiss's $\kappa_S$ Singleton sobre modelos não alinhados.
• Enquanto baselines como Direcionamento Vetorial de Persona ocasionalmente alcançam pontuações altas em configurações específicas (por exemplo, pares persona-país específicos), esses resultados são descritos como "cenários de oráculo escolhidos a dedo". O C-3PO fornece alinhamento robusto sem exigir a seleção manual de configurações ótimas.
• O prompting few-shot foi encontrado para inflar artificialmente as pontuações de Consistência Suave e Rígida ao colapsar para um único modo (repetição indiscriminada de uma resposta), um comportamento degenerado que o $\kappa_S$ penaliza robustamente.

3.2 Impacto dos Recursos Linguísticos

O estudo revela que a CCI afeta desproporcionalmente as línguas de menor recurso (Indonésio, Persa, Coreano, Árabe, Grego).

• Grupos de menor recurso exibem pontuações $\kappa_S$ significativamente mais baixas em todos os modelos e estratégias de mitigação em comparação com grupos de maior recurso (Inglês, Chinês, Espanhol).
• Experimentos de adição incremental mostram que a consistência degrada estritamente à medida que línguas de menor recurso são adicionadas ao pool de avaliação, identificando a escassez de recursos como um motor primário da inconsistência.

3.3 Análise de Interpretabilidade

Uma análise de interpretabilidade camada por camada no Llama-3.1-8B revela o mecanismo subjacente da CCI:

• Ponto de Emergência: A consistência translinguística não emerge gradualmente; manifesta-se abruptamente nas camadas posteriores (por volta da camada 22) à medida que as representações de passagem à frente se estabilizam.
• Personalização Implícita: À medida que as representações se estabilizam, o modelo ancora implicitamente as saídas à cultura estereotipada associada à língua do prompt. Por exemplo, prompts em espanhol acionam cada vez mais previsões para o México, e prompts em árabe para a Argélia ou os EUA.
• Análise de Inclinação: Regressão linear das frequências de previsão através das camadas confirma que o aumento nas previsões para um país específico é significativamente mais íngreme quando a consulta está na língua estereotipada daquele país, apoiando a hipótese de que o modelo personaliza implicitamente as respostas com base na língua do prompt.

4. Significado e Afirmações

O artigo afirma fazer quatro contribuições primárias:

1. Formalização da CCI: Isola e formaliza a Inconsistência Cultural Translinguística como um modo de falha distinto onde os modelos falham em alavancar identidades de usuário explícitas em favor de pistas linguísticas implícitas.
2. Métrica Robusta: Introduz o Fleiss's $\kappa_S$ Singleton, uma métrica matematicamente resiliente a alucinações, permitindo a quantificação da consistência sem descartar dados inválidos.
3. Mitigação Eficaz: Propõe o C-3PO, um framework auto-supervisionado que melhora significativamente a consistência cultural através de diversas baselines e arquiteturas de modelo sem exigir verdades fundamentais anotadas por humanos.
4. Insight Mecanístico: Fornece evidências de decodificação precoce de que os MLLMs personalizam implicitamente as saídas em direção à cultura estereotipada da língua do prompt à medida que as representações internas se estabilizam, e que esse efeito é exacerbado em línguas de menor recurso.

Os autores mantêm uma postura modesta, reconhecendo que seu framework equipara países a culturas (um proxy redutor) e que o "consenso" gerado pode introduzir uma nova forma de viés. Eles argumentam que, embora seu trabalho aborde o seguimento de instruções em contextos restritos, o debate mais amplo sobre quando a consistência translinguística é desejável versus quando a adaptabilidade cultural é preferida permanece aberto para investigação futura.