Can you map it to English? The Role of Cross-Lingual Alignment in Multilingual Performance of LLMs

Resumo Técnico: O Papel do Alinhamento Cross-Lingual no Desempenho Multilíngue de LLMs

Definição do Problema
Grandes Modelos de Linguagem (LLMs) demonstram capacidades multilíngues impressionantes, realizando com sucesso tarefas de Compreensão de Linguagem Natural (NLU) em idiomas que não o inglês, apesar de serem predominantemente treinados em texto em inglês. Embora arquiteturas apenas-encoder tenham mostrado que o conhecimento é transferido de línguas de alto recurso para línguas de baixo recurso, os mecanismos que impulsionam essa generalização em LLMs apenas-decoder permanecem mal compreendidos. Especificamente, não está claro se a capacidade de um LLM de alinhar representações de entradas não inglesas com suas contrapartes paralelas em inglês influencia causalmente o desempenho em instâncias individuais de tarefas. Trabalhos anteriores estabeleceram correlações entre o alinhamento cross-lingual e a precisão multilingue ao nível do idioma usando métricas agregadas, mas esses estudos não explicam como o alinhamento de representação afeta o comportamento do modelo em instâncias específicas de NLU.

Metodologia
Os autores propõem um framework para investigar o alinhamento cross-lingual ao nível da instância e estabelecer um elo causal entre o alinhamento e o sucesso da tarefa.

1. Métricas de Alinhamento ao Nível da Instância:
   O artigo introduz três métricas para quantificar o alinhamento em tarefas de NLU discriminativas (Resposta de Múltipla Escolha):

   • DALI (Índice de Alinhamento Discriminativo): Uma pontuação binária que indica se a similaridade de cosseno dos pares de premissa-conclusão correspondentes cross-lingualmente excede a de pares não correspondentes dentro de uma instância específica.
   • DALIst: Uma variante mais rigorosa do DALI que exige que os pares correspondentes cross-lingualmente também excedam a similaridade dos pares não correspondentes dentro do mesmo idioma, mitigando falsos positivos causados pela anisotropia nas representações de transformers.
   • MEXAT: Uma variante da métrica MEXA existente específica para a tarefa, computada usando premissas da tarefa em vez de corpora paralelos genéricos.

2. Design Experimental:

   • Datasets: O estudo utiliza três benchmarks de NLU multilingue (Belebele, Xstorycloze, Xcopa) contendo pares de premissa-opção paralelos em 24 idiomas.
   • Categorização de Amostras: As instâncias são categorizadas em Sucesso de Transferência (TS) (correto tanto em inglês quanto no outro idioma) e Falha de Transferência (TF) (correto em inglês, incorreto no outro idioma).
   • Análise Associativa: Os autores comparam as pontuações de alinhamento (DALI, DALIst, MEXAT) de amostras TS e TF através das camadas do transformer para determinar se transferências bem-sucedidas exibem maior alinhamento.
   • Patching de Ativação: Para estabelecer causalidade, os autores realizam o activation patching em instâncias TF. Eles substituem os estados ocultos ($h^\lambda$) de uma passagem direta (forward pass) não inglesa que falhou pelos estados correspondentes de uma passagem direta em inglês bem-sucedida em camadas específicas ($\lambda$).
   • Experimentos de Controle: Para garantir que os patches estão corrigindo com base no alinhamento semântico e não simplesmente injetando o token alvo (ex: a escolha de resposta 'A' ou 'B'), os autores realizam o control patching usando amostras em inglês não relacionadas que compartilham o mesmo token alvo, mas possuem semânticas diferentes.

Principais Resultados

• Associação com o Sucesso: Em 33 combinações de idioma-benchmark-métrica, as instâncias de Sucesso de Transferência (TS) consistentemente exibem pontuações de alinhamento cross-lingual mais altas do que as instâncias de Falha de Transferência (TF). Essa associação é estatisticamente significativa em 8 casos e positiva em 30, sugerindo que um melhor alinhamento correlaciona-se com uma generalização bem-sucedida.
• Efeitos Específicos por Camada: A análise revela que o alinhamento cross-lingual atinge o pico nas camadas intermediárias do transformer (aproximadamente camadas 14–25).
• Evidência Causal via Patching:
  • O patching de ativações em inglês nas camadas intermediárias de instâncias não inglesas que falharam aumenta significamente a probabilidade de o modelo mudar para a resposta correta.
  • A "taxa de mudança" (flip rate - porcentagem de predições corrigidas) é mais alta quando o patching ocorre nessas camadas intermediárias.
  • Especificidade Semântica: Experimentos de controle demonstram que patches em inglês semanticamente equivalentes são significativamente mais eficazes em corrigir predições do que os patches de controle (amostras em inglês não relacionadas com o mesmo token de resposta). Isso confirma que a correção é impulsionada pelo alinhamento semântico, não meramente pela injeção do token alvo.
• Análise de Entropia: Correções alcançadas através de patches semanticamente equivalentes resultam em menor entropia de saída (maior confiança) em comparação aos patches de controle, sugerindo que o alinhamento estabiliza o processo de tomada de decisão do modelo.

Principais Contribuições

1. Métricas ao Nível da Instância: A introdução do DALI e DALIst, que vão além da análise agregada de nível de idioma para quantificar o alinhamento em uma base por instância para tarefas discriminativas.
2. Validação Causal: Fornecer evidência causal através de activation patching de que o desalinhamento nas camadas intermediárias é um principal motor de falhas cross-linguais. O estudo demonstra que "forçar" o alinhamento injetando representações em inglês pode retificar erros não ingleses.
3. Esclarecimento de Mecanismo: O trabalho apoia a hipótese de que LLMs apenas-decoder processam texto não inglês ao pivotar implicitamente através de representações em inglês nas camadas intermediárias, onde ocorre o raciocínio agnóstico à língua.

Significância e Alegações
O artigo afirma preencher a lacuna entre estudos correlacionais de alinhamento multilingue e os mecanismos causais do comportamento do modelo. Ao demonstrar que o alinhamento semântico cross-lingual em camadas intermediárias localizadas contribui causalmente para a correção, os autores argumentam que o "pivot através do inglês" não é apenas um artefato estatístico, mas um mecanismo funcional para o raciocínio.

Os autores enquadram modestamente seus achados como evidência de que o alinhamento é um componente necessário para a transferência bem-sucedida em tarefas discriminativas. Eles observam que, embora o patching possa corrigir erros, ele não corrige todas as instâncias, implicando que outros fatores também podem contribuir para a falha. O artigo conclui que esses achados motivam trabalhos futuros sobre o direcionamento (steering) em tempo de inferência para aproveitar ativações em inglês de alta fidelidade para melhorar o desempenho não inglês, enquanto também alertam sobre possíveis desvantagens, como confiança inflada ou a erradicação do conhecimento local do idioma não inglês. O estudo é limitado a tarefas de NLU discriminativas e alinhamento bilíngue (não inglês para inglês), excluindo o alinhamento entre outros pares de idiomas.