On the limited utility of parallel data for learning shared multilingual representations

1. Problema e Motivação

As representações multilíngues compartilhadas são fundamentais para tarefas de transferência entre línguas (cross-lingual transfer), onde o conhecimento aprendido em uma língua melhora o desempenho em outra. Uma hipótese comum na comunidade de PLN (Processamento de Linguagem Natural) é que a inclusão de dados paralelos (frases traduzidas alinhadas) no corpus de pré-treinamento de modelos de linguagem multilíngues atua como um sinal explícito para alinhar essas representações.

No entanto, a extensão real em que os dados paralelos contribuem para esse compartilhamento de representações permanece incerta. A intuição sugere que eles ajudam, mas não há consenso sobre se esse benefício é significativo ou se as representações compartilhadas emergem naturalmente mesmo sem dados paralelos explícitos.

2. Metodologia

Os autores realizaram um estudo sistemático controlado para isolar o efeito dos dados paralelos:

• Arquitetura e Escala: Foram treinados quatro modelos de linguagem do tipo decoder-only (baseados na arquitetura OLMo) com 1,4 bilhão de parâmetros.
• Corpus de Treinamento: Um corpus total de 200 bilhões de tokens, composto por inglês e finlandês (um par de línguas tipologicamente distante, escolhido para testar casos difíceis de alinhamento).
• Variável Experimental: A proporção de dados paralelos no corpus foi variada entre os quatro modelos:
  • lm-0: 0% de dados paralelos.
  • lm-1: 1% de dados paralelos.
  • lm-2: 2% de dados paralelos.
  • lm-5: 5% de dados paralelos.
  • Nota: Os dados monolíngues foram ajustados para manter a proporção geral de 80% inglês / 20% finlandês.
• Métodos de Avaliação: Para medir o compartilhamento de representações, utilizaram-se cinco técnicas distintas:
  1. Projeções de Componentes Principais (PCA): Visualização 2D das representações para verificar sobreposição entre línguas.
  2. Semelhança de Cosseno: Cálculo da similaridade angular entre pares de tradução vs. pares aleatórios em cada camada.
  3. Análise de Correlação Canônica Ponderada por Projeção (PWCCA): Medida invariante a transformações lineares para quantificar a correlação entre espaços de representação.
  4. Análise de Neurônios Específicos de Língua: Identificação de neurônios que ativam fortemente para apenas uma língua (usando Precisão Média - AP).
  5. Vetores de Controle de Língua: Teste da eficácia de vetores para forçar a geração em finlandês a partir de prompts em inglês, avaliando fluência e coerência.

3. Principais Contribuições e Resultados

A. Emergência de Representações Compartilhadas sem Dados Paralelos

• Descoberta Chave: O modelo treinado sem nenhum dado paralelo (lm-0) desenvolveu um espaço de representação compartilhado significativo, especialmente nas camadas intermediárias do modelo.
• Evidência: As visualizações de PCA e os escores de PWCCA mostraram que o alinhamento entre inglês e finlandês ocorre de forma robusta em todos os modelos, independentemente da presença de dados paralelos.
• Localização: O compartilhamento é mais forte nas camadas do meio (ex: camadas 12-18), enquanto as camadas iniciais e finais tendem a conter mais características específicas de cada língua.

B. Impacto Limitado dos Dados Paralelos no Modelo Final

• Alinhamento Global: A quantidade de dados paralelos (de 0% a 5%) não teve efeito significativo no nível geral de alinhamento cruzado nas representações finais dos modelos treinados. Os escores de PWCCA e a distribuição de neurônios foram muito similares entre todos os modelos.
• Neurônios Específicos: Embora o lm-0 tenha tido ligeiramente mais neurônios estritamente específicos de língua, a proporção de neurônios "agnósticos à língua" (compartilhados) foi estatisticamente similar entre todos os modelos.
• Vetores de Controle: A eficácia dos vetores de controle para mudar o idioma de saída não mostrou correlação positiva com a quantidade de dados paralelos; todos os modelos performaram de maneira comparável.

C. Efeitos nas Fases Iniciais e na Estrutura Interna

• Aceleração no Início: Os dados paralelos parecem ter um efeito de aceleração nas fases iniciais do pré-treinamento. Modelos com dados paralelos (especialmente lm-5) mostraram um alinhamento ligeiramente mais rápido nas primeiras etapas (até ~20.000 passos) em comparação com o lm-0.
• Redução de Neurônios Específicos: A inclusão de dados paralelos parece reduzir o número total de neurônios altamente específicos de língua, "suavizando" a especialização excessiva, embora não elimine a necessidade de tais neurônios.
• Anisotropia: Observou-se que a alta similaridade de cosseno entre pares de tradução pode ser parcialmente atribuída à anisotropia do espaço de representação (o modelo empurra todas as representações para uma região pequena), e não apenas ao compartilhamento semântico perfeito.

4. Significado e Conclusões

• Revisão de Suposições: O estudo desafia a crença comum de que dados paralelos são essenciais para criar representações multilíngues alinhadas. Os resultados sugerem que o compartilhamento de representações é uma propriedade emergente natural dos modelos de linguagem, possivelmente impulsionada pela limitação de capacidade de parâmetros (orçamento de parâmetros), que força o modelo a compartilhar recursos para lidar com múltiplas línguas.
• Eficiência de Recursos: Para a maioria dos cenários de pré-treinamento, a inclusão de grandes quantidades de dados paralelos pode não trazer benefícios substanciais para o alinhamento final, sugerindo que o custo computacional e de coleta de dados pode não ser justificado apenas para esse fim.
• Limitações: O estudo focou em um par de línguas distante (Inglês-Finlandês) e em modelos de escala intermediária (1.4B). Os autores notam que resultados podem variar em modelos massivos ou pares de línguas tipologicamente mais próximos, embora a escolha de línguas distantes tenha sido feita para garantir que os resultados não fossem enviesados por similaridade linguística.

Em resumo: A inclusão de dados paralelos no pré-treinamento oferece benefícios marginais (aceleração inicial e leve redução de neurônios específicos), mas não é um fator determinante para o alinhamento cruzado de representações em modelos multilíngues modernos, que tendem a desenvolver esse alinhamento naturalmente.