Using Optimal Transport as Alignment Objective for fine-tuning Multilingual Contextualized Embeddings

Este trabalho propõe o uso do Transporte Ótimo como objetivo de alinhamento durante o ajuste fino de representações multilíngues contextualizadas, permitindo um aprendizado de alinhamento de palavras não supervisionado e flexível que melhora a transferência entre línguas em tarefas como XNLI e XQuAD.

O essencial

Imagine que você tem um grupo de amigos que falam línguas diferentes: um fala português, outro alemão, outro árabe, e assim por diante. Todos eles têm ideias brilhantes, mas quando tentam conversar, as palavras deles "flutuam" em mundos separados. O "cachorro" em português não toca no "Hund" em alemão; eles são como ilhas distantes.

O objetivo da ciência da computação é construir uma ponte entre essas ilhas para que a inteligência artificial (IA) possa entender que "cachorro" e "Hund" são a mesma coisa, mesmo em contextos diferentes.

Este artigo da Amazon AI propõe uma maneira nova e inteligente de construir essa ponte, usando uma ferramenta matemática chamada Transporte Ótimo. Vamos simplificar como funciona:

1. O Problema: Traduzir Palavras vs. Entender Contexto

Antes, os cientistas tentavam alinhar as línguas criando uma lista de "pares de palavras" (como um dicionário) antes de começar. Eles diziam: "Ok, 'gato' é igual a 'Katze', então vamos juntá-los".

• O problema: Isso é rígido. E se a palavra "match" em inglês significar "jogo de críquete" em uma frase, mas "casar" (como em "casar com a roupa") em outra? Um dicionário fixo não consegue entender essa nuance. Além disso, criar esses dicionários manualmente ou com regras antigas é lento e muitas vezes erra.

2. A Solução: O "Transporte Ótimo" (OT)

A equipe propôs usar o Transporte Ótimo. Pense nisso como um logista de mudança de casa.

• A Cena: Imagine que você tem uma casa cheia de móveis (palavras em inglês) e precisa movê-los para uma nova casa (palavras em alemão).
• O Método Antigo: Você olha para uma lista e diz: "Mova a cadeira A para a cadeira B". Se a lista estiver errada, a casa fica bagunçada.
• O Método Novo (Transporte Ótimo): Em vez de olhar uma lista pré-definida, você olha para a forma e o peso de todos os móveis juntos. O algoritmo calcula a maneira mais eficiente (com o menor custo de energia) de mover toda a massa de móveis da casa A para a casa B.
  • Ele permite que um móvel vire vários (ex: uma palavra complexa em alemão seja formada por várias palavras simples em inglês).
  • Ele permite que vários móveis virem um (ex: uma frase inteira em inglês corresponda a uma palavra em alemão).
  • Ele faz isso enquanto a IA está aprendendo, sem precisar de uma lista de dicionário pronta antes. É como se o logista aprendesse a mover os móveis enquanto a casa estava sendo construída.

3. Como Funciona na Prática (O "Treinamento")

A IA (chamada de Modelo de Linguagem Contextualizado) já sabe um pouco de tudo, mas precisa ser "ajustada" para entender melhor as conexões entre línguas.

1. A Entrada: Eles pegam frases paralelas (uma frase em inglês e sua tradução em outra língua).
2. O Cálculo: O algoritmo de Transporte Ótimo olha para as "sombras" (representações matemáticas) das palavras em ambas as frases. Ele calcula o "custo" para transformar a nuvem de palavras da frase A na nuvem de palavras da frase B.
3. O Ajuste: Se o custo for alto (significando que as palavras não estão alinhadas), a IA recebe um "sinal de erro" e ajusta seus pesos internos para que, na próxima vez, o custo seja menor.
4. O Resultado: Com o tempo, a IA aprende a colocar as palavras de línguas diferentes no mesmo "espaço mental", entendendo que "sapatos que não combinam" em inglês é a mesma ideia que "sapatos que não combinam" em alemão, mesmo que as palavras sejam diferentes.

4. Por que isso é legal? (As Vantagens)

• Sem Dicionário Prévio: Você não precisa gastar meses criando listas de palavras. A IA descobre as conexões sozinha, de forma "não supervisionada".
• Flexibilidade: Funciona bem para línguas complexas onde uma palavra em uma língua vira três em outra (comum em línguas como alemão ou árabe).
• Contexto: Como usa o contexto da frase inteira, entende que "banco" pode ser onde você senta ou onde você guarda dinheiro, dependendo da frase.

5. Os Resultados

Eles testaram isso em duas tarefas difíceis:

1. Entender se uma frase faz sentido a partir de outra (como um teste de lógica).
2. Responder perguntas encontrando a resposta em um texto.

O resultado? A IA ficou melhor do que os métodos anteriores. Ela aprendeu a "traduzir" conceitos entre línguas com mais precisão, especialmente para línguas com poucos dados disponíveis (línguas de "baixo recurso").

Resumo em uma Metáfora Final

Imagine que você está tentando ensinar um turista a andar em uma cidade nova.

• Método Antigo: Você entrega a ele um mapa com setas fixas: "Vá da Praça A para a Rua B". Se a rua mudar de nome, ele se perde.
• Método do Transporte Ótimo: Você coloca o turista em um "simulador de realidade". Você mostra a ele como a cidade se parece (a forma dos prédios, o fluxo das pessoas) e o deixa descobrir sozinho o caminho mais eficiente para chegar ao destino, ajustando sua rota a cada passo. No final, ele não apenas sabe o caminho, mas entende a geografia da cidade muito melhor.

Essa é a essência do trabalho: usar a matemática do transporte para ensinar a IA a navegar entre línguas de forma mais natural, inteligente e adaptável.

Resumo técnico

Título: Uso do Transporte Ótimo como Objetivo de Alinhamento para Ajuste Fino de Embeddings Contextualizados Multilíngues

1. Problema e Motivação

Os embeddings contextualizados (como os do BERT multilíngue - mBERT) avançaram significativamente o estado da arte em tarefas de Processamento de Linguagem Natural (PLN). No entanto, melhorar a transferência cruzada de línguas (cross-lingual transfer), especialmente para línguas de recursos limitados, continua sendo um desafio.

Métodos anteriores de alinhamento de espaços de embeddings enfrentam duas limitações principais:

1. Dependência de Pares de Palavras Pré-coletados: Muitas abordagens exigem pares de palavras alinhados (ex: "cat" em inglês e "Katze" em alemão) gerados por alinhadores supervisionados ou não supervisionados (como fastAlign). Isso pode levar a correspondências subótimas e perda de relações complexas (ex: muitos-para-um ou muitos-para-muitos).
2. Complexidade do Contexto: Em embeddings contextualizados, o significado de uma palavra depende do contexto. Um alinhamento rígido baseado apenas em tipos de palavras (sem contexto) falha em capturar nuances semânticas e sintáticas dinâmicas.

O objetivo deste trabalho é desenvolver uma técnica de ajuste fino (fine-tuning) que alinhe os espaços de embeddings de línguas fonte e alvo de forma não supervisionada, aprendendo as alinhamentos de palavras dentro do contexto, sem a necessidade de pares de palavras pré-definidos.

2. Metodologia

Os autores propõem o uso do Transporte Ótimo (OT - Optimal Transport) como função de perda (objetivo) durante o ajuste fino de um Modelo de Linguagem (LM) contextualizado multilíngue.

• Abordagem Geral:

  • O modelo utiliza frases paralelas (sentenças alinhadas em línguas diferentes) como sinal de treinamento.
  • Para cada par de línguas (Fonte $\to$ Alvo, onde o Alvo é fixo como Inglês), o modelo gera representações contextualizadas das palavras/subpalavras.
  • Aplica-se o OT para calcular o custo mínimo de "transportar" a distribuição de probabilidade das palavras da sentença fonte para a sentença alvo.

• Otimização com Sinkhorn Divergence:

  • Em vez de usar a distância de Wasserstein pura (que é computacionalmente cara e rígida), os autores utilizam uma variante regularizada chamada Divergência de Sinkhorn.
  • Esta divergência interpola entre a distância de Wasserstein e a Discrepância de Média Máxima (MMD), permitindo um alinhamento "suave" (soft matching).
  • Isso permite mapeamentos muitos-para-muitos, capturando relações complexas onde uma palavra em uma língua pode corresponder a várias palavras (ou partes de palavras) na outra, dependendo do contexto.

• Função de Perda (Fine-tuning):

  • O modelo é ajustado minimizando a soma de duas componentes:
    1. O custo do Transporte Ótimo ($S_\epsilon$) entre as distribuições das sentenças fonte e alvo.
    2. Um termo de regularização que penaliza grandes desvios das representações iniciais do modelo pré-treinado (para evitar catastrophic forgetting).
  • A perda é calculada em mini-batches de frases paralelas para cada par de línguas e acumulada para atualizar os pesos do LM.

3. Contribuições Principais

1. Alinhamento Não Supervisionado via OT: Propõem o uso do OT para alinhar embeddings de línguas fonte e alvo sem a necessidade de pares de palavras pré-coletados, eliminando a dependência de alinhadores externos e heurísticas de correspondência um-para-um.
2. Aprendizado End-to-End em Espaços Contextualizados: Integram a otimização do OT diretamente no processo de ajuste fino do LM, permitindo que o modelo aprenda alinhamentos implícitos e contextuais (muitos-para-muitos) de forma contínua.
3. Desempenho Competitivo: Demonstram melhorias consistentes sobre baselines (como mBERT e métodos de alinhamento L2) em tarefas de transferência zero-shot, validando a eficácia do método em cenários de recursos limitados.

4. Resultados Experimentais

O método foi avaliado em dois benchmarks principais do conjunto XTREME:

• XNLI (Inferência de Texto Natural): Classificação de relação entre pares de frases (entailment, neutral, contradiction).
• XQuAD (Resposta a Perguntas): Identificação de trechos de texto que respondem a uma pergunta.

Principais Achados:

• Comparação com Baselines: O método proposto (WordOT) superou o mBERT base em média:
  • +1.9% no F1 do XNLI.
  • +1.3% no F1 do XQuAD.
• Comparação com Trabalhos Recentes:
  • Superou o método L2 (alinhamento baseado em distância euclidiana) em +0.8% (XNLI) e +6.7% (XQuAD).
  • Em XNLI, obteve resultados comparáveis ao modelo AMBER (que usa múltiplos objetivos, incluindo TLM), embora o AMBER tenha um leve vantagem devido ao uso de sinal de modelagem de linguagem de tradução.
  • Em XQuAD, superou o MAD-X (baseado em adaptadores) em +4.5% no F1.
• Robustez a Dados: O método mostrou-se robusto mesmo com quantidades reduzidas de dados paralelos (testado com 50k frases, equivalente a 1/5 dos dados originais), mantendo desempenho comparável ao uso de 250k frases.
• Línguas Não Vistas: O modelo treinado com OT generalizou bem para línguas não vistas durante o ajuste fino, demonstrando capacidade de transferência zero-shot.

5. Significância e Conclusão

Este trabalho destaca a eficácia do Transporte Ótimo como uma ferramenta poderosa para alinhar espaços vetoriais complexos e contextualizados em PLN multilíngue.

• Vantagem Chave: Ao permitir alinhamentos "suaves" e contextuais, o método captura melhor a complexidade linguística (como compostos e variações morfológicas) do que métodos rígidos de um-para-um.
• Custo Computacional: Embora o OT seja mais lento que métodos baseados em L2 (devido à complexidade $O(n \times m)$ para calcular o transporte), o tempo de ajuste fino é um custo único, e o ganho em precisão justifica o investimento, especialmente para línguas de baixo recurso.
• Futuro: Os autores sugerem explorar variantes do OT (como Gromov-Wasserstein) para alinhar espaços de geometria diferente e combinar o OT com outros objetivos de aprendizado cruzado para melhorar ainda mais o desempenho em modelos de grande escala (como XLM-R).

Em resumo, a proposta oferece uma alternativa elegante e eficaz para melhorar a representação multilíngue, eliminando a dependência de recursos de alinhamento lexical pré-existentes e aproveitando a riqueza dos dados paralelos de forma não supervisionada.