Resumo Técnico: Devemos Ainda Pré-treinar Codificadores com Modelagem de Linguagem Mascaramentada?

Declaração do Problema

A aprendizagem de representações textuais de alta qualidade é fundamental para o Processamento de Linguagem Natural (PLN). Tradicionalmente, os modelos codificadores foram pré-treinados exclusivamente usando Modelagem de Linguagem Mascaramentada (MLM), que aproveita a atenção bidirecional para capturar dependências contextuais. No entanto, evidências recentes sugerem que modelos decodificadores pré-treinados com Modelagem de Linguagem Causal (CLM) podem ser efetivamente reaproveitados como codificadores, frequentemente superando os codificadores tradicionais baseados em MLM em benchmarks como o Massive Text Embedding Benchmark (MTEB).

Uma ambiguidade crítica permanece: essas melhorias derivam de uma vantagem inerente da abordagem CLM, ou são meramente artefatos de fatores de confusão, como escalas de modelo significativamente maiores e quantidades substancialmente maiores de dados de treinamento utilizados por modelos decodificadores recentes? Não está claro se o sucesso desse paradigma se deve ao próprio objetivo de aprendizagem ou simplesmente ao aumento da escala.

Metodologia

Para abordar essa questão, os autores conduziram um estudo de ablação controlado e em grande escala, projetado para isolar os efeitos do objetivo de pré-treinamento (MLM vs. CLM) do tamanho do modelo e da escala dos dados.

• Escala Experimental: O estudo treinou um total de 38 modelos variando de 210 milhões a 1 bilhão de parâmetros. Isso envolveu mais de 15.000 execuções de ajuste fino e avaliação, consumindo aproximadamente 110.000 horas de GPU MI250X.
• Variáveis Controladas: Todos os modelos compartilharam arquiteturas idênticas (baseadas no EuroBERT), vocabulário (LLaMA 3) e dados de treinamento (FineWeb-Edu). Crucialmente, todos os modelos foram expostos à mesma sequência exata de amostras para garantir uma comparação justa.
• Paradigmas de Pré-treinamento: Os autores compararam três abordagens:
  1. MLM: Pré-treinamento bidirecional padrão com taxas de mascaramento variáveis (20%, 30%, 40%, 50%).
  2. CLM: Previsão de próximo token autoregressiva.
  3. Híbrido (CLM+MLM): Uma abordagem sequencial de dois estágios onde o CLM é aplicado primeiro, seguido pelo MLM.
• Configurações de Treinamento:
  • Pré-treinamento do Zero (PFS): Modelos treinados a partir de inicialização aleatória.
  • Pré-treinamento Contínuo (CPT): Modelos inicializados a partir de checkpoints existentes de CLM ou MLM e treinados adicionalmente com MLM.
• Avaliação: Os modelos foram avaliados em 12 conjuntos de dados abrangendo quatro categorias principais: Classificação de Sequência (SC), Classificação de Token (TC), Resposta a Perguntas (QA) e Recuperação de Informação (IR). O ajuste fino foi realizado com buscas rigorosas de hiperparâmetros e múltiplas sementes aleatórias para contabilizar a variância.

Principais Descobertas

1. O MLM Geralmente Supera o CLM em Tarefas de Representação

Quando treinados do zero pela mesma duração, os modelos pré-treinados com MLM geralmente alcançam desempenho superior em tarefas de representação textual em comparação com modelos apenas CLM. A lacuna de desempenho é mais pronunciada em Classificação de Sequência e Resposta a Perguntas, que parecem particularmente sensíveis à ausência de contexto bidirecional. Embora os modelos CLM performem competitivamente em Classificação de Token e Recuperação de Informação (especialmente à medida que o tamanho do modelo aumenta), o MLM permanece essencial para um desempenho robusto e abrangente.

2. O CLM Oferece Eficiência de Dados e Estabilidade

Apesar do desempenho final mais baixo em algumas tarefas, os modelos treinados com CLM demonstram vantagens distintas:

• Eficiência de Dados: Nos estágios iniciais do treinamento (até 10.000–20.000 passos), os modelos CLM consistentemente superam os modelos MLM em tarefas downstream. O CLM satura mais cedo, sugerindo que é mais eficiente para aprender representações iniciais.
• Estabilidade no Ajuste Fino: Os modelos pré-treinados com CLM exibem menor sensibilidade às escolhas de taxa de aprendizado durante o ajuste fino, fornecendo uma inicialização mais estável que reduz a necessidade de extensa sintonização de hiperparâmetros.

3. Estratégia Ótima: CLM Sequencial seguido de MLM

Sob um orçamento computacional fixo, uma estratégia de treinamento bifásica produz os melhores resultados. Especificamente, iniciar o pré-treinamento com CLM e transicionar para MLM (CLM+MLM) supera consistentemente o treinamento puramente MLM.

• No cenário PFS, uma divisão de 25% de passos CLM e 75% de passos MLM supera consistentemente a linha de base apenas MLM.
• Essa abordagem combina a eficiência de dados e a estabilidade do CLM com a qualidade de representação do MLM.

4. Aproveitando Modelos Decodificadores Existentes

No cenário de Pré-treinamento Contínuo (CPT), adaptar um modelo pré-treinado com CLM usando MLM é mais eficaz do que continuar o treinamento MLM a partir de um modelo pré-treinado com MLM.

• Aplicar CPT com MLM a um modelo inicializado com CLM fecha a lacuna de desempenho nas tarefas de QA e IR e supera significativamente os modelos apenas MLM em Classificação de Sequência.
• Isso sugere que o caminho computacionalmente mais eficiente para codificadores de última geração é inicializar a partir de modelos decodificadores pré-treinados em grande escala e prontamente disponíveis e continuar o treinamento com MLM.

Significado e Alegações

O artigo desafia a suposição de longa data de que o MLM é a abordagem universalmente ótima para o pré-treinamento de codificadores. Os autores afirmam que:

1. O treinamento bidirecional permanece essencial para alcançar desempenho robusto em todas as tarefas, mas o caminho para esse estado pode ser otimizado.
2. Modelos apenas decodificadores não são apenas codificadores "acidentais"; quando adequadamente adaptados via MLM, eles aproveitam a eficiência de dados do pré-treinamento causal para produzir codificadores superiores.
3. Redução de Custos: A estratégia proposta (inicialização CLM + adaptação MLM) oferece uma maneira de treinar modelos codificadores de melhor classe com carga computacional reduzida, potencialmente diminuindo os custos ambientais e econômicos do treinamento em PLN.

Os autores enfatizam que suas descobertas são baseadas em experimentos controlados na escala de 100B de tokens, fornecendo evidências empíricas robustas de que a escolha do objetivo de aprendizagem impacta significativamente a qualidade da representação downstream, independentemente de fatores de confusão de escala. Eles liberam todos os artefatos (checkpoints, código, dados) para fomentar pesquisas adicionais sobre essas dinâmicas de treinamento.