Resumo Técnico: Augmentações de Dados para Pré-treinamento de Modelos de Linguagem com Restrição de Dados

1. Definição do Problema

O artigo aborda o regime emergente de "dados limitados, computação abundante" no desenvolvimento de Grandes Modelos de Linguagem (LLMs). À medida que o estoque de texto público de alta qualidade na internet se aproxima da exaustão, a indústria enfrenta um teto onde a capacidade de computação ultrapassa a disponibilidade de dados. Consequentemente, os modelos devem passar por treinamento de múltiplos épocas em corpora fixos.

Os autores identificam um modo de falha crítico neste cenário: o pré-treinamento autorregressivo (AR) padrão sofre de um overfitting severo. Em seus experimentos, um modelo de 150 milhões de parâmetros treinado em um corpus de 75 milhões de tokens (aproximadamente 40× abaixo do orçamento ideal de Chinchilla) atingiu seu mínimo de perda de validação no época 16 e, subsequentemente, deteriorou-se continuamente, indicando uma mudança da generalização para a memorização. Embora modelos de difusão tenham sido propostos como uma alternativa mais robusta, eles enfrentam atualmente obstáculos práticos em relação aos custos de inferência, geração de comprimento dinâmico e maturidade de infraestrutura. O artigo postula que uma solução mais imediata é introduzir uma regularização do tipo difusão em modelos AR padrão através de augmentação de dados durante o treinamento.

2. Metodologia

Os autores introduzem três categorias ortogonais de augmentação de dados projetadas para modificar os pares (entrada, rótulo) apresentados ao modelo durante o treinamento, sem alterar a arquitetura do modelo ou a função de perda. No momento da avaliação, todas as augmentações são desativadas, e o modelo é testado sob a configuração padrão de predição de próximo token da esquerda para a direita (L2R).

Categoria 1: Ruído ao Nível de Token

Inspirada no processo de ruído dos modelos de difusão, esta categoria corrompe tokens de entrada enquanto exige que o modelo preveja a sequência original, não corrompida.

• Mascaramento (Masking): Uma fração de tokens é substituída por um token especial ``.
• Substituição Aleatória (Random Replacement): Uma fração de tokens é substituída por um token do vocabulário sorteado aleatoriamente. Isso cria um sinal "semanticamente mais difícil" do que o mascaramento, pois a substituição é um token plausível, porém incorreto.

Categoria 2: Permutações de Sequência

Esta categoria reordena sequências de treinamento para alterar a direção ou a estrutura da predição.

• Direita para a Esquerda (R2L): A sequência é invertida, e o modelo prevê os tokens em ordem reversa, guiado por um token de direção.
• Preenchimento no Meio (Fill-in-the-Middle - FIM): A sequência é reordenada em um formato de prefixo-sufixo-meio (PSM) ou sufixo-prefixo-meio (SPM). O modelo deve prever o segmento do meio dado o prefixo e o sufixo.

Categoria 3: Predição de Deslocamento de Alvo (Target Offset)

Em vez de prever o próximo token imediato ($x_{t+1}$), o modelo é treinado para prever um token futuro $x_{t+i}$ em um deslocamento amostrado $i \ge 1$.

• Esquemas de Ponderação: Os autores exploram a amostragem uniforme e a ponderação de decaimento exponencial sobre o horizonte $i$. O esquema exponencial concentra a massa de probabilidade em pequenos deslocamentos (principalmente $i=1$), enquanto amostra ocasionalmente horizontes maiores, atuando como um currículo implícito.
• Mecanismo: Um token especial <next_i> é prefixado para indicar o deslocamento ativo.

Essas categorias podem ser aplicadas simultaneamente em um pipeline sequencial: o ruído é aplicado primeiro, seguido pela permutação (se ativa) e, finalmente, a inserção de tokens de direção/deslocamento.

3. Configuração Experimental

• Modelo: Um modelo de linguagem causal de 150 milhões de parâmetros baseado na arquitetura Llama (20 camadas, tamanho de ocultação de 512).
• Dataset: 75 milhões de tokens do DCLM-RefinedWeb.
• Cronograma de Treinamento: Cronograma de taxa de aprendizado Warmup-Stable-Decay (WSD). Estudos de ablação utilizaram principalmente a fase estável para comparar o desempenho relativo de forma eficiente, com um subconjunto de execuções passando pelo ciclo completo de decaimento para verificações de robustez.
• Métricas: A métrica primária é a perda de validação retida sob predição de próximo token L2R padrão. A acurácia zero-shot em cinco benchmarks de downstream (HellaSwag, PIQA, ARC-Challenge, WinoGrande, COPA) serve como evidência corroborativa.

4. Principais Resultados

Desempenho de Augmentação Individual

• Ruído de Token: A substituição aleatória de tokens superou consistentemente o mascaramento. O melhor método individual foi a Substituição Aleatória a 15%, alcançando uma perda de validação mínima de 3.841 (vs. baseline 4.015). O mascaramento a 15% alcançou 3.910. Taxas menores (5%) forneceram menos regularização, enquanto taxas mais altas (30%) mostraram retornos decrescentes.
• Permutações de Sequência: A mistura de R2L a 50% foi eficaz (perda mínima 3.910), enquanto o FIM não proporcionou benefício (perda mínima 3.947, igual ao baseline) e sofreu overfitting na mesma taxa que o baseline. Os autores atribuem a falha do FIM a um descompasso de distribuição entre o formato de treinamento e a configuração de avaliação.
• Deslocamento de Alvo (Target Offset): A ponderação exponencial sobre deslocamentos $i \le 5$ foi a mais forte augmentação individual (perda mínima 3.870). A ponderação uniforme não proporcionou benefício. Um deslocamento uniforme limitado ($i \le 2$) ofereceu regularização moderada (3.890), mas convergiu mais cedo.

Desempenho de Combinação

O estudo revelou que as combinações são altamente sensíveis a hiperparâmetros e tipos de interação:

• Sinergia: Combinar R2L e Deslocamento de Alvo (exponencial) foi sinérgico, alcançando uma perda mínima de 3.841, empatando com o melhor método individual.
• Interferência: Combinar Ruído de Token e Deslocamento de Alvo causou forte interferência, elevando a perda mínima para níveis próximos ao baseline (ex: Random 15% + Offset $i \le 5$ exp. resultou em 3.995). Os autores atribuem isso ao ruído de token corrompendo o contexto local necessário para a predição de deslocamento.
• Configuração Ótima: Os melhores resultados foram alcançados combinando as três categorias com ajuste cuidadoso. Especificamente, a Substituição Aleatória a 5% (não 15%) combinada com R2L 50% e Offset $i \le 5$ (exponencial) alcançou a melhor perda de validação mínima global de 3.805. Esta configuração reduziu a perda em 0.210 em relação ao baseline.
• Robustez: Os rankings estabelecidos na fase estável foram preservados após a fase de decaimento WSD. A melhor combinação de 3 categorias atingiu um mínimo de decaimento de 3.792.

Generalização Downstream

Todos os modelos aumentados superaram o baseline em acurácia zero-shot em cinco benchmarks. A melhor combinação de 3 categorias alcançou uma acurácia média de 42.9% (vs. baseline 41.0%). Embora a perda de validação não tenha correlacionado perfeitamente com o ranking de acurácia (provavelmente devido ao ruído na escala de 150M), a tendência confirmou que uma menor perda de validação geralmente se traduz em melhor generalização.

5. Significância e Alegações

O artigo afirma que a augmentação de dados é uma estratégia viável e leve para mitigar a ineficiência de dados do pré-treinamento AR. As principais conclusões incluem:

1. Regularização via Augmentação: As augmentações permitem que os modelos extraiam sinais significativos de passagens repetidas sobre dados fixos, retardando ou prevenindo o colapso de overfitting observado no treinamento AR padrão.
2. Substituição Aleatória > Mascaramento: Contrariamente às convenções do estilo BERT, a substituição aleatória de tokens é um regularizador superior para o pré-treinamento AR, provavelmente devido à maior dificuldade de identificar tokens plausíveis-mas-errados em comparação ao sinal de ausência explícita de um mask.
3. Preservação de Formato: Augmentações que preservam o conteúdo, mas alteram a ordem (R2L), são mais eficazes do que aquelas que mudam radicalmente o formato da sequência (FIM) em relação à distribuição de avaliação.
4. Sensibilidade a Hiperparâmetros: O sucesso das combinações depende fortemente das taxas de ruído. Taxas de ruído altas (15%) interrompem os objetivos de deslocamento, enquanto taxas mais baixas (5%) atuam como regularizadores complementares.
5. Praticidade: Ao contrário dos modelos de difusão, esta abordagem não requer mudanças arquiteturais ou nova infraestrutura de inferência, tornando-a uma solução imediatamente aplicável aos pipelines atuais de treinamento de LLM.

Os autores concluem que, embora a augmentação de dados para o pré-treinamento de LLMs tenha sido menos explorada em comparação com estratégias de filtragem ou mistura de dados, ela merece atenção séria como uma técnica de primeira classe para navegar o iminente teto de dados.