Resumo Técnico: Misture, Não Ajuste: Pré-treinamento Bilíngue Supera a Busca de Hiperparâmetros em Cenários com Restrição de Dados

Declaração do Problema

À medida que os orçamentos de computação expandem mais rapidamente do que os dados textuais disponíveis, o pré-treinamento de modelos de linguagem opera cada vez mais em um regime com restrição de dados. Neste regime, os modelos devem repetir seus dados de treinamento muitas vezes para utilizar a computação disponível, uma prática que degrada ativamente a generalização ao deslocar a capacidade do modelo em direção à memorização, em vez da indução. Esta questão é particularmente aguda para idiomas de baixo recurso (LRLs), onde corpora de alto valor são pequenos demais para preencher os orçamentos de computação.

Os praticantes atualmente enfrentam duas alavancas principais para mitigar essa degradação:

1. Ajuste Agressivo de Hiperparâmetros (HP): Aumentar a regularização (por exemplo, decaimento de peso) para reduzir os pesos e restringir a capacidade da rede, contendo assim o sobreajuste ao corpus alvo repetido.
2. Mistura de Dados Auxiliares: Introduzir dados de um idioma de alto recurso (HRL) para diversificar o sinal de treinamento e expandir a distribuição de treinamento.

Embora ambas as estratégias ofereçam maneiras fundamentadas de melhorar o treinamento, sua eficácia relativa, interação e impacto no desempenho downstream versus a perda de validação permanecem incertas. Especificamente, é desconhecido se a mistura de dados auxiliares proporciona um benefício maior do que o ajuste agressivo de HP, quanto a mistura compensa a escassez de dados e se a perda de validação no idioma alvo reflete com precisão esses ganhos.

Metodologia

Os autores conduziram uma comparação sistemática em quatro escalas de modelo (150M, 380M, 600M e 1,43B parâmetros) usando Árabe como o alvo de baixo recurso e Inglês como o auxiliar de alto recurso. O estudo envolveu aproximadamente 1.000 execuções de pré-treinamento.

Configuração Experimental

• Dados: O corpus Árabe foi subamostrado para 200M tokens únicos ($D_{LR}$) do FineWeb2, repetido até 100 vezes ($R_{max}=100$). O corpus Inglês era efetivamente ilimitado.
• Orçamento de Treinamento: Fixado em $D = 100 \times N_{nonemb}$ tokens. Em configurações bilíngues, o orçamento se divide em uma porção Árabe ($\alpha D$) e uma porção Inglesa ($(1-\alpha)D$), onde $\alpha$ é a taxa de mistura.
• Regimes de Hiperparâmetros:
  • HP Básico: Os hiperparâmetros (decaimento de peso $\lambda$, taxa de aprendizado $\eta$) foram ajustados no modelo proxy de 150M e transferidos para escalas maiores usando Parametrização de Atualização Máxima ($\mu$P).
  • HP Ajustado: Uma busca em grade completa ($5 \times 5$ para $\lambda, \eta$) foi realizada em cada escala para encontrar a configuração ótima.
• Quatro Paradigmas: O estudo percorreu estratégias de dados (Monolíngue vs. Bilíngue) e regimes de HP (Básico vs. Ajustado) para isolar efeitos.
• Avaliação:
  • Métrica Primária: Perda de Validação em Árabe (VL).
  • Métrica Downstream: Precisão do ARC Easy (5-shot) em Árabe e Inglês.
  • Análise: Decomposição de variância (ANOVA) foi usada para quantificar a contribuição das taxas de mistura versus hiperparâmetros para a variância de desempenho.

Principais Contribuições e Resultados

1. A Mistura de Dados Domina o Ajuste de Hiperparâmetros

O estudo encontra que misturar um idioma de alto recurso produz melhorias significativamente maiores do que o ajuste de hiperparâmetros sozinho.

• Perda de Validação: Em 1,43B de parâmetros, o treinamento bilíngue melhorou a perda de validação em Árabe em 12,9% sobre a linha de base monolíngue, enquanto o ajuste de HP sozinho rendeu apenas 3,1%.
• Escalonamento: A lacuna de desempenho entre mistura e ajuste amplia-se à medida que o tamanho do modelo aumenta. Em 1,43B, um modelo bilíngue com hiperparâmetros básicos $\mu$P superou um modelo monolíngue com hiperparâmetros ajustados por escala, apesar de ser 2,4$\times$ menor.
• Retornos Decrescentes do Ajuste: Uma vez que dados diversos são introduzidos via mistura, o ganho marginal de um ajuste adicional de HP é negligenciável (<1% na perda de validação).

2. Quantificando o Valor da Mistura (O Multiplicador de Dados)

Os autores quantificam quanto dados únicos do idioma alvo a mistura substitui efetivamente.

• Perda de Validação: A mistura fornece um multiplicador de 2–3$\times$ (por exemplo, 200M tokens Árabes misturados com Inglês performam como 500M–600M tokens Árabes únicos na VL).
• Precisão Downstream: O multiplicador é muito mais substancial em benchmarks, variando de 2$\times$ a 13$\times$. Em 1,43B, o treinamento bilíngue em 200M tokens Árabes igualou a precisão de um modelo monolíngue treinado em 2,7B tokens Árabes únicos (um multiplicador de 13,4$\times$).
• Divergência: Há uma divergência sistemática onde a perda de validação subestima o valor da mistura. A perda de validação captura o efeito de regularização (diversificando o sinal), mas falha em capturar a transferência de conhecimento (capacidades factuais) que o idioma auxiliar fornece, o que é crítico para benchmarks downstream.

3. Sensibilidade de Hiperparâmetros e Transferência $\mu$P

• Sensibilidade: A taxa de mistura ótima ($\alpha$) desvia-se para mais Inglês à medida que o tamanho do modelo cresce (por exemplo, de $\alpha=0,33$ em 380M para $\alpha=0,10$ em 1,43B).
• Eficácia do $\mu$P: Transferir hiperparâmetros de um modelo proxy pequeno (150M) via $\mu$P é altamente eficaz. A lacuna entre HPs transferidos via $\mu$P e HPs ajustados por escala permanece abaixo de 0,6% na perda de validação para modelos bilíngues até 1,43B.
• Afinamento da Paisagem: Em 1,43B, a paisagem de hiperparâmetros torna-se mais afiada e interativa (especificamente entre taxa de aprendizado e decaimento de peso), tornando buscas em grade amplas arriscadas. No entanto, o $\mu$P permanece um "padrão seguro" robusto que evita os cantos patológicos do espaço de HP.

4. Perda de Validação como Proxy

Embora a perda de validação seja um proxy confiável para selecionar checkpoints dentro de uma única execução (correlação $r \approx 0,97$ com a precisão máxima), ela não é uma métrica confiável para comparar estratégias monolíngues e bilíngues. Confiar apenas na perda de validação levaria os praticantes a subavaliar a mistura bilíngue, pois a métrica não contabiliza os ganhos de conhecimento downstream fornecidos pelo idioma auxiliar.

Significado e Recomendações Práticas

O artigo conclui que, em cenários com restrição de dados, a mistura é a alavanca primária para melhoria, enquanto o ajuste de hiperparâmetros é secundário. Os autores oferecem uma receita prática para praticantes:

1. Misture um idioma de alto recurso: Priorize encontrar a taxa de mistura ótima em vez do ajuste agressivo de hiperparâmetros.
2. Use $\mu$P para transferência: Transfira hiperparâmetros de um modelo proxy pequeno para escalas maiores para minimizar os custos de busca.
3. Reavalie as métricas: Não use apenas a perda de validação no idioma alvo para comparar estratégias monolíngues e bilíngues, pois ela subconta sistematicamente o valor dos dados auxiliares.

O estudo demonstra que o custo computacional da mistura é justificado porque substitui repetições desperdiçadas no sobreajuste por conhecimento valioso e diverso, atuando efetivamente como um multiplicador de dados que escala acentuadamente com o tamanho do modelo.