Staged Factorial Screening for Budget-Constrained Micro-Pretraining

Resumo Técnico: Triagem Fatorial Estagiada para Micropré-treinamento com Orçamento Restrito

Definição do Problema
Em loops de pesquisa automatizados para treinamento de modelos de linguagem, pesquisadores frequentemente enfrentam cenários de "micropré-treinamento" com orçamento restrito, onde muitos candidatos a receitas devem ser triados em aceleradores compartilhados antes de comprometer orçamentos de busca maiores. Embora trajetórias de "melhor até o momento" (por exemplo, busca gananciosa ou aleatória) possam identificar configurações de hiperparâmetros aprimoradas, elas frequentemente falham em atribuir ganhos de desempenho a fatores específicos (por exemplo, profundidade, largura, tamanho de lote) ou suas interações. Essa falta de atribuição dificulta a compreensão estrutural do comportamento inicial do treinamento. O artigo aborda a questão de saber se um fluxo de trabalho de triagem fatorial estagiada e compacto pode identificar direções de penalidade estáveis sob orçamentos rigorosos de tempo de execução (2 a 10 minutos) e se esses sinais permanecem robustos o suficiente para suportar um fluxo de trabalho prático de "triagem-então-refinamento".

Metodologia
O estudo emprega um design experimental estagiado em um loop de treinamento de GPU única fixo, derivado de auto-pesquisa (host Windows A100, com replicação limitada em Linux L40S). O fluxo de trabalho consiste em dez estágios:

1. Triagem Piloto: Um design fatorial fracionário regular $2^{(5-1)}$ (Resolução V) foi usado para triar cinco fatores: Profundidade (A), Razão de Aspecto (B), Taxa de Aprendizado de Matriz (C), Tamanho de Lote Total (D) e Razão de Warmdown (E). Isso foi executado em orçamentos de 2, 5 e 10 minutos.
2. Reruns de Triagem Completa com Sementes: Para anexar a incerteza da semente às estimativas de efeito principal, o design de triagem de 16 condições completo foi executado novamente com cinco sementes independentes por condição em 5 e 10 minutos (160 execuções no total).
3. Análise Estatística:
   • Efeitos Principais: Modelos de Mínimos Quadrados Ordinários (OLS) foram ajustados para cada orçamento. Os efeitos foram testados para significância usando p-valores bilaterais e intervalos de Wald de 95%.
   • Correção de Múltiplos Testes: Dentro de cada família de cinco efeitos predeclarada para um orçamento fixo, a correção de taxa de falsa descoberta de Benjamini-Hochberg (BH) foi aplicada ($q=0.05$).
   • Análise de Seguimento: Um seguimento D-fixo analisou interações dentro de um conjunto de fatores reduzido usando dados de semente fixa legados.
   • Decomposição de Variância: Execuções de confirmação de semente direcionadas (90 linhas) usaram ANOVA Tipo-II para quantificar as parcelas de variância entre orçamento, condição e identidade da semente.
4. Baselines e Comparações:
   • Busca Gananciosa (Greedy Search): Baselines gananciosos no mesmo host foram executados para comparar trajetórias de "melhor até o momento" contra a triagem estruturada.
   • Busca Aleatória (Random Search): Um baseline aleatório de custo correspondente (80 execuções, 16 sorteios por lote) testou se competidores fortes poderiam ser encontrados por acaso sem atribuição estruturada.
   • Pacote Bridge: Um pacote de 60 minutos testou quatro âncoras predeclaradas (melhor triagem, melhor bridge, melhor ganancioso, controle) para ver se os rankings de espaço reduzido se mantinham em horizontos mais longos.
   • Continuações Cross-Host: Continuações de 12 e 24 horas foram executadas em ambos os hosts Windows (A100) e Linux (L40S) usando três âncoras (bridge, greedy, controle) para testar a estabilidade do sinal centrado na bridge.

Principais Resultados

• Penalidades Dependentes de Orçamento: As penalidades de efeito principal de Tamanho de Lote Total (D) e Tamanho do Modelo (A/B) dominam o comportamento inicial do treinamento, mas relaxam substancialmente conforme o orçamento aumenta de 2 para 10 minutos.
  • Aos 5 e 10 minutos, os fatores D, A, B e C retiveram estimativas não nulas após a correção BH-FDR.
  • O fator E (Razão de Warmdown) não reteve uma estimativa não nula em nenhum dos orçamentos com semente, indicando que o sinal inicial era provavelmente ruído.
• Estrutura de Interação: No seguimento D-fixo, as interações (ex: A:B) permaneceram presentes, mas foram secundárias em magnitude absoluta em relação aos efeitos principais. Sua saliência relativa aumentou conforme os efeitos principais diminuíram, mas elas não dominaram a estrutura de efeito.
• Busca Aleatória vs. Triagem: A busca aleatória pôde alcançar incumbentes fortes neste espaço de 32 condições. No entanto, esses sucessos não foram dispersos; os vencedores consistentemente caíram na mesma região de baixa penalidade (especificamente $A=-1, D=-1$) identificada pela triagem projetada. A busca aleatória carecia de atribuição de fatores, enquanto a triagem estagiada forneceu compreensão estrutural.
• Refinamento da Bridge:
  • Aos 10 minutos, o extremo melhor triado (profundidade 6) foi o melhor performer.
  • Aos 60 minutos, a bridge de largura centrada (profundidade 8, razão de aspecto 64) ultrapassou o extremo triado e o incumbente ganancioso, tornando-se o melhor performer médio.
  • Isso sugere que, embora orçamentos curtos favoreçam modelos menores devido a penalidades de profundidade, orçamentos mais longos permitem que modelos maiores realizem suas vantagens de capacidade.
• Estabilidade Cross-Host:
  • A âncora centrada na bridge manteve consistentemente a menor média amostral em ambos os hosts Windows e Linux, através dos horizontos de 10, 60, 12 e 24 horas.
  • No entanto, a hierarquia completa de âncoras não foi invariante ao host. No Linux, o controle predeclarado não permaneceu o pior performer (ele ocupou o segundo lugar), e a âncora gananciosa às vezes performou pior que o controle. Apenas a superioridade da âncora bridge foi direcionalmente estável entre os hosts.

Significância e Alegações
O artigo apresenta uma conclusão metodológica limitada em vez de uma alegação de otimalidade universal ou de ranking invariante ao hardware.

1. Recomendação de Fluxo de Trabalho: Os autores defendem um fluxo de trabalho estagiado: usar triagens projetadas curtas para identificar direções de alta penalidade, confirmar regiões de âncoras promissoras com execuções repetidas e, então, refinar localmente dentro do espaço reduzido. Esta abordagem fornece atribuição direta de fatores que as trajetórias de "melhor até o momento" não possuem.
2. Atribuição sobre Qualidade de Incumbente: O estudo demonstra que, embora a busca aleatória ou gananciosa possa encontrar boas receitas, elas não explicam por que são boas ou separam o refinamento do fluxo de trabalho das vantagens de capacidade do modelo. A triagem estagiada isola as "direções de alta penalidade" (Lote e Profundidade) precocemente.
3. Validade Limitada: As evidências apoiam uma recomendação centrada na bridge através de 24 horas em dois hosts, mas os autores declaram explicitamente que isso não estabelece a otimalidade global de longo horizonte, estruturas de ranking invariantes ao hardware ou superioridade geral de otimização de hiperparâmetros. Os resultados são específicos para o regime de micropré-treinamento e para o loop de treinamento utilizado.
4. Utilidade Prática: O valor primário é a interpretabilidade e a redução do espaço de busca. Ao identificar que fatores como a Razão de Warmdown (E) são negligenciáveis no início, e que as penalidades de Lote/Profundidade relaxam ao longo do tempo, os pesquisadores podem tomar decisões informadas sobre onde alocar orçamentos de busca maiores.

O artigo conclui que o fluxo de trabalho estagiado recupera com sucesso a estrutura de efeito inicial estável sob orçamentos rigorosos, permitindo uma estratégia de "triagem-confirmação-refinamento" que é mais informativa do que a busca não estruturada, desde que os resultados sejam interpretados dentro dos limites do regime experimental específico.