Knowing in Advance When an Evolutionary Outer Loop Will Not Help: A Pre-Registered Cheap-Baseline Screening Rule

Resumo Técnico: Saber Antecipadamente Quando um Loop Externo Evolucionário Não Ajudará

Definição do Problema
Loops externos evolutivos, baseados em população e de ciclo de vida (lifecycle) que buscam otimizar parâmetros, máscaras, rotas ou estruturas de redes neurais são frequentemente propostos para otimizar objetivos que os loops internos baseados em gradiente não conseguem atender diretamente. No entanto, esses loops externos são computacionalmente caros, custando tipicamente de $10^2$ a $10^3$ vezes mais do que o loop interno que eles envolvem. O desafio prático crítico para laboratórios de pesquisa não é determinar se um loop externo pode ajudar, mas determinar antecipadamente e de forma barata se ele valerá o investimento. Atualmente, essa determinação é geralmente feita apenas após o custo significativo de implementação e execução ter sido incorrido.

Metodologia: O Portão de Triagem de Fase-0
O artigo introduz um procedimento de decisão prospectivo e pré-registrado chamado Portão de Falsificação de Linha de Base Barata de Fase-0 (Phase-0 Cheap-Baseline-Falsification Gate). Este protocolo é executado antes de qualquer implementação de loop externo começar.

1. Procedimento: O laboratório enumera as explicações não-mecânicas mais plausíveis e baratas para o efeito esperado. Estas incluem:

   • Linhas de base aleatórias (random baselines).
   • Heurísticas de disparo único (ex: estatísticas de gradiente ou curvatura).
   • Métodos estáticos/não-evolutivos.
   • Adaptação total não mascarada.
     Estas linhas de base são executadas na métrica exata que o projeto pretende usar, partindo de uma linha de base "quente" (sem adaptação adicional).

2. A Regra de Triagem: O protocolo calcula uma razão de recuperação única, $R$:
   $$R = s / G$$
   Onde:

   • $s$ é o ganho alcançado pela melhor estatística de gradiente/curvatura de disparo único (single-shot).
   • $G$ é a fronteira alcançável, definida como o ganho máximo alcançado por qualquer método barato avaliado no portão (incluindo a estatística de disparo único, aleatórios e linhas de base estáticas).

3. Limiar de Decisão: Se $R \ge 90\%$, a regra prescreve pular o loop externo. A lógica é que, se um método barato de disparo único já recupera 90% do melhor ganho possível encontrado por qualquer método barato, é improvável que o ciclo de vida evolutivo forneça uma melhoria detectável sobre o substrato estático. O limiar de 90% é uma convenção conservadora escolhida para evitar pular falsamente um loop potencialmente útil, situada abaixo dos pontos de "morte" observados nos dados dos autores.

Principais Contribuições

• Uma Regra de Decisão Pré-Registrada: Diferente de trabalhos anteriores que usam linhas de base baratas como comparadores post-hoc para desmentir métodos após serem construídos, este artigo propõe um portão de "vá/não vá" (go/no-go) pré-construção com um limiar comprometido e falsificável.
• Operacionalização da "Inutilidade": A regra fornece uma métrica concreta ($R$) para quantificar quando uma busca cara é desnecessária porque uma computação estática barata já capturou o efeito.
• Validação em um Corpus Intra-Laboratorial: Os autores aplicam esta regra ao próprio trabalho, relatando dois casos analisados e um "arquivo de gaveta" (file drawer) de outras tentativas falhas.

Resultos
A regra foi validada em uma série de projetos dentro do laboratório dos autores:

• Caso 1 (Ciclo de Vida MoE): Um projeto investigando sinais de aptidão alinhados de "leave-one-out" (LOO) em um ciclo de vida de Mistura de Especialistas (MoE) evolutivo. O portão de Fase-0 mostrou que uma mudança estática no roteador-substrato capturou o efeito ($R \approx 1.0$). Uma decomposição fatorial complementar confirmou que o ciclo de vida evolutivo não contribuiu com ganho detectável; a vitória aparente deveu-se inteiramente à mudança do substrato estático. O loop externo foi abandonado.
• Caso 2 (Resgate de Máscara): Um projeto testando se máscaras de mutabilidade esparsa herdáveis poderiam resgatar adaptadores LoRA aquecidos por gradiente.
  • Teste de Hereditariedade: Um controle de $\kappa$-aleatório sem ciclo de vida (máscaras aleatórias a cada época) superou o loop de resgate herdável ($0,906$ vs $0,805$ de preservação). O conteúdo evolutivo (hereditariedade/seleção) não adicionou valor.
  • Teste de Identidade de Máscara: A melhor estatística de disparo único (norma do gradiente) alcançou a fronteira ($R \approx 1.0$) mesmo contra a adaptação total não mascarada. Não havia "espaço" (headroom) para uma máscara evoluída explorar.
  • Resultado: O loop externo não foi construído.
• Economia de Custos: Para o estudo de identidade de máscara, o portão de Fase-0 custou $\sim 50\text{--}70$ horas de GPU. Ele excluiu um estimado de $\sim 400+$ horas de GPU (apenas a primeira célula) mais semanas de implementação, representando uma economia de $6\text{--}8\times$.
• Busca de Condição Negativa: Os autores tentaram encontrar uma tarefa do mundo real onde $R < 90\%$ (indicando uma potencial necessidade de um loop externo). Em uma tarefa de seleção de conjunto de exemplares de aprendizado em contexto (in-context learning), a construção gulosa/beam barata recuperou $97\%$ da fronteira alcançada pela busca aleatória ($R_{screen} \approx 97\%$), fazendo o portão disparar novamente. O único caso em que um loop externo superou um método de disparo único foi um controle sintético, alinhado por oráculo ($R \approx 0.004$), não uma tarefa real.

Significância e Alegações
O artigo enquadra explicitamente sua contribuição como metodológica, não algorítmica.

• Alegações Modestas: Os autores não alegam que loops externos evolutivos nun nunca ajudam. Eles afirmam que os resultados negativos individuais (que métodos estáticos frequentemente são suficientes) não são surpreendentes dada a literatura existente sobre objetivos suaves e poda (pruning).
• Valor Central: A novidade reside no procedimento de decisão empacotado, evidenciado e prospectivamente falsificável. Ele reformula o erro recorrente e caro de construir loops externos sobre espaços que já são atendidos por otimizadores internos em uma verificação barata e antecipada.
• Falsificabilidade: A regra é explicitamente falsificável. Uma tarefa do mundo real com $R < 90\%$ onde o loop externo ainda assim falharia em superar a linha de base de disparo único refutaria a regra. Por outro lado, a regra não é refutada se uma tarefa com $R < 90\%$ tiver sucesso; tal caso simplesmente validaria a condição sob a qual loops externos deveriam ser construídos.
• Limitações: Os autores reconhecem que os resultados não são replicações independentes (mesmo laboratório/instinto de design), que a "condição positiva" (quando loops externos ajudam) é atualmente uma hipótesia com apenas evidência sintética, e que a regra é validada apenas em trabalhos de escala LoRA/MoE.

Em resumo, o artigo fornece um protocolo rigoroso e de baixo custo para evitar o desperdício de recursos computacionais em loops externos evolutivos quando uma linha de base estática ou de disparo único já atingiu a fronteira de desempenho.