Resumo Técnico: Além da Recuperação de Modelos Base: Tecendo Conhecimento para Dominar o Design de Redes Neurais de Grão Fino

1. Declaração do Problema

Projetar redes neurais de alto desempenho para novas tarefas exige equilibrar a qualidade da otimização com a eficiência da busca. As metodologias atuais enfrentam um compromisso fundamental:

• Busca de Arquitetura Neural (NAS): Embora capaz de encontrar estruturas próximas do ideal, a NAS tradicional depende de tentativa e erro exaustiva, tornando-se computacionalmente cara e ineficiente ("reinventando a roda").
• Recuperação de Modelos: Abordagens recentes recuperam modelos pré-treinados de repositórios extensos para evitar a busca do zero. No entanto, esses métodos frequentemente resultam em checkpoints estáticos subótimos. Eles têm dificuldade em se adaptar às edições arquiteturais de grão fino (por exemplo, alterar mecanismos de passagem de mensagem em Redes Neurais de Grafos) necessárias para corresponder a propriedades de dados idiossincráticos e mudanças de distribuição.

Os métodos de recuperação existentes tipicamente computam a similaridade da tarefa uma única vez e a mantêm estática. Isso falha durante o refinamento sequencial, especialmente sob mudanças Fora de Distribuição (OOD), onde a transferibilidade das evidências anteriores evolui conforme a arquitetura muda. Além disso, quando a evidência direta está ausente ou a nova tarefa é significamente OOD, a simples recuperação torna-se não confiável ou enganosa.

2. Metodologia: M-DESIGN

Os autores propõem o M-DESIGN, um framework de recuperação aumentada que vai além da recuperação estática de modelos para o tecimento adaptativo de conhecimento. A ideia central é modelar os ganhos de desempenho induzidos por modificações arquiteturais de grão fino como "evidência de efeito de edição" e tecer essa evidência dinamicamente para descobrir caminhos de modificação próximos do ideal.

2.1 Grafo de Modificação de Arquitetura-Ganho

Em vez de armazenar registros de desempenho grosseiros de modelos completos, o M-DESIGN constrói uma Base de Conhecimento de Modelos (MKB) organizada como um Grafo de Modificação de Arquitetura-Ganho ($G_\Delta$).

• Nós: Representam configurações de arquitetura.
• Arestas: Representam modificações de 1 salto (1-hop) viáveis.
• Pesos: Representam o ganho de desempenho histórico ($\Delta P$) de uma modificção específica em uma tarefa de benchmark específica.
  Esta estrutura permite que o sistema raciocine sobre trajetórias de modificação e encadeie padrões de edição locais através de diferentes tarefas.

2.2 Tecimento de Conhecimento Adaptativo

O processo de refinamento é enquadrado como a busca por uma sequência de modificações que maximiza o ganho esperado com base na evidência histórica.

• Tecimento de Conhecimento de Grão Fino: O sistema aproxima o ganho em uma tarefa não vista ($D_u$) agregando evidências de ganho de grão fino de tarefas de benchmark ($D_b$). Assume-se que tarefas com comportamento de modificação local consistente compartilham paisagens de refinamento semelhantes.
• Similaridade de Tarefa Dinâmica (Atualização Bayesiana): Uma inovação crítica é o mecanismo de recuperação adaptativo. Em vez de usar uma métrica de similaridade estática, o M-DESIGN mantém uma crença Bayesiana sobre a similaridade da tarefa ($S_t(D_u, D_i)$).
  • À medida que o modelo é refinado e novos ganhos são observados na tarefa não vista, o sistema atualiza a crença de similaridade online.
  • Se novas evidências contradizem a suposição inicial de que uma tarefa de benchmark é similar, a crença posterior reduz o peso dessa tarefa, prevenindo o excesso de confiança e corrigindo mudanças de distribuição.
  • Isso é modelado usando uma verossimilhança Gaussiana onde o ganho na tarefa não vista está linearmente relacionado ao ganho na tarefa de benchmark, escalonado por um fator de transferência.

2.3 Adaptação OOD com Planejadores de Tarefas Preditivos

Para lidar com cenários onde a recuperação de evidência direta é não confiável (dev devido à cobertura histórica esparsa ou mudanças significativas de OOD), o M-DESIGN emprega Planejadores de Tarefas Preditivos.

• Estes são modelos de regressão (instanciados como GNNs de regressão de aresta) treinados nos grafos de modificação-ganho de tarefas de benchmark.
• Eles extrapolam ganhos para modificações que carecem de registros históricos diretos (arestas ausentes) ou quando a crença de similaridade cai abaixo de um limite.
• O sistema utiliza um buffer de replay de interações observadas para ajustar esses planejadores online, garantindo que a evidência sintética se alinhe com a distribuição alvo ao longo do tempo.

3. Principais Contribuições

1. Reenquadramento do Refinamento de Modelos: Os autores propõem a mudança da recuperação de modelos estática para a recuperação adaptativa, que descobre caminhos de modificação próximos do ideal usando priors de repositório enquanto calibra dinamicamente a evidência de transferência para reduzir a dependência da completude do repositório.
2. Similaridade de Tarefa Bayesiana Dinâmica: Eles introduzem um algoritmo iterativo de recuperação-e-refinamento que atualiza crenças de transferência online usando ganhos observados. Isso inclui o treinamento de planejadores de tarefas preditivos para extrapolar evidências confiáveis sob mudanças OOD.
3. Validação Empírica Abrangente: O trabalho demonstra forte desempenho em 33 pares de tarefa-dados (cobrindo classificação de nós, predição de links e classificação de grafos). Sob um orçamento estrito de 100 avaliações de modelos, o M-DESIGN atinge o melhor desempenho do espaço de busca em 26 de 33 casos.
4. Base de Conhecimento de Modelos Aberta: Os autores liberam uma MKB estruturada contendo 67.760 Redes Neurais de Grafos treinadas em 22 conjuntos de dados e 3 tipos de tarefas, registrando explicitamente os registros de efeito de edição.

4. Resultados Experimentais

• Efetividade: O M-DESIGN supera consistentemente bases fortes, incluindo métodos de busca (Random, RL, EA, GraphNAS) e métodos de recuperação (GraphGym, NAS-Bench-Graph, AutoTransfer, DesiGNN). Ele alcança o ótimo global no espaço de design para a maioria dos pares testados.
• Eficiência: O método adiciona um overhead negligenciável (< 0,44 segundos por iteração) em comparação ao tempo de avaliação do modelo. Ele atinge níveis de alto desempenho significativamente mais rápido que as bases, muitas das quais falham em atingir o desempenho alvo mesmo após 100 avaliações.
• Validação Mecanística:
  • Linearidade e Normalidade: A análise empírica confirma que os ganhos de modificação transferem-se aproximadamente de forma linear entre tarefas similares e seguem uma distribuição Gaussiana, validando as suposições de atualização Bayesiana.
  • Dinâmico vs. Estático: Estudos de ablação mostram que remover a atualização de similaridade dinâmica causa uma queda significativa no desempenho e no alinhamento com a consistência local real.
  • Adaptação OOD: Os planejadores de tarefas preditivos são cruciais para conjuntos de dados sensíveis a OOD (ex: Cornell, Texas), melhorando a estabilidade do refinamento onde a transferência estática falha.
• Generalização: O framework também foi testado em domínios tabulares (HPOBench) e de imagem (NATS-Bench), mostrando que, embora o refinamento seja altamente valioso para tarefas tabulares sensíveis aos dados, a recuperação de um único passo (one-shot) costuma ser suficiente para tarefas de imagem relativamente homogêneas.

5. Significância e Alegações

O artigo afirma que o M-DESIGN resolve o dilema entre o alto custo da busca exaustiva e a subotimalidade da recuperação estática. Ao tratar o refinamento de modelos como um processo contínuo de tecimento de evidência de modificação de grão fino, o método alcança um melhor equilíbrio entre eficiência e efetividade.

Os autores enfatizam que sua abordagem é particularmente significativa porque aborda a transferibilidade evolutiva do conhecimento. Diferente de métodos anteriores que assumem similaridade de tarefa estática, o M-DESIGN reconhece que, conforme uma arquitetura evolui, a relevância de diferentes tarefas de origem muda. A integração de planejadores preditivos permite ainda que o sistema funcione de forma robusta mesmo quando o repositório não cobre as modificações específicas necessárias para uma nova tarefa, efetivamente preenchendo a lacuna entre a recuperação dentro da distribuição e a generalização fora da distribuição.

O trabalho conclui que, embora o método dependa da validade da modelagem de ganho local e da cobertura do repositório, ele fornece uma alternativa sistemática e eficiente em termos de amostras ao processo de tentativa e erro ad-hoc, reduzindo os custos energéticos da busca exaustiva. Os autores observam limitações em relação a tarefas extremas de OOD ou ausência total de evidência, sugerindo trabalhos futuros para escalar para famílias de modelos maiores e predição de ganho consciente de incerteza.