Resumo Técnico: Busca de Arquitetura Neural Baseada em Deltas via Diffs de Código

Declaração do Problema

A Busca de Arquitetura Neural (NAS) visa automatizar o projeto de redes neurais profundas. Embora abordagens recentes que utilizam Modelos de Linguagem de Grande Escala (LLMs) para gerar código PyTorch executável tenham mostrado promessa, elas sofrem de uma limitação crítica: o paradigma de geração completa. Métodos existentes exigem que o LLM sintetize implementações completas de modelos do zero a cada iteração. Essa abordagem é computacionalmente cara, produz saídas verbosas (tipicamente 200+ linhas de código) e falha em aproveitar o conhecimento estrutural embutido em arquiteturas existentes e funcionais. Além disso, trabalhos anteriores de NAS baseados em LLM foram amplamente restritos a avaliações em conjunto único de dados (por exemplo, CIFAR-10) ou escopos multi-dataset limitados, restringindo a avaliação das capacidades de generalização.

Metodologia: Geração de Delta-Código

Os autores propõem a Geração de Delta-Código, um paradigma onde LLMs ajustados finamente geram unified diffs (deltas) compactos para refinar arquiteturas de base existentes, em vez de sintetizar modelos inteiros. Essa abordagem se inspira em práticas de engenharia de software onde o código é modificado via patches, em vez de ser reescrito.

Pipeline Central

O framework opera através de um protocolo iterativo de 22 ciclos:

1. Seleção de Base: O sistema amostra arquiteturas de base do conjunto de dados LEMUR, uma coleção curada de redes neurais com anotações de desempenho em múltiplos conjuntos de dados.
2. Geração de Delta: O LLM recebe o código-fonte da base e um descritor de conjunto de dados. Em vez de emitir um arquivo completo, ele gera uma saída XML estruturada contendo:
   • <delta>: Um unified diff no formato de patch padrão (linhas de contexto, adições, exclusões).
   • <hp> e <tr>: Tags estruturadas para hiperparâmetros e transformações de dados (seguindo as convenções NNGPT), embora a avaliação utilize os hiperparâmetros originais da base para isolar mudanças arquiteturais.
3. Aplicação e Validação: O diff gerado é aplicado ao código da base usando utilitários de patch padrão. Patches bem-sucedidos passam por validação de sintaxe, verificações de instância e treinamento de uma única época.
4. Filtragem: Para manter a diversidade estrutural e a qualidade, as arquiteturas admitidas devem passar por dois filtros:
   • Filtro de Precisão: O modelo deve atingir pelo menos 40% de precisão de validação top-1 após uma época.
   • Filtro de Novidade: Usando similaridade MinHash-Jaccard, o código gerado deve exibir pelo menos 90% de dissimilaridade estrutural ($\tau_{nov} = 0.90$) em relação ao corpus existente para evitar colapso de modo.
5. Ajuste Fino: O LLM é iterativamente ajustado finamente via LoRA (Adaptação de Baixo Rango) no corpus estático e curado do LEMUR. Crucialmente, os dados de treinamento para o LoRA permanecem fixos; o pool em expansão de arquiteturas geradas serve apenas como um conjunto diversificado de bases para futura geração de deltas, não como dados de treinamento para o próprio LLM.

Configuração Experimental

O estudo avalia três LLMs da classe 7B em seis conjuntos de dados diversos de classificação de imagens (CIFAR-10, CIFAR-100, MNIST, SVHN, ImageNette, CelebA):

• DeepSeek-Coder-7B-Instruct-v1.5 (Especializado em código)
• Qwen2.5-Coder-7B-Instruct (Especializado em código)
• Mistral-7B-Instruct-v0.3 (Instrução geral, não especializado em código)

Todos os modelos passam por 22 ciclos de ajuste fino com 50 candidatos por ciclo (1.100 candidatos totais por LLM). O desempenho é medido usando precisão de validação da primeira época como proxy, consistente com a literatura anterior de NAS baseada em LLM.

Resultados Chave

1. Eficiência e Comprimento de Saída

O paradigma de delta alcança uma redução massiva no consumo de tokens. Em todos os três LLMs, os comprimentos de saída são uniformemente compactos:

• DeepSeek: 30,4 linhas (redução de 85% vs. geração completa)
• Qwen: 31,4 linhas (redução de 84%)
• Mistral: 49,5 linhas (redução de 75%)
  Isso representa uma redução de 75–85% em comparação com as ~200+ linhas típicas de bases de geração completa, traduzindo-se em uma economia agregada de ~5,4x em tokens de saída.

2. Confiabilidade de Geração e Precisão

Sob um protocolo de cluster compartilhado com um pool de base equilibrado de seis conjuntos de dados, todos os três LLMs superam significativamente a base de geração completa (Khalid et al. [24]) e a abordagem iterativa de LLM congelado (Gu et al. [13]):

• Taxa de Geração Válida: DeepSeek (75,3%), Qwen (72,1%), Mistral (66,6%) vs. Geração Completa (50,6%).
• Precisão Média da Primeira Época: DeepSeek (65,8%), Qwen (64,6%), Mistral (66,1%) vs. Geração Completa (42,3%).
• Melhor Precisão da Primeira Época (CIFAR-10): Mistral (85,5%), DeepSeek (85,2%), Qwen (80,6%) vs. Geração Completa (63,98%) e Gu et al. (71,5%).

3. Generalização Multi-Dataset

Ao contrário de trabalhos anteriores restritos ao CIFAR-10 ou a três conjuntos de dados, a abordagem delta generaliza com sucesso para todos os seis conjuntos de dados, incluindo classificação de granularidade fina desafiadora (CIFAR-100) e atributos faciais (CelebA). Todos os três LLMs alcançaram melhores precisões da primeira época de 99,5% no MNIST e ~95% no SVHN.

4. Agnosticismo de Modelo

Os ganhos de desempenho são impulsionados pelo paradigma (geração de delta) e não pela escolha específica do LLM. Apesar das diferenças no pré-treinamento (especializado em código vs. instrução geral), os três modelos agrupam-se estreitamente em todas as métricas principais, com intervalos de confiança sobrepostos. Mesmo o Mistral-7B de propósito geral, que gera diffs ligeiramente mais longos, alcança a maior precisão no CIFAR-10 (85,5%).

Significado e Alegações

O artigo posiciona a Busca de Arquitetura Neural Baseada em Deltas como uma alternativa eficiente em tokens, multi-domínio e agnóstica a LLMs à síntese de modelos completos. Os autores fazem três alegações principais sobre o significado de seu trabalho:

1. Paradigma sobre Modelo: A mudança da geração de arquivo completo para a geração baseada em diff é o principal motor dos ganhos de desempenho. Isso é evidenciado pelo fato de que substituir o formato de saída para o mesmo LLM base (DeepSeek-Coder-7B) e o mesmo protocolo iterativo move a taxa de geração válida para fora do intervalo de confiança da base de geração completa.
2. Cobertura Multi-Dataset como Dimensão de Design: Ao operar em diffs, o pipeline preserva a estrutura específica do conjunto de dados funcional das bases, permitindo generalização para seis conjuntos de dados diversos sem re-treinar o LLM por domínio. Isso contrasta com trabalhos anteriores que avaliaram quase exclusivamente no CIFAR-10.
3. Eficiência Assintótica: A redução de 75–85% no comprimento de saída compõe-se ao longo das iterações, tornando a abordagem significativamente mais viável para implantação local em GPUs de consumidor, onde a inferência de LLM é o custo dominante.

Os autores observam que todas as alegações de precisão dependem do proxy de validação da primeira época, que eles validam por meio de um estudo de treinamento completo de 50 épocas nas 20 melhores arquiteturas. Esse estudo confirma que o proxy de 1 época preserva confiavelmente as classificações de desempenho ($\rho$ de Spearman = 0,926 para Mistral), colocando o método na extremidade superior das correlações de proxy de NAS relatadas na literatura.

O trabalho conclui que, embora o formato de diff introduza um modo de falha único de "mismatch de contexto", os benefícios gerais em eficiência, integridade estrutural e generalização multi-domínio estabelecem a geração baseada em delta como um avanço robusto no NAS impulsionado por LLMs.