Resumo Técnico: Estruturando NAS de Abertura com Conhecimento de Design Semi-Automatizado

Declaração do Problema

Os métodos atuais de Busca de Arquitetura Neural (NAS) enfrentam um compromisso fundamental entre a flexibilidade do espaço de busca e a eficiência de exploração. As abordagens tradicionais de NAS dependem de espaços de busca fechados e pré-definidos (por exemplo, combinações de operadores fixos como convoluções 3x3), o que restringe a descoberta de novas arquiteturas. Por outro lado, os métodos recentes de NAS assistidos por Modelos de Linguagem de Grande Escala (LLM) permitem uma busca "aberta" gerando diretamente o código-fonte do modelo, possibilitando a criação de novos blocos e topologias. No entanto, essas abordagens abertas frequentemente sofrem de exploração ineficiente. Elas dependem com frequência de pools de conhecimento não estruturados derivados de priores de LLM ou mineração bruta de artigos, levando a:

1. Ideias Viciadas e de Baixa Qualidade: O espaço de busca pode ser contaminado por conceitos de design excessivamente específicos de domínio, específicos de tarefa ou irrelevantes (por exemplo, design de função de perda ou processamento de nuvem de pontos 3D) que não se aplicam a backbones visuais.
2. Amostragem Ineficiente: Sem organização estruturada, a amostragem de ideias de design carece de diversidade, frequentemente ignorando modelos compactos, porém de alto desempenho, ou falhando em explorar regiões promissoras da fronteira de Pareto.
3. Violação de Restrições de Hardware: Estratégias de mutação ingênuas frequentemente geram modelos que excedem orçamentos de hardware (FLOPs, contagem de parâmetros), levando ao descarte imediato e à redução da diversidade de candidatos.

Metodologia

Os autores propõem uma abordagem de duas frentes para abordar essas ineficiências: Estruturação Semi-Automatizada de Atributos de Design de Modelo e o framework FairNAD.

1. Estruturação Semi-Automatizada de Atributos de Design de Modelo

Para curar conhecimento de design de alta qualidade e diverso, os autores introduzem uma Árvore de Atributos de Design de Modelo ($D_{attr}$) hierárquica.

• Estrutura: A árvore é organizada em três níveis: Granularidade (Operação, Bloco/Conectividade, Rede), Categoria Principal (por exemplo, Extração de Características, Normalização) e Subcategoria (por exemplo, Convolução Agrupada, Normalização de Camada).
• Construção: Os dois níveis superiores são pré-definidos por especialistas para garantir cobertura ampla. Os subatributos são gerados semi-automaticamente ao solicitar a um LLM códigos de referência de modelos de última geração (SOTA) (por exemplo, ResNet, ViT, EfficientNet) e um modelo de atributo pré-definido.
• Extração de Conhecimento: Esta árvore estruturada é usada para filtrar e extrair ideias de design de artigos acadêmicos. Os artigos são primeiro triados para garantir que se alinhem à árvore de atributos. Os artigos válidos são então processados para extrair ideias de granularidade fina, que são marcadas com seus atributos correspondentes em $D_{attr}$. Esse processo filtra conhecimento irrelevante ou excessivamente específico, resultando em um Banco de Dados de Conhecimento de Design de Modelo ($D_{kn}$) curado.

2. O Framework FairNAD

O FairNAD é um framework de busca evolutiva que utiliza o banco de dados de conhecimento estruturado para realizar Design de Arquitetura Neural (NAD) de abertura eficiente. Ele emprega uma estratégia de mutação multi-tipo e um loop de feedback:

• Mutação com Amostragem Justa de Ideias: Para garantir exploração imparcial, as ideias são amostradas uniformemente de $D_{kn}$ com base em suas tags de atributo (granularidade, categoria principal). Isso impede que a busca seja dominada por tendências populares, mas potencialmente subótimas (por exemplo, mecanismos de atenção excessivos). A tag de granularidade também dita o alvo da mutação (por exemplo, modificar uma operação versus a estrutura da rede).
• Mutação Consciente de Pareto: Para abordar a questão de ignorar modelos compactos, esta etapa amostra modelos pais da fronteira de Pareto (equilibrando precisão e restrições de hardware). Emprega uma estratégia dupla:
  • Escalação: Modelos abaixo do limite do orçamento de hardware são escalados para cima (aumentando largura/profundidade).
  • Ajuste de Hiperparâmetros: Modelos próximos ou que excedem o limite passam por ajuste de hiperparâmetros (por exemplo, tamanho do kernel, passo).
• Mutação Iterativa Orientada por LLM: Para acelerar a convergência, o framework realiza refinamento iterativo em modelos de alto desempenho. O LLM analisa o histórico de mutações bem-sucedidas e gera novas ideias dentro de categorias de atributos similares para otimizar ainda mais candidatos promissores.
• Loop de Feedback: Um componente crítico para manter a diversidade e validade. O código gerado passa por três estágios de verificação:
  1. Verificação de Execução: Garante que o código seja compilável e executável; se ocorrerem erros, o LLM é solicitado a depurar.
  2. Verificação de Orçamento: Verifica FLOPs e tamanho dos parâmetros. Se as restrições forem violadas, o modelo é automaticamente reduzido (por exemplo, reduzindo profundidade ou largura) em vez de descartado.
  3. Verificação Estrutural: Garante que o modelo seja multicamadas e estruturalmente distinto do pai.

Contribuições Principais

1. Estruturação de Conhecimento Semi-Automatizada: O artigo introduz um método para organizar conhecimento de design não estruturado de artigos em uma árvore de atributos hierárquica. Isso permite a filtragem de ideias ruidosas e específicas de domínio e a criação de uma base de conhecimento diversa e de alta qualidade para NAS.
2. Framework FairNAD: Um framework de busca inovador que integra mutações multi-tipo (Amostragem Justa de Ideias, Consciente de Pareto e Iterativa Orientada por LLM) com um loop de feedback. Essa abordagem equilibra exploração (diversidade) e exploração (desempenho) ao mesmo tempo que respeita restrições de hardware.
3. Desempenho de Última Geração: O método demonstra melhorias significativas sobre métodos existentes de NAS feitos à mão e baseados em LLM em benchmarks padrão.

Resultados Experimentais

Os autores avaliaram o FairNAD no benchmark NAS-Bench-201 usando os conjuntos de dados CIFAR-10, CIFAR-100 e ImageNet16-120. A busca foi restrita a contagens específicas de parâmetros (1,5M) e limites de FLOPs.

• Ganhos de Desempenho: Comparado ao método de NAS de abertura de última geração atual (NADER), o FairNAD alcançou melhorias de precisão de teste de:
  • 0,84% no CIFAR-10
  • 2,17% no CIFAR-100
  • 2,35% no ImageNet16-120
• Estudos de Ablação:
  • Conhecimento Estruturado: O uso de inspiração estruturada (vs. inspiração bruta de artigos ou priores de LLM) melhorou a precisão de teste em 0,37 pontos no CIFAR-100.
  • Amostragem Justa: A implementação da amostragem justa de ideias melhorou a precisão em 1,81 pontos, destacando a importância da exploração diversificada de atributos.
  • Mutação Multi-Tipo: A combinação de mutações conscientes de Pareto e iterativas orientadas por LLM produziu os melhores resultados. Notavelmente, a mutação orientada por LLM sozinha foi prejudicial, confirmando a necessidade da diversidade fornecida pela amostragem de Pareto.
  • Loop de Feedback: A remoção do verificador de orçamento degradou significativamente o desempenho e as taxas de aprovação, demonstrando seu papel na preservação de candidatos diversos que seriam descartados.

Significado e Alegações

O artigo alega que o FairNAD estabelece uma base crucial para pesquisas futuras em NAS de abertura, demonstrando que estruturar conhecimento de design é essencial para uma exploração eficiente. Os autores argumentam que depender simplesmente da capacidade "aberta" dos LLMs é insuficiente; o processo de busca deve ser guiado por conhecimento curado e hierárquico e equilibrado por estratégias de mutação multi-estágio.

As arquiteturas descobertas exibem características únicas não tipicamente encontradas em NAS padrão, como:

• Mecanismos de atenção personalizados (por exemplo, DPCA usando tanto pooling médio quanto máximo).
• Mecanismos dinâmicos de compartilhamento de características (por exemplo, FeaturePool).
• Tamanhos de canal e profundidades de camadas não padrão (por exemplo, usando 51, 102, 204 canais em vez de potências de dois).
• Abordagens híbridas combinando CNNs com codificações posicionais ou funções de ativação especializadas (por exemplo, BandLimitedReLU).

Os autores posicionam este trabalho como um passo para reduzir a dependência de design manual de especialistas e permitir a descoberta de arquiteturas neurais mais poderosas, eficientes e inovadoras, aproveitando o conhecimento externo de maneira estruturada e sistemática. Eles reconhecem o alto custo computacional da busca, mas o enquadram como um investimento necessário para alcançar níveis de desempenho inatingíveis por métodos convencionais.