Architecture-Aware Minimization (A$^2$M): How to Find Flat Minima in Neural Architecture Search

Título: Architecture-Aware Minimization (A2M): Como Encontrar Mínimos Planos em Neural Architecture Search

1. Problema e Motivação

O Neural Architecture Search (NAS) tornou-se uma ferramenta essencial para projetar redes neurais eficientes. Métodos diferenciáveis, como o DARTS (Differentiable Architecture Search), relaxaram o problema de busca discreta para um espaço contínuo, permitindo o uso de gradientes. No entanto, esses métodos frequentemente sofrem de:

• Colapso de Desempenho: A arquitetura final discreta performa muito pior que a super-rede contínua durante a busca.
• Generalização Pobre: As arquiteturas encontradas tendem a convergir para "mínimos afiados" (sharp minima) no espaço de arquiteturas, o que resulta em baixa robustez e generalização.

Embora a geometria dos espaços de pesos (loss landscapes) seja bem estudada, com a descoberta de que mínimos planos generalizam melhor, a geometria do espaço de arquiteturas permanece pouco explorada. A questão central é: as arquiteturas de alto desempenho residem em regiões planas do espaço de arquiteturas, e podemos explorar isso para melhorar a busca?

2. Metodologia e Investigação Geométrica

Os autores investigam as propriedades geométricas dos espaços de busca do NAS-Bench-201 e do DARTS. Eles introduzem conceitos novos para quantificar a "planura" (flatness) neste espaço:

• Definição de Vizinhança (Neighborhoods):

  • Definiram um raio $R$ no espaço de arquiteturas baseado no número de modificações mínimas (alteração de operações ou ajuste de conexões) aplicadas a uma arquitetura de referência.
  • Analisaram a distribuição de acurácia dos vizinhos de raio 1, 2 e 3.
  • Descoberta Chave: Arquiteturas de alta acurácia tendem a se agrupar em regiões planas (vizinhos têm acurácias muito similares). Arquiteturas de baixa acurácia estão em regiões isoladas, cercadas por barreiras de acurácia altas (muitas mudanças levam a quedas drásticas de desempenho).

• Caminhos e Barreiras de Acurácia (Accuracy Barriers):

  • Construíram "árvores de caminhos" (path trees) para conectar duas arquiteturas distintas através de sequências de modificações mínimas.
  • Calcularam a barreira de acurácia ($B$) entre dois pontos: a diferença entre a acurácia média dos pontos intermediários e a acurácia dos extremos.
  • Resultado: Caminhos entre arquiteturas de alto desempenho apresentam barreiras baixas (paisagem suave), enquanto caminhos entre arquiteturas ruins apresentam barreiras altas (paisagem rugosa/fragmentada).

3. Contribuições Principais: O Algoritmo A2M

Com base na observação de que mínimos planos no espaço de arquiteturas levam a melhor generalização, os autores propõem o Architecture-Aware Minimization (A2M).

• Conceito: O A2M adapta o conceito de Sharpness-Aware Minimization (SAM), originalmente desenvolvido para o espaço de pesos, para o espaço de parâmetros de arquitetura ($\alpha$) no framework DARTS.
• Mecanismo:
  • Em vez de apenas minimizar a perda de validação, o A2M busca minimizar a perda em uma vizinhança ao redor dos parâmetros de arquitetura.
  • Introduz uma atualização de gradiente analítica que explicitamente viésa a busca para regiões planas.
  • A fórmula de atualização (Eq. 8 no paper) envolve calcular gradientes em pontos perturbados ($\alpha \pm \epsilon$) para estimar a curvatura local e ajustar a direção de descida.
• Integração: O A2M é projetado como um "plug-in" que pode ser facilmente integrado a qualquer método DARTS existente, modificando apenas a regra de atualização dos parâmetros de arquitetura.

4. Resultados Experimentais

Os autores avaliaram o A2M em três conjuntos de dados (CIFAR-10, CIFAR-100, ImageNet-16-120) e dois espaços de busca (NAS-Bench-201 e DARTS), comparando com sete métodos state-of-the-art (SotA) baseados em DARTS.

• Desempenho Geral:

  • O A2M melhorou consistentemente a acurácia de teste em todos os benchmarks.
  • Ganhos Médios:
    • CIFAR-10: +3.60%
    • CIFAR-100: +4.60%
    • ImageNet-16-120: +3.64%
  • Em alguns casos, como no PC-DARTS no ImageNet-16-120, a melhoria foi superior a 2x (de 18.41% para 39.59%).

• Análise de Robustez:

  • Arquiteturas encontradas pelo A2M mostraram vizinhos de raio 1 com quedas de acurácia significativamente menores em comparação com as encontradas pelo DARTS padrão, confirmando que o A2M encontra regiões mais planas e estáveis.

• Custo Computacional:

  • O A2M requer 4 passagens de retropropagação em relação aos parâmetros de arquitetura (vs. 1 no DARTS padrão), mas como o número de parâmetros de arquitetura é muito menor que o de pesos, o aumento no tempo de treinamento total é modesto (1.1x a 1.3x).

5. Significado e Conclusão

• Paralelo Geométrico: O trabalho estabelece um paralelo claro entre a geometria do espaço de pesos e o espaço de arquiteturas, provando que a "planura" é uma propriedade fundamental para a generalização em NAS, não apenas em treinamento de pesos.
• Viabilidade Prática: O A2M demonstra que é possível otimizar explicitamente a planura no espaço de arquiteturas de forma analítica e eficiente, superando métodos que tentam mitigar o colapso de desempenho apenas através de regularização ou restrições de conexões.
• Futuro: O método abre caminho para explorar a geometria em espaços de busca mais complexos (como NLP ou robustez adversarial) e sugere que algoritmos de busca discreta também poderiam se beneficiar de estratégias que visem regiões planas, embora isso exija novas formulações não baseadas em gradientes.

Em resumo, o A2M oferece uma ferramenta versátil e eficaz para a comunidade de AutoML, transformando a busca de arquiteturas de um processo puramente de otimização de perda para uma busca geométrica por soluções robustas e generalizáveis.