Resumo Técnico: De Regressão a Inferência: Meta-Aprendizado de Preditores para Busca de Arquitetura Neural

Declaração do Problema

A Busca de Arquitetura Neural (NAS) visa automatizar o projeto de arquiteturas de aprendizado profundo, uma tarefa necessária devido à alta dependência do desempenho do modelo em relação às escolhas arquitetônicas. No entanto, a vastidão dos espaços de busca modernos torna a avaliação exaustiva computacionalmente proibitiva. A NAS baseada em predição emergiu como solução, utilizando preditores aprendidos para estimar o desempenho de arquiteturas candidatas sem treinamento completo.

Apesar de sua utilidade, os preditores existentes geralmente dependem de regressão supervisionada para aprender um mapeamento fixo de representações de arquitetura para métricas de desempenho. Essa abordagem enfrenta limitações críticas no contexto da NAS:

1. Escassez de Dados: A NAS opera em um regime onde apenas uma pequena fração do espaço de busca pode ser observada.
2. Sobreajuste e Generalização: Mapeamentos fixos treinados em amostras limitadas frequentemente falham em generalizar para arquiteturas não vistas, levando a um desempenho pobre fora da distribuição.
3. Desalinhamento com Implantação: A regressão convencional não reflete explicitamente o cenário de implantação, onde as previsões devem ser condicionadas a observações parciais do espaço de busca, e não a uma função fixa global.

Metodologia

Os autores propõem uma reformulação fundamental da predição de desempenho na NAS, deslocando-se da regressão determinística para a inferência de função condicional dentro de um framework de meta-aprendizado.

Framework Central: Processo Neural Convolucional (ConvNP)

Em vez de aprender uma função estática $y = f(x)$, o preditor modela a distribuição condicional das saídas-alvo dadas os pares observados de arquitetura-desempenho (o conjunto de contexto). Os autores empregam um Processo Neural Convolucional (ConvNP), que consiste em:

• Codificador: Agrega informações do conjunto de contexto em representações latentes.
• Decodificador: Prevê as saídas-alvo condicionadas a essas representações latentes.
• Mecanismo: O modelo aprende uma distribuição sobre funções, permitindo-lhe inferir saídas não vistas a partir de observações parciais, enquanto considera a incerteza. Isso aproveita a equivalência à tradução das estruturas convolucionais para extrapolar além do suporte das entradas observadas.

Construção de Tarefa Sintética

Para treinar o ConvNP sob um paradigma de meta-aprendizado, os autores geram uma distribuição de tarefas a partir de um único conjunto de dados disponível ($D$) via:

1. Reamostragem: Criando tarefas sintéticas reamostrando os dados observados com reposição.
2. Embaralhamento: Ordenando aleatoriamente os pontos de dados para incentivar a invariância à permutação.
3. Divisão Contexto-Alvo: Cada tarefa sintética é dividida exclusivamente em um conjunto de contexto ($C$) e um conjunto de alvo ($T$). Isso simula o cenário de inferência da NAS, onde o modelo deve prever o desempenho com base em um subconjunto de arquiteturas observadas.

Extração de Meta-Características

Os autores projetam um conjunto de meta-características simples, porém eficazes, para arquiteturas baseadas em células, focando em três aspectos:

• Informação Estatística: Contagens de operações específicas (e.g., $3\times3$ Conv, $1\times1$ Conv) e nós.
• Complexidade Arquitetônica: Pesos baseados em caminhos atribuídos às operações com base na complexidade (e.g., $3\times3$ Conv = 3, Max-pooling = 1), agregados em medidas como pesos de caminho máximo/mínimo e parâmetros totais.
• Informação Estrutural: Métricas derivadas da matriz de adjacência, incluindo contagens de arestas, razões aresta-nó e graus máximos de entrada/saída.
  Essas características são normalizadas para o intervalo $[0, 1]$.

Objetivo de Aprendizado

Reconhecendo que a NAS prioriza a identificação de arquiteturas de alto desempenho sobre a predição distribucional perfeita, os autores combinam dois objetivos:

1. Perda de Regressão ($L_{MSE}$): Incentiva a predição precisa da acurácia de validação.
2. Perda de Ordenação ($L_{rank}$): Uma perda baseada em margem em pares que impõe a ordenação relativa correta das arquiteturas candidatas no conjunto de alvo.
   O objetivo total é $L_{total} = L_{MSE} + \lambda L_{rank}$. Os autores observam que objetivos baseados em verossimilhança (padrão em PNs) foram empiricamente encontrados como menos eficazes e eficientes do que a predição direta da média com supervisão de ordenação para seleção de arquitetura.

Principais Contribuições

1. Nova Formulação: O artigo redefine a predição na NAS como um problema de inferência de função condicional usando ConvNP, afastando-se de mapeamentos fixos para modelos condicionados a observações parciais.
2. Estratégia de Meta-Aprendizado: Introduz uma estratégia para gerar tarefas sintéticas via reamostragem e embaralhamento, permitindo que o preditor generalize sob escassez extrema de dados.
3. Perspectiva de Avaliação: Os autores argumentam que métricas globais fortes de ordenação (e.g., tau de Kendall) não se traduzem necessariamente em melhor seleção de arquitetura. Eles defendem métricas orientadas à seleção, como desempenho Top-K.
4. Validação Empírica: Experimentos abrangentes em NAS-Bench-101 e NAS-Bench-201 demonstram a eficácia do método.

Resultados Experimentais

O método foi avaliado em NAS-Bench-101 (CIFAR-10) e NAS-Bench-201 (CIFAR-10, CIFAR-100, ImageNet16-120) contra várias bases de comparação, incluindo modelos de regressão (LR, RF, MLP, XGB), preditores baseados em Redes Neurais em Grafos (NP, CAP, CARL) e algoritmos de busca (RS, RE).

• Acurácia Preditiva: O ConvNP alcançou acurácias de validação e teste competitivas ou superiores. Em NAS-Bench-101, atingiu 94,76% de acurácia de validação e 94,09% de acurácia de teste, superando a maioria das bases de regressão e algoritmos de busca.
• Desempenho Top-K: Embora o ConvNP nem sempre tenha alcançado a maior correlação global de ordenação (tau de Kendall) comparado a métodos de ordenação especializados como o CARL, demonstrou consistentemente Recall@k superior. Identificou arquiteturas de alto desempenho de forma mais eficaz à medida que $k$ aumentava, particularmente em regimes de poucos dados.
• Eficiência de Dados: Experimentos variando os tamanhos dos conjuntos de treinamento (de 50 a 860 amostras) mostraram que o ConvNP se beneficia significativamente do aumento de dados em regimes de poucos dados, com ganhos de desempenho saturando à medida que o volume de dados cresce.
• Estudos de Ablação: Remover a divisão contexto-alvo ou a geração de tarefas sintéticas levou a quedas significativas de desempenho, confirmando a necessidade da formulação de meta-aprendizado. A combinação de perdas de regressão e ordenação provou-se superior ao uso de qualquer uma isoladamente.

Significado e Alegações

O artigo alega que seu significado principal reside no alinhamento do procedimento de treinamento dos preditores de NAS com o cenário real de implantação. Ao modelar a predição como inferência a partir de observações parciais, o método aborda a escassez de dados inerente à NAS de forma mais eficaz do que a regressão supervisionada tradicional.

Uma ideia-chave destacada é que métricas globais de ordenação nem sempre estão alinhadas com o objetivo prático da NAS. Os autores demonstram que a otimização para métricas orientadas à seleção (Top-K) produz uma seleção de arquitetura mais eficaz, mesmo que a correlação global de ordenação seja ligeiramente inferior à de modelos de ordenação especializados. O trabalho sugere que futuros preditores de NAS devem priorizar abordagens probabilísticas e de meta-aprendizado que reflitam melhor a natureza condicional do processo de busca.

Os autores reconhecem limitações, incluindo desempenho global de ordenação ligeiramente inferior comparado a preditores de ordenação especializados, sensibilidade ao projeto de tarefas sintéticas e sobrecarga computacional adicional comparada a regressores simples. Eles também observam que sua avaliação atualmente está limitada a espaços de busca de benchmarks específicos.