Robust MAE-Driven NAS: From Mask Reconstruction to Architecture Innovation

Resumo Técnico: MAE-NAS Robusto

Declaração do Problema
A Busca de Arquitetura Neural (NAS) tornou-se uma ferramenta fundamental para a descoberta autônoma de arquiteturas de rede superiores, mas os métodos tradicionais dependem fortemente de frameworks de aprendizado supervisionado. Essa dependência exige conjuntos de dados rotulados extensos e que demandam muito trabalho, criando um gargalo significativo em cenários com restrição de recursos. Além disso, os métodos existentes de busca de arquitetura diferenciável, como o DARTS, sofrem de "colapso de desempenho" em configurações não supervisionadas, onde o processo de busca falha em identificar arquiteturas robustas, frequentemente recorrendo a atalhos subótimos, como conexões de salto (skip connections) excessivas. Embora esforços recentes tenham explorado o NAS não supervisionado para reduzir a dependência de rótulos, eles não abordaram totalmente os problemas de estabilidade inerentes à adaptação do DARTS para paradigmas autossupervisionados.

Metodologia
Os autores propõem o MAE-NAS, um novo framework de NAS não supervisionado que utiliza Autoencoders de Máscara (MAE) para substituir os objetivos de classificação supervisionada por uma tarefa de reconstrução de imagem. O método integra o paradigma MAE ao espaço de busca do DARTS através dos seguintes mecanismos:

1. Objetivo de Otimização Não Supervisionada: Em vez de minimizar a perda de classificação, o MAE-NAS otimiza a reconstrução da imagem. O framework emprega um problema de otimização de dois níveis onde os parâmetros da arquitetura ($\alpha$) são atualizados para minimizar a perda de reconstrução de validação, enquanto os pesos da rede ($w$) são atualizados para minimizar a perda de reconstrução de treinamento. A entrada consiste em imagens aleatoriamente mascaradas alimentadas em um codificador (construído sobre o espaço de busca do DARTS) e um decodificador que reconstrói a imagem original.
2. Decodificador Hierárquico: Para abordar o colapso de desempenho observado no DARTS quando aplicado a tarefas não supervisionadas, os autores introduzem um decodificador hierárquico. Experimentos revelaram uma forte correlação entre o colapso de desempenho e a razão de máscara; especificamente, razões de máscara baixas (abaixo de 0,5) induzem o colapso, enquanto razões mais altas o mitigam. No entanto, depender apenas de altas razões de máscara corre o risco de excluir arquiteturas promissoras devido à sensibilidade ao limiar. O decodificador hierárquico proposto processa características de múltiplas resoluções ($F_1, F_2, F_3$) do codificador através de caminhos paralelos, integrando informações de granularidade fina e grossa. Este design estabiliza o processo de busca ao acelerar o fluxo de gradiente e impor o aprendizado multiescala, prevenindo efetivamente o domínio das conexões de salto que leva ao colapso.
3. Integração Plug-and-Play: O método é projetado para ser compatível com várias variantes do DARTS e não requer indicadores manuais ou sobrecarga adicional, funcionando como um substituto direto para o objetivo supervisionado em pipelines de NAS existentes.

Principais Contribuições

• NAS Livre de Rótulos via MAE: O artigo introduz a primeira exploração do uso de Autoencoders de Máscara para NAS totalmente não supervisionado, permitindo a descoberta eficiente de arquiteturas sem dados rotulados, mantendo a adaptabilidade arquitetônica.
• Solução do Colapso de Desempenho: Os autores identificam a ligação entre as razões de máscara e o colapso do DARTS em cenários não supervisionados e propõem um decodificador hierárquico como uma solução fundamental para estabilizar o processo de busca e garantir a seleção de arquiteturas robustas.
• Eficiência e Robustez: A abordagem oferece uma solução plug-and-play que se integra perfeitamente aos métodos de NAS supervisionados, eliminando a necessidade de indicadores manuais e demonstrando robustez superior em diferentes configurações de hiperparâmetros.

Resultos Experimentais
Experimentos extensivos foram conduzidos nos conjuntos de dados CIFAR-10 e ImageNet utilizando o espaço de busca do DARTS:

• Desempenho: O MAE-NAS alcançou uma acurácia Top-1 de 97,8% no CIFAR-10 e 76,5% no ImageNet. Estes resultados superam os contrapartes supervisionados existentes (ex: DARTS, PC-DARTS) e outros métodos não supervisionados (ex: UnNAS, RLNAS).
• Eficiência: O método demonstrou reduções significativas no custo de busca, exigindo apenas 0,2 dias de GPU para o CIFAR-10 e 2,3 dias de GPU para o ImageNet, o que é inferior ou comparável aos métodos supervisionados, evitando simultaneamente o custo da anotação de dados.
• Estudos de Ablação:
  • Sensibilidade da Razão de Máscara: O método mostrou robustez em várias razões de máscara (0,1 a 0,7), com impacto mínimo no desempenho final da arquitetura.
  • Impacto do Decodificador Hierárquico: A remoção do decodificador hierárquico resultou em um severo colapso de desempenho em razões de máscara mais baixas (ex: o erro Top-1 saltou de ~2,67% para 5,87% com uma razão de 0,2) e um aumento significativo nas conexões de salto (de 1 para 8), confirmando o papel do decodificador na estabilização da busca.
  • Qualidade de Reconstrução: Visualizações confirmaram que as arquiteturas encontradas com o decodificador hierárquico produziram reconstruções de imagem de maior qualidade, correlacionando-se com um melhor desempenho arquitetônico.

Significância e Alegações
O artigo afirma que o MAE-NAS fornece uma nova perspectiva para abordar o problema do colapso de desempenho no DARTS sob cenários não supervisionados. Ao substituir os objetivos supervisionados por uma tarefa de reconstrução, o método elimina a necessidade de dados rotulados intensivos em recursos sem comprometer a capacidade de generalização. Os autores afirmam que seu decodificador hierárquico resolve fundamentalmente os problemas de instabilidade associados ao DARTS não supervisionado, oferecendo um framework robusto, eficiente e universalmente aplicável para busca de arquitetura livre de rótulos. O trabalho estabelece os autoencoders de máscara como proxies eficazes para tarefas de NAS, superando métricas não supervisionadas existentes que sofrem de dependência de dataset ou incompatibilidade com operadores não paramétricos.