YOLO-NAS-Bench: A Surrogate Benchmark with Self-Evolving Predictors for YOLO Architecture Search

O artigo apresenta o YOLO-NAS-Bench, o primeiro benchmark de substituição para busca de arquitetura neural em detectores YOLO, que utiliza um mecanismo de autoevolução para aprimorar um preditor baseado em LightGBM, permitindo a descoberta eficiente de arquiteturas que superam os modelos oficiais YOLOv8 a YOLO12.

O essencial

Imagine que você é um chef de cozinha de renome mundial tentando criar o prato perfeito de "arroz com feijão" (que, no mundo da inteligência artificial, é a detecção de objetos em imagens).

O problema é que testar cada nova receita leva dias de trabalho na cozinha (treinar o modelo em um computador superpoderoso). Se você quiser testar 1.000 receitas diferentes para encontrar a melhor, você precisaria de anos e uma conta de energia elétrica astronômica.

É aqui que entra o YOLO-NAS-Bench, o trabalho apresentado por Zhe Li e sua equipe da Universidade de Pequim. Eles criaram uma solução genial para esse problema. Vamos explicar como funciona, usando analogias do dia a dia:

1. O Problema: A Cozinha Muito Lenta

Antes, para criar novos modelos de detecção de objetos (como os famosos YOLO), os cientistas tinham que cozinhar cada versão do zero. Era como se, para cada nova ideia de tempero, você tivesse que comprar todos os ingredientes, ligar o fogão e esperar o prato ficar pronto antes de provar. Era caro, lento e impedia a inovação rápida.

2. A Solução: O "Sabor de Prova" (O Benchmark)

Os autores criaram o YOLO-NAS-Bench. Pense nisso como uma biblioteca de degustação.

• Eles já "cozinhou" (treinou) 1.000 receitas diferentes de modelos YOLO em uma versão menor do prato (COCO-mini, que é 10% dos dados originais).
• Eles anotaram exatamente como cada uma ficou: quão rápida foi e quão saborosa (precisa) foi.
• Agora, em vez de cozinhar do zero, os cientistas podem consultar essa biblioteca para saber o resultado de uma receita sem precisar gastar dias na cozinha.

3. O "Chef Robô" (O Preditor)

Mas, e se você quiser testar uma receita que não está na biblioteca? É aqui que entra o Preditor Surrogato.
Imagine um robô chef que provou as 1.000 receitas da biblioteca e aprendeu a prever como seria o sabor de qualquer nova receita apenas olhando para a lista de ingredientes (largura dos canais, profundidade dos blocos, tipo de operador).

• O Desafio: No começo, esse robô era bom, mas não excelente. Ele acertava o sabor geral, mas tinha dificuldade em distinguir qual era o absolutamente melhor prato entre os mais sofisticados.
• A Mágica (Auto-Evolução): Os autores criaram um mecanismo chamado "Mecanismo de Auto-Evolução".
  • O robô chef tenta adivinhar quais seriam as melhores receitas.
  • Em vez de apenas adivinhar, ele realmente cozinha essas 50 receitas promissoras que ele escolheu.
  • Ele prova essas novas receitas e adiciona os resultados à sua memória.
  • Ele repete esse processo 10 vezes.
  • Resultado: O robô aprende especificamente a identificar os "pratos de estrela Michelin". Ele evoluiu de um cozinheiro mediano para um especialista em encontrar o topo da qualidade.

4. O Resultado: Descobrindo Novos Campeões

Com esse robô chef super-evoluído, eles fizeram uma busca automática por novas receitas (arquiteturas).

• O robô sugeriu 4 novas receitas.
• Eles cozinham essas 4 receitas de verdade para confirmar.
• A Grande Vitória: Essas 4 novas receitas foram melhores do que todos os modelos oficiais (YOLOv8 até YOLO12) que já existiam! Elas foram mais rápidas e mais precisas ao mesmo tempo.

Resumo em uma frase:

Os autores criaram um "simulador de cozinha" inteligente que aprende sozinho a prever quais receitas de inteligência artificial serão as melhores, permitindo que descubram novos modelos campeões em minutos, em vez de levar dias de treinamento.

Por que isso importa?
Isso democratiza a criação de inteligência artificial. Em vez de apenas grandes empresas com supercomputadores poderem criar novos modelos, qualquer pesquisador pode usar esse "benchmark" para testar ideias rapidamente, acelerando o avanço da tecnologia que faz carros autônomos, câmeras de segurança e apps de celular funcionarem melhor.

Resumo técnico

1. Problema

A busca de arquitetura neural (NAS) para detecção de objetos enfrenta um gargalo severo devido ao alto custo de avaliação. Treinar completamente cada arquitetura candidata da família YOLO no conjunto de dados COCO pode levar dias em clusters de múltiplas GPUs. Além disso, enquanto existem benchmarks robustos para NAS em classificação de imagens (como NAS-Bench-101/201/301), a comunidade de detecção carece de um benchmark unificado e comparável. Métodos existentes de NAS para detecção (como Det-NAS, OPANAS, YOLO-NAS) definem seus próprios espaços de busca e configurações de avaliação, dificultando comparações justas entre diferentes métodos.

2. Metodologia

Os autores propõem o YOLO-NAS-Bench, o primeiro benchmark de substituição (surrogate benchmark) projetado especificamente para detectores estilo YOLO. A metodologia é dividida em três componentes principais:

A. Design do Espaço de Busca

O espaço de busca cobre o backbone (espinha dorsal) e o neck (pescoço) dos detectores YOLO, mantendo a head (cabeça) fixa. O espaço é parametrizado por três dimensões:

• Largura do Canal: Seleção independente do número de canais para cada estágio do backbone (P2–P5).
• Profundidade do Bloco: Número de blocos repetidos em cada estágio.
• Tipo de Operador: Seleção de módulos de extração de características e operadores de downsampling.
  • Módulos: Inclui C2f, C3k2, C2fCIB e C2PSA (blocos centrais do YOLOv8 ao YOLO12).
  • Downsampling: Conv padrão e SCDown.
  • O espaço abrange milhões de configurações únicas.

B. Construção do Banco de Dados Inicial

Para criar uma base de dados de "verdade absoluta" (ground-truth):

• Foram amostradas 1.000 arquiteturas utilizando três estratégias complementares:
  1. Amostragem Aleatória: Cobertura uniforme.
  2. Amostragem Estratificada: Garante representação balanceada em diferentes escalas de parâmetros.
  3. Amostragem de Hipercubo Latino (LHS): Maximiza a cobertura no espaço discreto de alta dimensão.
• Todas as arquiteturas foram treinadas do zero no COCO-mini (um subconjunto estratificado de 10% do COCO) sob um protocolo unificado.

C. Preditor de Substituição e Mecanismo de Auto-Evolução

• Preditor Inicial: Um modelo LightGBM foi treinado para prever o mAP (média de precisão) com base em vetores de características das arquiteturas.
• Mecanismo de Auto-Evolução (Self-Evolving Mechanism): Reconhecendo que preditores treinados em dados uniformemente amostrados podem falhar em prever com precisão a "fronteira de alto desempenho" (onde o NAS mais importa), os autores propuseram um loop iterativo:
  1. O preditor atual guia uma busca evolutiva (EA) dentro de "buckets" de latência.
  2. As arquiteturas promissoras descobertas são treinadas no COCO-mini para obter o mAP real.
  3. Essas novas arquiteturas de alto valor são adicionadas ao pool de treinamento.
  4. O preditor é retreinado.
  • Este processo foi repetido por 10 rodadas, expandindo o pool de 1.000 para 1.500 arquiteturas.
• Ensemble: O resultado final é um ensemble de 10 modelos LightGBM treinados com diferentes sementes aleatórias para reduzir a variância.

3. Contribuições Principais

1. YOLO-NAS-Bench: O primeiro benchmark de substituição unificado para detectores YOLO, cobrindo o espaço de busca do YOLOv8 ao YOLO12.
2. Mecanismo de Auto-Evolução: Uma abordagem inovadora para alinhar a distribuição de treinamento do preditor com a fronteira de alto desempenho, melhorando significativamente a precisão de classificação das melhores arquiteturas.
3. Validação Prática: Demonstração de que o preditor pode ser usado como função de aptidão (fitness function) para descobrir arquiteturas que superam os modelos oficiais.

4. Resultados

• Qualidade do Preditor:
  • Após o mecanismo de auto-evolução, o desempenho do ensemble aumentou significativamente:
    • R² (Coeficiente de Determinação): Subiu de 0,770 para 0,815.
    • Sparse Kendall Tau (sKT): Subiu de 0,694 para 0,752.
  • Um sKT de 0,752 indica forte consistência na classificação (ranking) das arquiteturas.
• Busca Guiada pelo Preditor:
  • Ao usar o preditor para guiar uma busca evolutiva, as arquiteturas descobertas (Ours) superaram consistentemente todos os baselines oficiais do YOLO (v8 a v12) no COCO-mini.
  • Dominação de Pareto: As arquiteturas encontradas alcançaram maior mAP com a mesma ou menor latência em comparação aos modelos oficiais.
  • Exemplo: Em modelos pequenos, a arquitetura descoberta superou o YOLO11s em +4,2% de mAP com latência comparável. No extremo grande, superou o YOLO12x em mAP sendo 1,5x mais rápida.

5. Significado e Impacto

O YOLO-NAS-Bench preenche uma lacuna crítica na comunidade de visão computacional, fornecendo um ambiente padronizado e de baixo custo para avaliar algoritmos de NAS para detecção de objetos.

• Aceleração da Pesquisa: Permite que pesquisadores testem novos algoritmos de NAS sem o custo proibitivo de treinar milhares de modelos no COCO completo.
• Validação de Eficácia: O sucesso do preditor em descobrir arquiteturas que superam os modelos manualmente projetados (YOLOv8-v12) valida a eficácia da abordagem de substituição e do mecanismo de auto-evolução.
• Futuro: Embora atualmente limitado ao COCO-mini e a uma GPU específica (P40) para medição de latência, o trabalho estabelece a base para expansões futuras para conjuntos de dados completos, diversas plataformas de hardware e outras tarefas de detecção (como segmentação).

Em resumo, o artigo apresenta uma solução robusta para o problema de custo computacional no NAS de detecção, utilizando um preditor inteligente e evolutivo que não apenas acelera a busca, mas também resulta em arquiteturas superiores às existentes.