NAS-Driven Hardware Accelerator Exploration for Edge AI and Quantization Effects on the Pareto Space

Imagine que você está tentando construir o cérebro definitivo para um robô, mas tem uma regra estrita: ele deve caber dentro de um dispositivo minúsculo, como um smartwatch ou um drone alimentado por bateria. Este é o mundo da "IA de Borda" (Edge AI), onde a inteligência artificial vive em pequenos dispositivos em vez de servidores gigantescos e famintos por energia na nuvem. Para fazer isso funcionar, os engenheiros precisam resolver um quebra-cabeça complicado: eles precisam de um cérebro que seja inteligente o suficiente para reconhecer rostos ou sons, mas pequeno e rápido o suficiente para rodar sem esgotar a bateria em minutos.

Para encontrar o design de cérebro perfeito, os cientistas usam um método chamado Busca de Arquitetura Neural (NAS). Pense nisso como um chef super-rápido e automatizado que tenta milhões de receitas diferentes (designs de redes neurais) para encontrar aquela que tem o melhor sabor (maior precisidade) usando a menor quantidade de ingredientes (poder de computação). Normalmente, esses chefs cozinham com ingredientes de "precisão total", que é como usar medidas exatas e pesadas. Mas para dispositivos minúsculos, você tem que mudar para a "quantização", que é como mudar para copos de medida menores e mais leves (usando menos bits para representar números). A grande questão é: se você mudar os copos de medida, o design que parecia perfeito na cozinha ainda terá o mesmo sabor na estrada? Este artigo mergulha exatamente nessa questão, explorando como a mudança no sistema de medição afeta a busca pelo melhor cérebro robótico e como encaixar esse cérebro em um chip especial e reconfigurável.

---

A Jornada de Três Estágios para um Cérebro Minúsculo

Os autores deste artigo propõem um pipeline inteligente de três etapas para resolver o problema de encaixar a IA no hardware. Eles chamam isso de uma abordagem "NAS-então-quantizada", que é um pouco como projetar um carro em um computador primeiro, depois testar como ele se comporta em uma estrada de terra acidentada e, finalmente, construir o motor para combinar com o terreno.

Estágio 1: O Frontend Independente de Hardware
Primeiro, a equipe usa um modelo "substituto" (surrogate) — um preditor inteligente que adivinha quão bom é um design sem realmente construí-lo. Eles treinam esse preditor em uma biblioteca massiva de 15.625 designs de redes neurais diferentes (de um conjunto de dados chamado NAS-Bench-201). Este estágio é "independente de hardware", o que significa que não se importa com o chip específico ainda; ele apenas procura os melhores designs com base na precisão e em quantas operações matemáticas (FLOPs) elas exigem. Eles usam duas estratégias de busca: uma "Busca Aleatória" simples (escolhendo designs ao acaso) e um "Algoritmo Evolucionário de Múltiplos Objetivos" (que imita a seleção natural para evoluir designs melhores). Após este estágio, eles têm uma lista curta de dez candidatos principais.

Estágio 2: A Ponte de Quantização
Em seguida, vem o choque de realidade. A equipe pega esses dez principais candidatos e os reduz usando uma técnica chamada Quantização Pós-Treinamento (PTQ), especificamente mudando para INT4 (usando apenas 4 bits por número em vez dos habituais 32). Isso é como pegar uma foto de alta definição e comprimi-la para caber em um telefone antigo. Eles usam uma ferramenta chamada Brevitas para fazer isso.

É aqui que as coisas ficam interessantes. Quando eles comprimem os modelos, alguns designs que pareciam ótimos no primeiro estágio podem falhar ou piorar. A "Ponte de Quantização" atua como um filtro. Ela reclassifica os designs com base em quão bem eles sobrevivem à compressão. Se um design desmorona, ele é descartado. Se nenhum design sobrevرvive, o sistema volta ao Estágio 1 para tentar novamente. Eles escolheram INT4 porque, embora seja muito agressivo, descobriram que com um pouquinho de treinamento extra (apenas duas épocas), os modelos podiam recuperar sua precisão significativamente, saltando de um baixo de 9,49% para até 83,53%, provando que a informação do modelo original foi amplamente preservada.

Estágio 3: O Backend Dependente de Hardware
Finalmente, os designs sobreviventes precisam de um lar. A equipe mapeia esses cérebros comprimidos em um tipo específico de hardware chamado CGRA (Matriz Reconfigurável de Grão Grosso). Pense no CGRA como um tabuleiro de LEGO onde você pode rearranjar os blocos para caber em qualquer formato. Eles usam um algoritmo evolucionário para explorar diferentes maneiras de organizar o hardware (mudando o número de unidades de processamento, profundidade de memória e caminhos de dados). Eles não constroem o chip físico; em vez disso, usam um "oráculo analítico livre" — um simulador matemático — para prever quão rápido e eficiente cada arranjo seria. Eles escolhem a configuração que minimiza o atraso e maximiza o uso dos recursos do hardware.

A Grande Surpresa: Não Jogue Fora o Mapa Antigo

A descoberta mais emocionante deste artigo não é apenas o pipeline de três estágios; é o que aprenderam sobre a relação entre o mundo de "precisão total" e o mundo "comprimido".

Normalmente, quando você comprime um modelo, pode pensar que precisa começar sua busca do zero, treinando um novo preditor especificamente para o mundo comprimido (INT4). Os autores testaram essa ideia. Eles compararam duas abordagens:

1. O Substituto Dedicado INT4: Um preditor treinado especificamente em dados comprimidos.
2. O Substituto Zero-Shot FP32: Um preditor treinado nos dados originais de precisão total, que eles então usaram para adivinhar o desempenho dos modelos comprimidos sem retreinar.

Os resultados foram surpreendentes. Em simulações, o substituto zero-shot FP32 teve um desempenho melhor do que o substituto dedicado INT4. Quando executaram suas estratégias de busca, o preditor FP32 encontrou designs que cobriam uma gama mais ampla das melhores compensações possíveis (o "espaço de Pareto") do que o preditor específico de INT4.

Por quê? Os autores sugerem que os dados de precisão total são "mais limpos" e menos ruidosos. Mesmo que o mundo comprimido seja diferente, a classificação de quais designs são "bons" e quais são "ruins" permanece surpreendentemente semelhante. O artigo observa que, embora a ordem exata dos designs mude (cerca de 21% das vezes, um design que era melhor que outro em precisão total torna-se pior após a compressão), a estrutura geral dos "melhores" designs permanece estável o suficiente para que o mapa antigo (o preditor FP32) ainda seja um guia confiável.

A Estabilidade do Quebra-Cabeça

A equipe não apenas supôs; eles mediram o caos. Eles observaram todos os 15.625 designs para ver o quanto a "fronteira de Pareto" (a lista dos melhores designs absolutos) mudou quando mudaram para INT4.

• A Mudança: A lista de melhores designs se reorganizou completamente. Nenhum dos designs originais de topo sobreviveu como design de topo no mundo comprimido.
• A Inversão: Cerca de 21,73% das vezes, a relação entre dois designs inverteu (o Design A era melhor que o Design B em precisão total, mas o Design B tornou-se melhor após a compressão).
• A Correlação: Apesar desse caos, a correlação geral de classificação ainda foi moderada (0,6655), o que significa que a "forma" geral dos bons designs foi preservada.

Eles também descobriram que modelos menores e mais simples (aqueles com menos operações matemáticas) eram muito mais sensíveis à compressão, frequentemente perdendo precisão. Modelos maiores e mais complexos foram surpreendentemente robustos, provavelmente porque sua estrutura naturalmente suaviza os erros introduzidos pelos números menores.

Os Resultados de Hardware

Finalmente, eles pegaram três de seus melhores designs sobreviventes e os mapearam no hardware CGRA. Descobriram que, apesar de os designs serem diferentes, todos convergiram para a exata mesma configuração de hardware ideal: uma grade de 16 linhas e 66 colunas de unidades de processamento com uma profundidade de memória específica. Isso sugere que, para este tipo de tarefa, o "ponto ideal" do hardware é bastante consistente, independentemente do design específico da rede neural, desde que o design utilize blocos de construção semelhantes.

Conclusão

Este artigo sugere que não precisamos reinventar a roda toda vez que quisermos encolher um modelo de IA para um dispositivo minúsculo. Ao usar um processo de três estágios — encontrando os melhores designs em precisão total, filtrando-os através de um teste de compressão e depois mapeando-os em um hardware flexível — podemos encontrar eficientemente o equilíbrio perfeito entre precisão e tamanho. Mais importante ainda, sugere que podemos confiar em nossas ferramentas de busca de precisão total para nos guiar mesmo no mundo comprimido, economizando tempo e esforço na busca para colocar IAs poderosas em nossos bolsos.