🤖 machine learning

Searching on a Budget: HW-NAS with 10 Latency Probes

Este artigo propõe um framework de NAS consciente de hardware em duas etapas que treina um controlador em dispositivos sintéticos usando proxies de precisão sem treinamento, permitindo que ele se adapte eficientemente a dispositivos-alvo não vistos no momento do teste, buscando arquiteturas com baixa latência por meio de apenas algumas sondas de latência de alta fidelidade.

Autores originais: Francesco Capuano, Gabriele Tiboni, Niccolò Cavagnero, Giuseppe Averta

Publicado 2026-05-18

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Francesco Capuano, Gabriele Tiboni, Niccolò Cavagnero, Giuseppe Averta

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um chef tentando criar a receita perfeita para um prato. Você tem dois objetivos: o prato deve ter um sabor incrível (alta precisão), mas também deve ser cozido o suficiente rápido para atender uma multidão faminta antes que eles se vão (baixa latência/energia).

Geralmente, quando chefs (pesquisadores de IA) criam essas receitas para cozinhas específicas (dispositivos de hardware como telefones ou robôs), eles enfrentam um grande problema. Eles não podem apenas adivinhar quanto tempo um prato levará para cozinhar em uma nova cozinha sem realmente tentar. Mas cozinhar cada variação da receita é lento, caro e arriscado.

É assim que os autores deste artigo resolveram esse problema, usando uma estratégia simples de dois passos:

O Problema: O "Jogo de Adivinhação" é Arriscado

A maioria dos métodos atuais tenta prever quanto tempo um prato levará para cozinhar usando um "livro de receitas" (aproximações analíticas) ou um "vidente" (um preditor de aprendizado de máquina).

O Risco: Se o seu vidente estiver errado, você pode prometer à multidão uma refeição de 5 minutos, mas na verdade leva 20 minutos. Em situações críticas (como um robô precisando reagir instantaneamente), esse erro é inaceitável.
O Custo: Para tornar o vidente preciso, muitas vezes você precisa cozinhar centenas de pratos de teste primeiro, o que consome muito tempo e dinheiro.

A Solução: O "Chef Viajante" com um Mapa Mágico

Os autores propõem uma nova maneira de encontrar a receita perfeita que requer apenas provar 10 pratos na nova cozinha. Eles chamam isso de uma abordagem de "duas etapas".

Etapa 1: Treinamento em uma "Cozinha dos Sonhos" (Dispositivos Sintéticos)

Em vez de tentar aprender as regras de uma cozinha específica, o chef treina em uma cozinha simulada e dos sonhos, onde as regras mudam aleatoriamente a cada dia.

A Analogia: Imagine que o chef pratica em uma cozinha onde a velocidade do fogão, a temperatura do forno e o afiamento da faca mudam aleatoriamente toda vez que ele cozinha. Um dia o fogão é super rápido; no outro, é lento.
O Objetivo: Ao praticar nesse ambiente caótico e em constante mudança, o chef aprende uma habilidade geral: "Como ajustar minha receita com base em como o equipamento se sente agora". Ele não memoriza um fogão específico; ele aprende a se adaptar a qualquer fogão.
O Atalho: Para economizar tempo durante esse treinamento, eles não cozinham o prato completo para prová-lo. Eles usam um "teste de sabor rápido" (um proxy sem treinamento) que estima se a receita teria um bom sabor sem gastar horas cozinhando-a.

Etapa 2: A Cozinha Real (Implantação)

Agora, o chef vai para uma cozinha real e específica (como um iPhone ou um robô) para cozinhar de verdade.

A Estratégia: O chef não adivinha. Ele cozinha apenas 10 pratos específicos (redes candidatas) e cronometra-os exatamente.
A Adaptação: Como o chef passou anos treinando na "Cozinha dos Sonhos", onde as condições mudavam constantemente, ele já é um especialista em ler o ambiente. Ele olha para o cronômetro desses primeiros pratos, percebe: "Ah, este fogão é mais lento do que eu pensava", e ajusta imediatamente os próximos 9 pratos para se adequar a esse fogão específico.
O Resultado: Eles escolhem o melhor prato entre esses 10 testes reais. Sem adivinhação, sem videntes, apenas dados reais.

Por Que Isso é Melhor (Os Resultados)

O artigo testou isso contra outros métodos (como a abordagem do "vidente") em 18 dispositivos diferentes e até em um iPhone 13 real.

O Vidente: Tentou prever o tempo de cozimento para centenas de pratos com base em algumas amostras. Frequentemente errava o tempo, levando a pratos mais lentos do que o prometido.
O Chef da "Cozinha dos Sonhos": Cozinhou apenas 10 pratos, mas os mediu perfeitamente.
O Resultado: O método da "Cozinha dos Sonhos" encontrou receitas que foram 8,7% mais rápidas em testes do mundo real do que os métodos baseados em previsão.

A Grande Conclusão

Se você tem um orçamento muito limitado para testes (só pode olhar o relógio 10 vezes), é melhor medir algumas coisas com precisão do que adivinhar o resultado de muitas coisas.

Ao treinar um "agente inteligente" em uma ampla variedade de cenários falsos e aleatórios primeiro, ele se torna tão bom em se adaptar que pode entrar em uma cozinha totalmente nova e desconhecida, provar apenas 10 pratos e saber instantaneamente exatamente como cozinhar a refeição perfeita para aquele ambiente específico.

Em resumo: Não tente prever o futuro; treine sua IA para ser um mestre da adaptação e, em seguida, deixe-a fazer algumas verificações no mundo real para fazer o trabalho corretamente.

Resumo Técnico: Busca Orçamentada: HW-NAS com 10 Sondas de Latência

Declaração do Problema
A Busca de Arquitetura Neural Consciente de Hardware (HW-NAS) visa automatizar o projeto de Redes Neurais Profundas (DNNs) que equilibram o desempenho da tarefa (por exemplo, precisão) com restrições de hardware (por exemplo, latência) para dispositivos com recursos limitados. As abordagens existentes enfrentam um compromisso crítico:

Medições do mundo real: Compilar e avaliar diretamente redes candidatas em dispositivos-alvo fornece dados de latência precisos, mas é computacionalmente caro e consome muito tempo, especialmente quando o dispositivo-alvo muda.
Aproximações: Tabelas de consulta analíticas (LUTs) ou preditores de latência aprendidos reduzem os custos de busca, mas introduzem erros de estimativa. Em aplicações sensíveis a riscos (por exemplo, robótica), esses erros podem levar a violações dos limites de latência, tornando os projetos não confiáveis.

Além disso, a maioria dos métodos de HW-NAS é adaptada a um único dispositivo-alvo, exigindo uma re-busca completa sempre que o hardware de implantação muda. Há uma necessidade de uma estratégia de HW-NAS multi-dispositivo que minimize o número de sondas de latência do mundo real, caras, evitando ao mesmo tempo as imprecisões dos modelos preditivos.

Metodologia
Os autores propõem um framework de duas etapas que desloca a complexidade da fase de implantação para uma fase de pré-treinamento, permitindo a adaptação a hardware não visto com interação mínima.

Meta-treinamento em Dispositivos Sintéticos (Etapa 1):
- Objetivo: Treinar um controlador de Aprendizado por Reforço (RL) para generalizar em perfis de hardware diversos sem acessar o dispositivo-alvo específico.
- Randomização de Domínio: Em vez de treinar em um único dispositivo, o controlador é exposto a uma distribuição de dispositivos "sintéticos". Estes são gerados amostrando modelos de latência Gaussianos para cada operação com base em dados de 18 dispositivos diferentes no HW-NAS-Bench.
- Proxies Livres de Treinamento: Para evitar o custo proibitivo de treinar redes completas durante o RL, o controlador é supervisionado usando proxies de precisão livres de treinamento (especificamente $p_{FreeREA}$ , uma combinação de NASWOT, LogSynflow e SkipScore).
- Função de Recompensa: O agente maximiza uma recompensa combinando o proxy de precisão livre de treinamento e um termo de latência normalizado, permitindo que ele aprenda o compromisso entre desempenho e eficiência em paisagens de latência variáveis.
Implantação Zero-Shot com Sondas Diretas (Etapa 2):
- Adaptação: O controlador pré-treinado é congelado e implantado em um novo dispositivo-alvo não visto.
- Medição Direta: O controlador interage com o dispositivo-alvo consultando um número muito pequeno de arquiteturas candidatas (por exemplo, 10 sondas). Para cada consulta, ele compila a rede e mede a latência real pós-compilação.
- Histórico de Estado: A latência medida é normalizada e anexada ao histórico de estado. O controlador usa esse feedback para condicionar sua próxima ação (modificando a arquitetura), aprendendo efetivamente o perfil de latência específico do dispositivo-alvo através da observação direta em vez de previsão.
- Seleção: A arquitetura final é selecionada do conjunto de candidatos medidos com base no melhor compromisso observado, não exigindo treinamento adicional ou ajuste de previsão.

Principais Contribuições

Treinamento de RL Randomizado: Um procedimento que produz um controlador capaz de interagir diretamente com dispositivos diversos no momento do teste, treinando-se em uma distribuição de perfis de latência sintéticos.
Eliminação de Preditores: O método descarta completamente aproximações analíticas e preditores de latência aprendidos. Em vez disso, baseia-se em medições diretas no dispositivo de apenas 10 redes candidatas, viabilizado pelo conhecimento prévio transferido da fase de treinamento sintético.
Avaliação Livre de Treinamento: A integração de métricas livres de treinamento para NAS baseado em RL, permitindo pontuação rápida de candidatos sem o custo de treinamento de rede completa.

Resultados Experimentais
O método foi avaliado no espaço de busca NATS-Bench para CIFAR-10, usando dados de 18 dispositivos e validado em um iPhone 13 mini do mundo real.

Desempenho vs. Preditores: Sob um orçamento estrito de 10 medições no dispositivo-alvo, o método proposto alcançou um percentil de latência mediana de 1,65, superando significativamente a busca aleatória (30,16) e uma linha de base de preditor de latência estilo HELP (4,51).
Validação do Mundo Real: Em um iPhone 13 mini, com um orçamento total de 20 medições (dividido entre normalização e busca), o controlador proposto alcançou uma latência mediana de 0,2261 ms, comparado a 0,2477 ms para a linha de base HELP-EA. Isso representa uma redução de 8,7% na latência mediana medida.
Análise de Falha de Preditores: O estudo destacou que métodos baseados em preditores (como HELP) frequentemente selecionaram arquiteturas que eram mais lentas do que o previsto na prática (a latência medida foi mais lenta do que a prevista em 9/10 sementes), enquanto a dependência do método proposto em medição direta garantiu que a latência da arquitetura selecionada fosse conhecida e verificada.
Transferibilidade: O controlador adaptou-se com sucesso a dispositivos retidos (por exemplo, edgegpu, fpga, pixel3, raspi4) usando um protocolo de deixar-um-dispositivo-de-fora, demonstrando transferência efetiva sem retreinamento.

Significado e Alegações
O artigo argumenta que, em cenários onde o acesso ao hardware-alvo é escasso, mas as medições devem ser confiáveis (implantação avessa a riscos), é preferível medir diretamente algumas arquiteturas cuidadosamente escolhidas do que prever muitas não medidas.

Confiabilidade: Ao evitar preditores de latência, o método elimina o risco de erros de estimativa invalidarem garantias de latência.
Eficiência: A abordagem reduz o custo total de implantação ( $C$ ) limitando o número de sondas de verdade ( $|N|$ ) em vez de reduzir o custo por sonda ( $c$ ) via aproximação.
Praticidade: Os resultados sugerem que um controlador de RL pré-treinado pode efetivamente "aprender" as características de latência de um novo dispositivo através de um punhado de sondas diretas, tornando a medição direta uma alternativa viável e superior à aproximação em cenários de HW-NAS de baixo orçamento e alto risco.

Limitações
Os autores reconhecem que o estudo atualmente se limita ao espaço de busca de topologia NATS-Bench e que o design da distribuição de dispositivos sintéticos ( $\Xi$ ) requer maior exploração para garantir transferência ótima. Além disso, o foco atual é principalmente na latência; trabalhos futuros são necessários para estender o framework para restrições multi-objetivo, incluindo memória e energia.