HERCULES: Hardware-Efficient, Robust, Continual Learning Neural Architecture Search

Este artigo apresenta o HERCULES, um novo framework e taxonomia para Busca de Arquitetura Neural que unifica os objetivos críticos de eficiência de hardware, robustez e aprendizado contínuo para orientar o desenvolvimento de sistemas de IA implantáveis e de aprendizado ao longo da vida.

O essencial

Imagine que você é um arquiteto encarregado de construir uma casa. Por muito tempo, a única coisa que importava era fazer a casa parecer boa (alta precisão). Mas, à medida que começamos a mover essas "casas" (modelos de IA) dos projetos para o mundo real, percebemos que parecer bom não era suficiente.

Este artigo, intitulado HERCULES, argumenta que, para construir uma casa de IA verdadeiramente bem-sucedida, é necessário equilibrar três objetivos difíceis ao mesmo tempo:

1. Eficiência: A casa deve ser pequena o suficiente para caber em um dispositivo minúsculo e alimentado por bateria (como um relógio inteligente ou um sensor), usando muito pouca energia.
2. Robustez: A casa deve ser resistente o suficiente para suportar tempestades, terremotos ou até mesmo alguém tentando arrombar a porta (ataques adversariais ou ruído de hardware).
3. Aprendizado Contínuo: A casa deve ser capaz de crescer e mudar ao longo do tempo. Se um novo membro da família se mudar para dentro (uma nova tarefa), a casa deve se expandir para acomodá-lo sem derrubar os quartos antigos (esquecendo o conhecimento anterior).

O Problema: A Abordagem de "Silos"

Os autores apontam que os pesquisadores de IA atuais geralmente constroem casas focando em apenas uma dessas coisas.

• Alguns constroem casas minúsculas que são energeticamente eficientes, mas desmoronam em uma tempestade.
• Outros constroem casas fortaleza que são super resistentes, mas pesadas demais para mover.
• Alguns constroem casas que podem adicionar novos cômodos facilmente, mas são tão grandes que esgotam a bateria instantaneamente.

O artigo afirma que, no mundo real, você precisa de uma casa que faça todas as três coisas simultaneamente.

A Solução: O Framework HERCULES

Os autores propõem um novo framework chamado HERCULES (Hardware-Efficient, Robust, and Continual LEarning Search). Eles o nomeiam em homenagem ao herói grego Hércules porque, como o herói, a tarefa é "desafiadora".

Pense no HERCULES como um Arquiteto Mestre que não apenas desenha um projeto estático. Em vez disso, este arquiteto projeta uma casa "viva" com duas características especiais:

1. O "Interruptor Inteligente" (Adaptatividade Dinâmica):
   Imagine uma casa com um sistema de iluminação inteligente. Se você estiver apenas passando pelo corredor, as luzes ficam fracas (economizando energia). Mas se você estiver cozinhando uma refeição complexa, as luzes acendem forte (usando mais energia para melhores resultados).

   • No artigo: Isso é chamado de Rede Neural Dinâmica. A IA pode escolher fazer um "palpite rápido" para tarefas fáceis (economizando energia) ou uma "imersão profunda" para tarefas difíceis (garantindo precisão). Ela também pode reconfigurar seu cabeamento interno se o hardware começar a apresentar problemas.

2. A "Expansão Modular" (Aprendizado Contínuo):
   Imagine uma casa com uma fundação mágica. Quando um novo membro da família chega, a casa pode adicionar gentilmente uma nova ala sem demolir a antiga.

   • No artigo: Isso resolve o "esquecimento catastrófico". A IA aprende novas tarefas expandindo ligeiramente sua estrutura, em vez de sobrescrever suas memórias antigas.

Os "Doze Trabalhos" do HERCULES

Assim como Hércules teve que completar doze tarefas impossíveis, os autores dizem que construir essa IA perfeita exige superar 12 desafios específicos (ou "trabalhos"). Aqui estão alguns dos mais importantes, traduzidos para termos cotidianos:

• Trabalho 1: O Teste do Mundo Real (Coprojeto Hardware-Software).
  Não calcule apenas quantos tijolos você precisa no papel. Você deve testar a casa no terreno real onde ela ficará. O design da IA deve levar em conta as peculiaridades específicas do chip em que ela será executada.
• Trabalho 2: O Teste da Tempestade (Robustez Escalável).
  Você não pode esperar por um furacão para testar se sua casa é segura. Você precisa de uma maneira de simular tempestades rapidamente durante a fase de projeto para garantir que a casa não desmoronará.
• Trabalho 3: O Equilíbrio (Plasticidade vs. Estabilidade).
  Esta é a parte mais difícil. Você quer que a casa seja flexível o suficiente para adicionar um novo cômodo (plasticidade), mas estável o suficiente para que o novo cômodo não trague a fundação (estabilidade). O framework deve encontrar o equilíbrio perfeito.
• Trabalho 12: A Visão de Longo Prazo (Sustentabilidade do Ciclo de Vida).
  A maioria das IAs é "implantar e esquecer". O HERCULES pergunta: "O que acontece em 5 anos quando o hardware ficar velho ou os dados mudarem?" O design deve ser sustentável a longo prazo, não apenas para o primeiro dia.

Por Que Isso Importa

O artigo conclui que não podemos mais confiar em ferramentas separadas para eficiência, força e crescimento. Precisamos de uma abordagem unificada.

HERCULES é o roteiro para construir uma IA que seja:

• Leve o suficiente para rodar no seu telefone ou em um sensor.
• Resistente o suficiente para lidar com dados ruins ou falhas de hardware.
• Adaptável o suficiente para aprender coisas novas para sempre sem esquecer as antigas.

É um chamado para parar de construir IA "estática" e começar a construir IA "viva" que possa sobreviver ao mundo real, bagunçado, em constante mudança e faminto por recursos.

Resumo técnico

Resumo Técnico: HERCULES – Busca de Arquitetura Neural Eficiente em Hardware, Robusta e de Aprendizado Contínuo

1. Declaração do Problema

A Busca de Arquitetura Neural (NAS) tradicionalmente concentrou-se em otimizar o compromisso entre precisão e eficiência de hardware (por exemplo, latência, memória, energia). No entanto, à medida que os sistemas de IA transitam de benchmarks estáticos para implantação no mundo real, esse foco dual é insuficiente. Aplicações modernas de IA enfrentam três desafios ortogonais, porém interconectados:

1. Eficiência: A necessidade de operar dentro de restrições rigorosas de recursos (energia, memória, computação) em dispositivos de borda.
2. Robustez: A exigência de manter a confiabilidade sob variabilidades ambientais, incluindo perturbações adversariais, ruído induzido por hardware (por exemplo, deriva de condutância em memórias emergentes) e deslocamentos de distribuição.
3. Aprendizado Contínuo (CL): A capacidade de adaptar-se a tarefas sequenciais sem esquecimento catastrófico, equilibrando plasticidade (aprendizado de novos conhecimentos) e estabilidade (retenção de conhecimentos antigos).

A literatura atual de NAS trata majoritariamente esses objetivos de forma isolada. Existem levantamentos para NAS consciente de hardware, NAS robusta ou NAS de aprendizado contínuo, mas nenhum oferece uma perspectiva unificada que trate os três como igualmente fundamentais. Além disso, soluções existentes frequentemente falham em considerar a natureza dinâmica da implantação no mundo real, onde os modelos devem adaptar-se a fluxos de dados em mudança e à degradação de hardware ao longo do tempo. A questão central de pesquisa abordada é: É possível automatizar o projeto de arquiteturas de redes neurais que mantenham a confiabilidade do desempenho sob ruído de hardware e deslocamentos de dados, respeitando orçamentos energéticos rigorosos e requisitos de tarefas em evolução?

2. Metodologia e Taxonomia

O artigo propõe uma taxonomia abrangente de abordagens de NAS através da "tripla lente" de eficiência, robustez e aprendizado contínuo. Ele categoriza os métodos existentes em três pilares principais e analisa suas interseções:

A. Eficiência (NAS Consciente de Hardware)

O levantamento revisa métodos otimizados para ambientes com restrições de recursos, categorizados em:

• Compressão de Modelos: Integração de poda, quantização e escalonamento de arquitetura diretamente no loop de busca (por exemplo, MSuNAS, CNAS, APQ).
• Redes Neurais Dinâmicas: Arquiteturas que adaptam a computação à complexidade da entrada, como Redes de Saída Antecipada (EENNs), Mistura de Especialistas (MoE) e Redes Multirramo (por exemplo, EExNAS, HADAS, InstaNAS).
• Coprojeto Hardware-Software: Otimização conjunta de arquiteturas neurais e parâmetros de aceleradores (por exemplo, configurações FPGA/ASIC, fluxos de dados) para alcançar soluções de Pareto ótimas inatingíveis ao fixar qualquer um dos lados (por exemplo, Codesign-NAS, DNA, NACIM).

B. Robustez

O artigo categoriza a NAS consciente de robustez em cinco fontes de perturbação:

• Otimização de Planicidade: Busca por mínimos planos na paisagem de perda para melhorar a generalização e a estabilidade (por exemplo, R-DARTS, GeNAS, A2M).
• Robustez Adversarial: Otimização contra perturbações intencionais usando técnicas como treinamento adversarial e regularização de Lipschitz (por exemplo, ADVRUSH, RNAS, WsrNAS).
• Robustez a Ruído de Hardware: Abordagem de não idealidades em dispositivos de Computação em Memória (IMC) como RRAM e PCM, incluindo deriva de condutância e comutação estocástica (por exemplo, CMQ, UAE, AnalogNAS).
• Robustez a Deslocamento de Recursos: Adaptação à disponibilidade dinâmica de energia (por exemplo, cenários de colheita de energia).
• Robustez Multimodal: Garantia de estabilidade através de diferentes modalidades e deslocamentos de domínio (por exemplo, NAS-OOD, MFAS, Harmonic-NAS).

C. Aprendizado Contínuo

O levantamento identifica que poucos trabalhos de NAS otimizam o CL de forma isolada. A maioria dos métodos de NAS focados em CL é revisada no contexto de otimização conjunta com eficiência. As abordagens principais incluem:

• Baseadas em Expansão: Crescimento dinâmico da largura ou profundidade da rede à medida que novas tarefas chegam (por exemplo, Continual NAS, CLEAS, BNS).
• Baseadas em Regularização: Uso de penalidades para impedir que atualizações de pesos interfiram em tarefas anteriores (por exemplo, REC).
• Baseadas em Distilação: Transferência de conhecimento de modelos antigos para novos.

D. A Lacuna

O artigo destaca fraquezas críticas nas soluções atuais:

• Visão Estática: A maioria da NAS consciente de hardware assume um ambiente estático e livre de ruído, falhando em antecipar a degradação de hardware ou deslocamentos de distribuição ao longo do tempo.
• Cegueira Temporal: A NAS focada em robustez frequentemente ignora a necessidade de adaptabilidade, criando modelos que são robustos, porém rígidos (incapazes de aprender novas tarefas).
• Sobrecarga de Hardware: Arquiteturas robustas frequentemente incorrem em sobrecarga significativa de parâmetros, tornando-as inadequadas para orçamentos de TinyML.
• Isolamento: Eficiência, robustez e CL são raramente otimizados conjuntamente, levando a compromissos subótimos para implantação no mundo real.

3. Contribuições Principais: O Framework HERCULES

Para abordar essas lacunas, os autores propõem o HERCULES (Busca de Aprendizado Eficiente em Hardware, Robusto e Contínuo), um novo framework e taxonomia para a próxima geração de NAS.

Arquitetura do Framework

O HERCULES estende a NAS tradicional introduzindo um módulo Arch Adapter que aprimora arquiteturas base (do espaço de busca $\Gamma_x$) com capacidades dinâmicas (do espaço de configuração $\Gamma_\theta$), criando um espaço de busca refinado $\Gamma_{\tilde{x}}$.

• Entradas: Conjuntos de dados, conjuntos de arquiteturas, hiperparâmetros de comportamento dinâmico, parâmetros de avaliação, informações prévias (por exemplo, perfis de ruído de hardware, padrões de colheita de energia) e restrições.
• Saída: Um conjunto de redes neurais de Pareto-ótimas que são estáticas ou dinâmicas (incorporando adaptabilidade em tempo de execução).
• Objetivo de Otimização: Uma função de múltiplos objetivos restrita que minimiza uma função de custo $G$ que equilibra:
  • $F_A(\tilde{x})$: Precisão (ou Precisão Incremental Média $F_{AIA}$ para CL).
  • $F_C(\tilde{x})$: Custos de recursos (latência, energia, memória).
  • $F_R(\tilde{x}, \rho, \Delta)$: Robustez contra várias perturbações ambientais.

Os Doze Trabalhos de HERCULES

O artigo define doze desafios técnicos (desejados) necessários para realizar sistemas de IA implantáveis e de aprendizado vitalício:

1. Coprojeto Hardware-Software: Integração da NAS com compiladores e tempos de execução para desempenho real.
2. Estimativa de Robustez Escalável: Estimativa eficiente de métricas de robustez sem sobrecarga proibitiva.
3. Equilíbrio Plasticidade-Estabilidade: Otimização explícita do compromisso entre aprender novas tarefas e reter conhecimentos antigos.
4. Fidelidade de Implantação: Garantia de que as avaliações no momento da busca aproximem fielmente as condições operacionais do mundo real usando informações prévias.
5. Modelagem de Objetivos: Tratamento de eficiência, robustez e CL como objetivos ortogonais de primeira classe.
6. Adaptabilidade Dinâmica: Otimização tanto de motivos estáticos quanto de políticas adaptativas em tempo de execução.
7. Espaços de Busca Expressivos: Inclusão de blocos arquitetônicos capazes de otimizar através dos três pilares.
8. Estratégias de Busca Multiobjetivo: Desenvolvimento de algoritmos para navegar na fronteira de Pareto não convexa dos três objetivos.
9. Alinhamento Ambiental: Adaptação de espaços de busca e estratégias a ambientes de implantação específicos.
10. Reprodutibilidade de Benchmarks: Proposição de um HERCULES-Bench unificado que combina aprendizado incremental, robustez OOD e variabilidade de hardware.
11. Eficiência de Busca: Otimização do custo computacional do próprio processo de NAS.
12. Sustentabilidade do Ciclo de Vida: Consideração de custos de implantação de longo prazo, incluindo retreinamento e manutenção sob hardware envelhecido.

4. Resultados e Evidências

O artigo não apresenta novos resultados experimentais de um algoritmo inovador, mas fornece uma revisão abrangente e síntese da literatura existente.

• Tabelas I–VIII: O artigo categoriza e resume sistematicamente mais de 50 métodos de NAS através dos três pilares. Detalha seus objetivos, custos de busca, conjuntos de dados e métricas de desempenho.
• Análise de Lacuna: O levantamento demonstra que, embora os pilares individuais sejam bem estudados, a otimização conjunta é rara. Por exemplo, poucos trabalhos otimizam o CL de forma isolada; a maioria o faz conjuntamente com eficiência. Da mesma forma, a robustez frequentemente vem à custa da eficiência, e a adaptabilidade dinâmica está apenas começando a ser integrada com robustez e eficiência.
• Síntese: A análise revela que o campo está convergindo para a necessidade de otimização conjunta, validando a necessidade do framework HERCULES.

5. Significado e Alegações

O artigo reivindica significado como um roteiro para o campo da Busca de Arquitetura Neural.

• Perspectiva Unificada: É o primeiro levantamento a tratar explicitamente eficiência, robustez e aprendizado contínuo como objetivos igualmente fundamentais e ortogonais, superando a visão isolada da pesquisa atual.
• Mudança de Paradigma: Argumenta por uma mudança da NAS estática "implantar e esquecer" para a NAS dinâmica de "aprendizado vitalício" que considera dinâmicas ambientais e temporais.
• Framework Fundamental: Ao definir o HERCULES e seus doze trabalhos, o artigo fornece um conjunto estruturado de desejos para pesquisas futuras, guiando o desenvolvimento de sistemas de IA verdadeiramente implantáveis.
• Direções Futuras: O artigo sugere modestamente que, embora o HERCULES forneça um framework para projetar redes dinâmicas, trabalhos futuros devem integrar adaptabilidade no próprio processo de busca (NAS Dinâmica) e fechar o ciclo com feedback de hardware real para alcançar sistemas "auto-evolutivos".

Em resumo, o artigo postula que o futuro da implantação de IA depende de arquiteturas que não sejam apenas precisas, mas inerentemente resilientes, conscientes de recursos e capazes de evoluir junto com seus ambientes operacionais. O HERCULES é proposto como a fundação conceitual e técnica para alcançar esse objetivo.