Resumo Técnico: Rumo ao Aproveitamento de AutoML para Aprendizado Profundo Sustentável

Definição do Problema

Modelos de Aprendizado Profundo (DL), embora eficazes na extração de padrões complexos, impõem custos computacionais e ambientais significativos, particularmente em relação ao consumo de energia e emissões de carbono. Este desafio é agudo em ambientes com recursos limitados, como IoT e dispositivos de borda (edge). As Redes Neurais de Deslocamento Profundo (DSNNs) oferecem uma solução potencial ao substituir operações custosas de multiplicação de ponto flutuante por operações de deslocamento de bits (bit-wise shift) e inversão de sinal, reduzindo assim a complexidade computacional e a latência. No entanto, a configuração das DSNNs — especificamente a precisão das operações de deslocamento e a profundidade das camadas de deslocamento — impacta significativamente tanto o desempenho quanto a eficiência. Ajustar esses hiperparâmetros manualmente é ineficiente, e há uma falta de abordagens sistemáticas para otimizar as DSNNs visando os objetivos duplos de alta precisão e consumo mínimo de energia.

Metodologia

Os autores propõem um framework de Green AutoML que integra otimização de Multi-Fidelidade (MF) e Multi-Objetivo (MO) para automatizar a configuração de DSNNs. A abordagem utiliza o framework SMAC3 para a otimização de hiperparâmetros (HPO).

Componentes Principais:

1. Otimização de Multi-Fidelidade (MF):

   • Para abordar o alto custo computacional de treinar configurações completas de DSNN, os autores empregam uma estratégia de multi-fidelidade.
   • Definição de Fidelidade: O nível de fidelidade é definido pelo número de camadas de deslocamento no modelo. O treinamento começa com modelos tendo menos camadas de deslocamento (baixa fidelidade, baixo custo computacional, maior incerteza intrínseca) e aumenta progressivamente o número de camadas.
   • Algoritmo: O algoritmo HyperBand é usado para implementar a MF. Ele executa o "Successive Halving" através de múltiplos brackets, alocando um pequeno orçamento inicial ($b_I$) para muitas configurações ($n_c$) e treinando iterativamente as melhores configurações em orçamentos maiores. Isso permite que a busca descarte configurações ruins precocemente enquanto foca recursos em configurações promissoras.

2. Otimização de Multi-Objetivo (MO):

   • A otimização visa dois objetivos concorrentes simultaneamente:
     • Precisão: Minimizar a função de perda ($f_{loss}$) para maximizar o desempenho preditivo.
     • Sustentabilidade: Minimizar o consumo de energia e as emissões de carbono ($f_{emission}$) durante o treinamento e a inferência.
   • Algoritmo: O algoritmo ParEGO é usado para lidar com a natureza multi-objetivo. Ele transforma o problema de MO em uma série de problemas de objetivo único ao introduzir parâmetros de peso variáveis para os objetivos em cada iteração. Isso permite que o framework aproxime a Fronteira de Pareto, identificando configurações que oferecem os melhores equilíbrios entre precisão e emissões.

3. Medição:

   • O CodeCarbon é integrado ao fluxo de trabalho para rastrear o consumo de energia em tempo real e calcular as emissões de carbono (em gCO2eq) com base nos mix de energia regionais.

Configuração Experimental

• Dataset: CIFAR-10.
• Arquitetura Base: ResNet20 pré-treinada adaptada como uma DSNN.
• Hardware: GPUs NVIDIA A100.
• Espaço de Busca: Inclui hiperparâmetros como tamanho de lote (batch size), otimizador, taxa de aprendizado, momentum, épocas, bits de peso, bits inteiros/fracionários de ativação, profundidade de deslocamento, tipo de deslocamento (Quantização vs. Potências de dois/Sinal), método de arredondamento e decaimento de peso.
• Baselines: Comparação contra uma DSNN com configurações padrão (conforme definido por Elhoushi et al., 2021) e modelos não otimizados.

Principais Resultados

O estudo avaliou 33 configurações usando a abordagem MFMO. As principais descobertas incluem:

• Melhoria de Desempenho: O algoritmo MF identificou com sucesso uma configuração ótima que superou a configuração padrão da DSNN em pelo menos 3% na precisão de teste Top-1.
• Soluções Pareto-Otimais: Duas soluções distintas de Pareto-otimalidade foram identificadas:
  • Solução 1: 83,50% de precisão com 0,1661 gCO2eq de emissões. Esta configuração utilizou menos camadas de deslocamento (5) e menos bits de representação.
  • Solução 2: 84,67% de precisão com 0,1673 gCO2eq de emissões. Esta configuração utilizou significativamente mais camadas de deslocamento (16), mas menos bits de representação para pesos/ativações.
• Insights de Trade-off: Os resultados sugerem um trade-off entre o número de camadas de deslocamento e o número de bits de representação. A Solução 1 alcançou emissões semelhantes à Solução 2, apesar de ter menos camadas, provavelmente porque a redução da largura de bits compensou a demanda computacional. Inversamente, a Solução 2 alcançou maior precisão ao aumentar a profundidade de deslocamento, mas exigiu mais bits de representação.
• Validação de MF: O experimento confirmou que avaliar modelos sob baixa incerteza intrínseca do modelo (menos camadas de deslocamento) guia efetivamente a busca em direção a redes de alto desempenho quando instanciadas com camadas de deslocamento completas.

Contribuições e Significância

O artigo reivindica as seguintes contribuições para o campo da IA sustentável:

1. Espaço de Configuração Específico para DSNN: A definição de um espaço de busca de hiperparâmetros customizado especificamente para Redes Neurais de Deslocamento Profundo.
2. Framework de Green AutoML: Uma abordagem inovadora combinando otimização de Multi-Fidelidade e Multi-Objetivo dentro do SMAC3 para construir modelos orientados pela eficiência.
3. Insights de Design: Evidência empírica sobre os trade-offs entre profundidade de deslocamento, bits de representação, precisão e consumo de energia, oferecendo orientação para o design futuro de DSNNs.
4. Integração Metodológica: Uma demonstração de como ParEGO e HyperBand podem ser combinados para otimizar tanto o desempenho quanto o impacto ambiental.

Os autores concluem que seu método acelera o desenvolvimento de modelos eficientes e permite aplicações de IA sustentável. Eles reconhecem que trabalhos futuros são necessários para estender esta abordagem para benchmarks e arquiteturas mais amplas, e para refinar a integração de ParEGO e HyperBand para reduzir ainda mais a carga computacional da geração de fronteiras de Pareto.