A Comparative Analysis on the Performance of Upper Confidence Bound Algorithms in Adaptive Deep Neural Networks

1. Declaração do Problema

Ambientes de computação de borda enfrentam restrições rigorosas quanto ao consumo de energia, latência e recursos computacionais. Embora as Redes Neurais Profundas (DNNs) sejam poderosas, seus processos de inferência estáticos frequentemente desperdiçam recursos ao processar todas as entradas através da profundidade total da rede, independentemente da dificuldade da entrada.

As Redes Neurais Profundas Adaptativas (ADNNs), especificamente as DNNs com Saída Antecipada (EEDNNs), abordam isso permitindo que o modelo "saia" antecipadamente se uma previsão for feita com alta confiança em uma camada rasa. No entanto, determinar o limiar de confiança ótimo para a saída é um desafio crítico:

• Limiares estáticos são ineficientes porque não se adaptam a dificuldades de entrada variáveis ou restrições de recursos.
• Abordagens Dinâmicas Atuais dependem principalmente do algoritmo UCB1 (Upper Confidence Bound 1) dentro de um framework de Multi-Armed Bandit (MAB). Embora o UCB1 seja simples, ele ignora a variância da recompensa, a conscientização de custos e a incerteza bayesiana, potencialmente levando a compensações subótimas entre precisão, energia e latência.

O artigo postula que diferentes variantes do UCB possuem estratégias distintas de exploração-exploração que poderiam produzir desempenho superior em cenários específicos de borda, mas isso ainda não foi comparado sistematicamente.

2. Metodologia

Os autores propõem um framework comparativo onde o agente MAB seleciona dinamicamente o limiar de confiança ótimo para saída antecipada.

A. O Framework MAB

• Braços: Cada "braço" representa um limiar de confiança discreto.
• Função de Recompensa: A recompensa é calculada com base em uma compensação entre confiança de previsão, confiabilidade e custo computacional:
  $$\text{recompensa} = C_{\text{EEDNN}} \times (1 - C_{\text{Gating}}) - \lambda \times \text{custo}$$
  • $C_{\text{EEDNN}}$: Confiança proveniente da EEDNN.
  • $C_{\text{Gating}}$: Pontuação de confiabilidade de uma rede de gate leve (menor é melhor).
  • $\text{custo}$: O índice do ponto de saída (índice maior = mais camadas = maior custo).
  • $\lambda$: Um fator de equilíbrio para controle de risco.

B. Variantes de UCB Propostas

O estudo introduz quatro variantes de UCB no contexto da EEDNN, substituindo o UCB1 padrão:

1. UCB-V: Incorpora a variância empírica ($\sigma^2$) no termo de exploração. É "consciente de variância", explorando braços de alta variância de forma mais agressiva enquanto se compromete mais rapidamente com braços estáveis e de baixa variância.
2. UCB-Tuned: Similar ao UCB-V, mas usa um valor de variância limitado ($\tilde{V}$) para evitar excesso de confiança nos estágios iniciais. Adota uma estratégia conservadora se a variância exceder 0,25.
3. UCB-Bayes: Utiliza incerteza bayesiana (priors Normal-Inverse-Gamma) em vez de estatística frequentista. Mantém uma distribuição posterior sobre a média e a variância das recompensas, atualizando crenças conforme os dados chegam.
4. UCB-BwK (Bandits com Mochilas/Custos): Conta explicitamente com o custo de puxar um braço durante o processo de seleção. Otimiza a razão entre recompensa média e custo médio ($\mu/c$), em vez de apenas maximizar a recompensa.

3. Principais Contribuições

1. Integração Inovadora: Primeira aplicação de UCB-V, UCB-Tuned, UCB-Bayes e UCB-BwK dentro de DNNs com Saída Antecipada para seleção dinâmica de limiares.
2. Estudo Comparativo Abrangente: Uma avaliação sistemática desses algoritmos contra o UCB1 padrão, analisando compensações entre precisão, consumo de energia e latência.
3. Insights Empíricos: Demonstração de que o "melhor" algoritmo depende das restrições específicas (por exemplo, algoritmos conscientes de variância se destacam em energia/latência, enquanto métodos bayesianos se destacam na velocidade de convergência).
4. Prova de Regret Sublinear: Validação empírica de que todas as estratégias propostas alcançam regret cumulativo sublinear, um requisito teórico para desempenho eficaz de MAB.

4. Configuração Experimental e Resultados

• Arquiteturas: ResNet18, ResNet34, ResNet50 e MobileViT (híbrido CNN-Transformer).
• Conjuntos de Dados: CIFAR-10, CIFAR-100 e CIFAR-10.1 (para testar mudança de distribuição).
• Métricas: Precisão (%), Energia (kWh via CodeCarbon), Tempo de Inferência (Latência) e Regret Cumulativo.

Principais Descobertas:

• Dominação de Pareto (Precisão vs. Energia/Latência):
  • UCB-V e UCB-Tuned consistentemente dominam as fronteiras de Pareto. Sua capacidade de aproveitar a variância da recompensa permite desperdiçar menos amostras em limiares subótimos, levando a melhor eficiência energética e de latência.
  • UCB-BwK performa bem em arquiteturas MobileViT onde a variância da recompensa é menos pronunciada, pois otimiza explicitamente a razão recompensa-custo.
• Velocidade de Convergência (Regret):
  • UCB-Bayes converge o mais rápido em relação ao regret cumulativo (atingindo limiares ótimos em menos etapas).
  • No entanto, o UCB-Bayes incorre em maior sobrecarga computacional devido aos cálculos posteriores, tornando-o menos atraente para restrições estritas de latência em comparação com UCB-V/Tuned.
• Impacto da Arquitetura do Modelo:
  • Modelos maiores (ResNet34/50) beneficiam-se significativamente mais da limitação dinâmica de limiares do que abordagens estáticas.
  • O MobileViT mostra características de variância diferentes, deslocando a preferência do algoritmo ótimo para UCB-BwK em alguns casos.
• Comportamento de Regret: Todas as estratégias exibem regret cumulativo sublinear, confirmando sua validade teórica para aprendizado online em inferência. UCB1 e UCB-BwK geralmente mostraram regret médio mais alto e convergência mais lenta do que as variantes conscientes de variância e bayesianas.

5. Significado e Conclusão

Este artigo desafia o status quo de usar apenas UCB1 para inferência adaptativa em IA de borda. Demonstra que estratégias conscientes de variância (UCB-V, UCB-Tuned) e bayesianas (UCB-Bayes) oferecem vantagens distintas:

• Para Eficiência de Borda: UCB-V e UCB-Tuned são superiores para minimizar energia e latência enquanto mantêm a precisão.
• Para Adaptação Rápida: UCB-Bayes é ideal para cenários que exigem convergência rápida para políticas ótimas, desde que a sobrecarga computacional seja aceitável.

Trabalho Futuro: Os autores planejam explorar variantes de bandit linear (por exemplo, LinUCB) que utilizam redes neurais para contexto, embora isso possa introduzir custos de inferência mais altos.

Financiamento: A pesquisa foi apoiada pelas ações de pesquisa e inovação Horizon Europe da União Europeia (Grant No 101215032).