A Comparative Analysis on the Performance of Upper Confidence Bound Algorithms in Adaptive Deep Neural Networks

1. Enunciato del Problema

Gli ambienti di edge computing affrontano vincoli rigorosi riguardanti il consumo energetico, la latenza e le risorse computazionali. Sebbene le Reti Neurali Profonde (DNN) siano potenti, i loro processi di inferenza statici spesso sprecano risorse elaborando tutti gli input attraverso l'intera profondità della rete, indipendentemente dalla difficoltà dell'input.

Le Reti Neurali Profonde Adattive (ADNN), in particolare le DNN con Uscita Anticipata (EEDNN), affrontano questo problema permettendo al modello di "uscire" anticipatamente se una previsione viene effettuata con alta confidenza in uno strato superficiale. Tuttavia, determinare la soglia di confidenza ottimale per l'uscita è una sfida critica:

• Le soglie statiche sono inefficienti perché non si adattano alle difficoltà variabili degli input o ai vincoli di risorse.
• Gli Approcci Dinamici Attuali si basano principalmente sull'algoritmo UCB1 (Upper Confidence Bound 1) all'interno di un framework Multi-Armed Bandit (MAB). Sebbene UCB1 sia semplice, ignora la varianza della ricompensa, la consapevolezza dei costi e l'incertezza bayesiana, portando potenzialmente a compromessi subottimali tra accuratezza, energia e latenza.

Il paper ipotizza che diverse varianti UCB possiedano strategie distinte di esplorazione-sfruttamento che potrebbero produrre prestazioni superiori in scenari edge specifici, ma ciò non è stato confrontato sistematicamente.

2. Metodologia

Gli autori propongono un framework comparativo in cui l'agente MAB seleziona dinamicamente la soglia di confidenza ottimale per l'uscita anticipata.

A. Il Framework MAB

• Bracci: Ogni "braccio" rappresenta una soglia di confidenza discreta.
• Funzione di Ricompensa: La ricompensa è calcolata basandosi su un compromesso tra confidenza di previsione, affidabilità e costo computazionale:
  $$\text{reward} = C_{\text{EEDNN}} \times (1 - C_{\text{Gating}}) - \lambda \times \text{cost}$$
  • $C_{\text{EEDNN}}$: Confidenza proveniente dall'EEDNN.
  • $C_{\text{Gating}}$: Punteggio di affidabilità da una rete di gating leggera (più basso è meglio).
  • $\text{cost}$: L'indice del punto di uscita (indice più alto = più strati = costo più alto).
  • $\lambda$: Un fattore di bilanciamento per il controllo del rischio.

B. Varianti UCB Proposte

Lo studio introduce quattro varianti UCB nel contesto EEDNN, sostituendo il classico UCB1:

1. UCB-V: Incorpora la varianza empirica ($\sigma^2$) nel termine di esplorazione. È "consapevole della varianza", esplorando più aggressivamente i bracci ad alta varianza impegnandosi più rapidamente su bracci stabili a bassa varianza.
2. UCB-Tuned: Simile a UCB-V ma utilizza un valore di varianza limitato ($\tilde{V}$) per prevenire un'eccessiva fiducia nelle fasi iniziali. Adotta una strategia conservativa se la varianza supera 0,25.
3. UCB-Bayes: Utilizza l'incertezza bayesiana (priori Normal-Inverse-Gamma) invece delle statistiche frequentiste. Mantiene una distribuzione a posteriori sulla media e sulla varianza delle ricompense, aggiornando le credenze man mano che arrivano i dati.
4. UCB-BwK (Bandits with Knapsacks/Cost): Tiene esplicitamente conto del costo di azionare un braccio durante il processo di selezione. Ottimizza il rapporto tra ricompensa media e costo medio ($\mu/c$), piuttosto che massimizzare semplicemente la ricompensa.

3. Contributi Chiave

1. Integrazione Novitativa: Prima applicazione di UCB-V, UCB-Tuned, UCB-Bayes e UCB-Bw all'interno di DNN con Uscita Anticipata per la selezione dinamica delle soglie.
2. Studio Comparativo Completo: Una valutazione sistematica di questi algoritmi rispetto al classico UCB1, analizzando i compromessi tra accuratezza, consumo energetico e latenza.
3. Risultati Empirici: Dimostrazione che l'algoritmo "migliore" dipende dai vincoli specifici (ad esempio, gli algoritmi consapevoli della varianza eccellono in termini di energia/latenza, mentre i metodi bayesiani eccellono nella velocità di convergenza).
4. Dimostrazione di Rimpianto Sub-lineare: Validazione empirica che tutte le strategie proposte raggiungono un rimpianto cumulativo sub-lineare, un requisito teorico per prestazioni MAB efficaci.

4. Setup Sperimentale e Risultati

• Architetture: ResNet18, ResNet34, ResNet50 e MobileViT (ibrido CNN-Transformer).
• Dataset: CIFAR-10, CIFAR-100 e CIFAR-10.1 (per testare lo shift di distribuzione).
• Metriche: Accuratezza (%), Energia (kWh tramite CodeCarbon), Tempo di Inferenza (Latenza) e Rimpianto Cumulativo.

Risultati Chiave:

• Dominanza Pareto (Accuratezza vs Energia/Latenza):
  • UCB-V e UCB-Tuned dominano costantemente i fronti di Pareto. La loro capacità di sfruttare la varianza della ricompensa permette di sprecare meno campioni su soglie subottimali, portando a una migliore efficienza energetica e di latenza.
  • UCB-BwK performa bene sulle architetture MobileViT dove la varianza della ricompensa è meno pronunciata, poiché ottimizza esplicitamente il rapporto ricompensa/costo.
• Velocità di Convergenza (Rimpianto):
  • UCB-Bayes converge il più velocemente in termini di rimpianto cumulativo (raggiungendo le soglie ottimali in meno passaggi).
  • Tuttavia, UCB-Bayes comporta un sovraccarico computazionale più elevato a causa dei calcoli a posteriori, rendendolo meno attraente per vincoli di latenza stretti rispetto a UCB-V/Tuned.
• Impatto dell'Architettura del Modello:
  • I modelli più grandi (ResNet34/50) beneficiano significativamente di più della sogliatura dinamica rispetto agli approcci statici.
  • MobileViT mostra caratteristiche di varianza diverse, spostando in alcuni casi la preferenza dell'algoritmo ottimale verso UCB-BwK.
• Comportamento del Rimpianto: Tutte le strategie esibiscono un rimpianto cumulativo sub-lineare, confermando la loro validità teorica per l'apprendimento online nell'inferenza. UCB1 e UCB-BwK hanno generalmente mostrato un rimpianto medio più alto e una convergenza più lenta rispetto alle varianti consapevoli della varianza e bayesiane.

5. Significato e Conclusione

Questo paper sfida lo status quo dell'uso esclusivo di UCB1 per l'inferenza adattiva nell'AI edge. Dimostra che le strategie consapevoli della varianza (UCB-V, UCB-Tuned) e bayesiane (UCB-Bayes) offrono vantaggi distinti:

• Per l'Efficienza Edge: UCB-V e UCB-Tuned sono superiori per minimizzare energia e latenza mantenendo l'accuratezza.
• Per l'Adattamento Rapido: UCB-Bayes è ideale per scenari che richiedono una rapida convergenza verso politiche ottimali, a condizione che il sovraccarico computazionale sia accettabile.

Lavori Futuri: Gli autori intendono esplorare varianti di banditi lineari (es. LinUCB) che utilizzano reti neurali per il contesto, sebbene ciò possa introdurre costi di inferenza più elevati.

Finanziamento: La ricerca è stata sostenuta dalle azioni di ricerca e innovazione Horizon Europe dell'Unione Europea (Grant No 101215032).