A Comparative Analysis on the Performance of Upper Confidence Bound Algorithms in Adaptive Deep Neural Networks

Hier volgt een gedetailleerde technische samenvatting van het artikel "Een vergelijkende analyse van de prestaties van Upper Confidence Bound-algoritmen in adaptieve diepe neurale netwerken."

1. Probleemstelling

Edge-computingomgevingen staan voor strikte beperkingen wat betreft energieverbruik, latentie en rekenkracht. Hoewel Deep Neural Networks (DNN's) krachtig zijn, gaan hun statische inferentieprocessen vaak resources te kost door alle invoer door de volledige netwerkdiepte te verwerken, ongeacht de moeilijkheidsgraad van de invoer.

Adaptieve Diepe Neurale Netwerken (ADNN's), en specifiek Early-Exit DNN's (EEDNN's), lossen dit op door het model toe te staan vroegtijdig te "stoppen" als een voorspelling met hoge zekerheid wordt gedaan op een ondiepe laag. Het bepalen van de optimale zekerheidsdrempel voor het stoppen is echter een kritieke uitdaging:

• Statische drempels zijn inefficiënt omdat ze niet aanpassen aan variërende invoermoeilijkheden of resourcebeperkingen.
• Huidige dynamische benaderingen vertrouwen voornamelijk op het UCB1-algoritme (Upper Confidence Bound 1) binnen een Multi-Armed Bandit (MAB)-raamwerk. Hoewel UCB1 eenvoudig is, negeert het variatie in beloningen, kostenbewustzijn en Bayesiaanse onzekerheid, wat kan leiden tot suboptimale afwegingen tussen nauwkeurigheid, energie en latentie.

Het artikel stelt dat verschillende UCB-varianten unieke exploratie-exploitatiestrategieën bezitten die superieure prestaties kunnen opleveren in specifieke edge-scenario's, maar dit is nog niet systematisch vergeleken.

2. Methodologie

De auteurs stellen een vergelijkend raamwerk voor waarin de MAB-agent dynamisch de optimale zekerheidsdrempel voor vroegtijdig stoppen selecteert.

A. Het MAB-raamwerk

• Armen: Elke "arm" vertegenwoordigt een discrete zekerheidsdrempel.
• Beloningsfunctie: De beloning wordt berekend op basis van een afweging tussen voorspellingszekerheid, betrouwbaarheid en rekenkosten:
  $$\text{beloning} = C_{\text{EEDNN}} \times (1 - C_{\text{Gating}}) - \lambda \times \text{kosten}$$
  • $C_{\text{EEDNN}}$: Zekerheid van de EEDNN.
  • $C_{\text{Gating}}$: Betrouwbaarheidsscore van een lichtgewicht gating-netwerk (lager is beter).
  • $\text{kosten}$: De index van het stoppunt (hogere index = meer lagen = hogere kosten).
  • $\lambda$: Een balancerende factor voor risicobeheersing.

B. Voorgestelde UCB-varianten

De studie introduceert vier UCB-varianten in de EEDNN-context, ter vervanging van de standaard UCB1:

1. UCB-V: Integreert empirische variantie ($\sigma^2$) in de exploratieterm. Het is "variantiebewust", exploreert armen met hoge variantie agressiever en committeert sneller aan stabiele, arm met lage variantie.
2. UCB-Tuned: Vergelijkbaar met UCB-V, maar gebruikt een gecapte variantiewaarde ($\tilde{V}$) om oververtrouwen in vroege stadia te voorkomen. Het neemt een conservatieve strategie aan als de variantie 0,25 overschrijdt.
3. UCB-Bayes: Gebruikt Bayesiaanse onzekerheid (Normal-Inverse-Gamma-priors) in plaats van frequentistische statistiek. Het onderhoudt een posteriorverdeling over het gemiddelde en de variantie van beloningen en actualiseert overtuigingen naarmate data binnenkomt.
4. UCB-BwK (Bandits with Knapsacks/Cost): Houdt expliciet rekening met de kosten van het trekken van een arm tijdens het selectieproces. Het optimaliseert de verhouding tussen gemiddelde beloning en gemiddelde kosten ($\mu/c$), in plaats van alleen de beloning te maximaliseren.

3. Belangrijkste Bijdragen

1. Nieuwe Integratie: Eerste toepassing van UCB-V, UCB-Tuned, UCB-Bayes en UCB-BwK binnen Early-Exit DNN's voor dynamische drempelselectie.
2. Uitgebreide Vergelijkende Studie: Een systematische evaluatie van deze algoritmen tegen de standaard UCB1, met analyse van afwegingen tussen nauwkeurigheid, energieverbruik en latentie.
3. Empirische Inzichten: Aantonen dat het "beste" algoritme afhankelijk is van de specifieke beperkingen (bijv. variantiebewuste algoritmen blinken uit in energie/latentie, terwijl Bayesiaanse methoden uitblinken in convergentiesnelheid).
4. Bewijs van Sub-lineaire Regret: Empirische validatie dat alle voorgestelde strategieën een sub-lineaire cumulatieve regret bereiken, een theoretische vereiste voor effectieve MAB-prestaties.

4. Experimentele Opstelling & Resultaten

• Architecturen: ResNet18, ResNet34, ResNet50 en MobileViT (CNN-Transformer-hybride).
• Datasets: CIFAR-10, CIFAR-100 en CIFAR-10.1 (om verdelingsschifting te testen).
• Metrieken: Nauwkeurigheid (%), Energie (kWh via CodeCarbon), Inferentietijd (Latentie) en Cumulatieve Regret.

Belangrijkste Bevindingen:

• Pareto-dominantie (Nauwkeurigheid vs. Energie/Latentie):
  • UCB-V en UCB-Tuned domineren consistent de Pareto-fronten. Hun vermogen om beloningsvariantie te benutten, stelt hen in staat minder samples te verspillen aan suboptimale drempels, wat leidt tot betere energie- en latentie-efficiëntie.
  • UCB-BwK presteert goed op MobileViT-architecturen waar beloningsvariantie minder uitgesproken is, omdat het expliciet de verhouding beloning-tot-kosten optimaliseert.
• Convergentiesnelheid (Regret):
  • UCB-Bayes convergeert de snelst wat betreft cumulatieve regret (bereikt optimale drempels in minder stappen).
  • Echter, UCB-Bayes leidt tot hogere rekenkosten door posteriorberekeningen, waardoor het minder aantrekkelijk is voor strikte latentiebeperkingen in vergelijking met UCB-V/Tuned.
• Invloed van Modelarchitectuur:
  • Grotere modellen (ResNet34/50) profiteren aanzienlijk meer van dynamische drempelstelling dan statische benaderingen.
  • MobileViT vertoont verschillende variantiekenmerken, waardoor de voorkeur voor het optimale algoritme in sommige gevallen verschuift naar UCB-BwK.
• Regret-gedrag: Alle strategieën vertonen sub-lineaire cumulatieve regret, wat hun theoretische geldigheid voor online leren bij inferentie bevestigt. UCB1 en UCB-BwK vertoonden over het algemeen een hogere gemiddelde regret en langzamere convergentie dan de variantiebewuste en Bayesiaanse varianten.

5. Betekenis en Conclusie

Dit artikel daagt de status quo uit van het uitsluitend gebruiken van UCB1 voor adaptieve inferentie in edge-AI. Het toont aan dat variantiebewuste (UCB-V, UCB-Tuned) en Bayesiaanse (UCB-Bayes) strategieën unieke voordelen bieden:

• Voor Edge-efficiëntie: UCB-V en UCB-Tuned zijn superieur voor het minimaliseren van energie en latentie terwijl de nauwkeurigheid behouden blijft.
• Voor snelle aanpassing: UCB-Bayes is ideaal voor scenario's die snelle convergentie naar optimale beleidslijnen vereisen, mits de rekenkosten acceptabel zijn.

Toekomstig Werk: De auteurs plannen om lineaire bandit-varianten (bijv. LinUCB) te verkennen die neurale netwerken gebruiken voor context, hoewel dit mogelijk hogere inferentiekosten met zich meebrengt.

Financiering: Het onderzoek werd ondersteund door de onderzoeks- en innovatieacties van Horizon Europe van de Europese Unie (Grant No 101215032).