🤖 machine learning

A Comparative Analysis on the Performance of Upper Confidence Bound Algorithms in Adaptive Deep Neural Networks

Dieser Beitrag stellt vier erweiterte Upper-Confidence-Bound-Strategien (UCB-V, UCB-Tuned, UCB-Bayes und UCB-BwK) in adaptiven tiefen neuronalen Netzen vor und bewertet diese, um die Trade-offs zwischen Genauigkeit, Energieverbrauch und Latenz im Edge Computing zu optimieren, und zeigt auf, dass UCB-V und UCB-Tuned auf den Pareto-Fronten überlegene Leistungen erzielen.

Ursprüngliche Autoren: Grigorios Papanikolaou, Ioannis Kontopoulos, Konstantinos Tserpes

Veröffentlicht 2026-04-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Grigorios Papanikolaou, Ioannis Kontopoulos, Konstantinos Tserpes

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreiben eine geschäftige Restaurantküche (Ihren Computer), die täglich Tausende von Gerichten (Daten) servieren muss. Sie haben ein Team von Köchen mit unterschiedlichen Fähigkeitsniveaus, von einem schnellen Vorbereitungs-Koch bis hin zu einem Meisterkoch.

Das Problem: Die „Einheitsgröße"-Küche
Traditionell geht jede einzelne Bestellung, egal wie einfach, bis zum Meisterkoch. Selbst wenn ein Kunde nur einen einfachen Toast bestellt, verschwendet die Küche Zeit und Energie, indem sie ihn durch den gesamten komplexen Kochprozess schickt. In der Welt der Künstlichen Intelligenz ist dies vergleichbar mit dem Ausführen eines massiven Deep Neural Network für jedes einzelne Bild, auch für einfache. Dies verbraucht zu viel Batterie (Energie) und dauert zu lange (Latenz), was ein großes Problem für Geräte wie Smartphones oder Sensoren darstellt, die mit begrenzter Energie betrieben werden.

Die Lösung: Die „Early Exit"-Strategie
Die Arbeit stellt einen intelligenteren Weg vor, der als Adaptive Deep Neural Networks (ADNNs) bezeichnet wird. Stellen Sie sich dies als das Hinzufügen von „Geschmacksprüfern" in verschiedenen Stadien der Küche vor.

Wenn der Vorbereitungs-Koch zu 100 % sicher ist, dass der Toast perfekt ist, kann er dort aufhören und ihn sofort servieren.
Wenn er unsicher ist, geben sie ihn an den nächsten Koch weiter.
Wenn der Meisterkoch immer noch unsicher ist, fahren sie fort, bis ganz zum Ende.

Dies wird als „Early Exit" bezeichnet. Das Ziel ist es, so früh wie möglich aufzuhören, sobald man sicher genug ist, um Zeit und Energie zu sparen.

Die Herausforderung: Wie entscheidet man, wann man aufhört?
Der knifflige Teil besteht darin, die Regel für „wann man aufhört" festzulegen.

Wenn Sie zu früh aufhören, servieren Sie vielleicht einen verbrannten Toast (geringe Genauigkeit).
Wenn Sie zu lange warten, verschwenden Sie Energie bei einer einfachen Aufgabe (hohe Latenz).

Früher verwendeten Forscher eine einfache Regel, die als UCB1 bezeichnet wird, um zu entscheiden, wann sie aufhören sollen. Es ist wie ein Manager, der sagt: „Lassen Sie uns zuerst den schnellen Ausgang versuchen, aber wenn wir zu oft scheitern, versuchen wir den nächsten." Es funktioniert in Ordnung, ist aber etwas starr.

Die Innovation der Arbeit: Ein besseres Regelbuch
Die Autoren dieser Arbeit fragten: „Was wäre, wenn wir intelligentere Manager mit unterschiedlichen Persönlichkeiten hätten?" Sie testeten vier neue „Manager" (Algorithmen), um herauszufinden, welcher die besten Entscheidungen für das frühe Aufhören trifft:

UCB-V (Der Varianz-Wächter): Dieser Manager achtet darauf, wie konsistent die Ergebnisse sind. Wenn ein Koch sehr konsistent war (niedrige Varianz), vertraut ihm dieser Manager schnell. Wenn die Ergebnisse wackelig sind (hohe Varianz), testen sie länger weiter.
UCB-Tuned (Der konservative Tuner): Ähnlich wie der Varianz-Wächter, fügt jedoch eine Sicherheitsgrenze hinzu. Wenn die Dinge zu unvorhersehbar werden, verlangsamt sich dieser Manager und wird vorsichtiger, wodurch verhindert wird, dass die Küche unbedachte Entscheidungen trifft.
UCB-Bayes (Der Bayes-Experte): Dieser Manager verwendet ein „Bauchgefühl" basierend auf vergangenen Erfahrungen (mathematische Priors). Er ist sehr gut darin, die richtige Regel schnell zu lernen, aber er denkt auch sehr langsam, weil er vor jedem Zug komplexe mentale Mathematik durchführt.
UCB-BwK (Der Kostenzähler): Dieser Manager betrachtet den „Preis" jeder Entscheidung. Er schaut nicht nur darauf, wie gut das Essen ist; er berechnet genau, wie viel Energie es gekostet hat, dorthin zu gelangen, und versucht, das perfekte Gleichgewicht zwischen Qualität und Kosten zu finden.

Das Experiment
Die Forscher testeten diese Manager in zwei Arten von Küchen (neurale Netze): ResNet (eine Standard-, zuverlässige Küche) und MobileViT (eine neuere, effizientere Küche). Sie fütterten sie mit Tausenden von Bildern (aus den CIFAR-Datensätzen) und maßen:

Genauigkeit: Wie viele Gerichte wurden korrekt serviert?
Energie: Wie viel Batterie wurde verbraucht?
Latenz: Wie lange dauerte es, das Gericht zu servieren?

Die Ergebnisse

Die Gewinner: UCB-V und UCB-Tuned waren insgesamt die besten. Sie fanden den „Sweet Spot", bei dem die Küche die meiste Energie und Zeit sparte, ohne schlechtes Essen zu servieren. Sie dominierten die „Pareto-Frontier", was eine ausgefallene Art zu sagen ist, dass sie die besten möglichen Kompromisse zwischen Geschwindigkeit/Energie und Qualität boten.
Der schnelle Lerner: UCB-Bayes lernte die besten Regeln am schnellsten (niedrigster „Regret"), was bedeutet, dass es die richtige Strategie schnell herausfand. Da es jedoch so viel komplexe Mathematik im Kopf durchführt, verlangsamte es die Küche tatsächlich, was es für Echtzeitgeräte weniger nützlich machte.
Die langsamen Lerner: Der alte Standard (UCB1) und der Kostenzähler (UCB-BwK) lernten langsamer und schnitten nicht so gut ab wie die varianzbewussten Manager.

Das Fazit
Die Arbeit beweist, dass man nicht für jede Situation dieselbe einfache Regel verwenden muss. Indem man den richtigen „Manager" (Algorithmus) für sein spezifisches Gerät und seine spezifische Aufgabe wählt, kann man KI-Systeme erstellen, die viel schneller und energieeffizienter sind. Insbesondere für die meisten Edge-Geräte sind die Strategien UCB-V und UCB-Tuned die besten Werkzeuge, um Geschwindigkeit, Akkulaufzeit und Genauigkeit auszubalancieren.

1. Problemstellung

Edge-Computing-Umgebungen sehen sich strengen Einschränkungen hinsichtlich Energieverbrauch, Latenz und Rechenressourcen gegenüber. Obwohl Deep Neural Networks (DNNs) leistungsstark sind, verschwenden ihre statischen Inferenzprozesse oft Ressourcen, indem sie alle Eingaben durch die gesamte Netzwerktiefe verarbeiten, unabhängig von der Schwierigkeit der Eingabe.

Adaptive Deep Neural Networks (ADNNs), insbesondere Early-Exit DNNs (EEDNNs), lösen dieses Problem, indem sie dem Modell erlauben, frühzeitig „auszusteigen", wenn eine Vorhersage mit hoher Konfidenz in einer flachen Schicht getroffen wird. Die Bestimmung des optimalen Konfidenzschwellenwerts für den Ausstieg stellt jedoch eine kritische Herausforderung dar:

Statische Schwellenwerte sind ineffizient, da sie sich nicht an variierende Eingabeschwierigkeiten oder Ressourcenbeschränkungen anpassen.
Aktuelle dynamische Ansätze verlassen sich primär auf den UCB1-Algorithmus (Upper Confidence Bound 1) innerhalb eines Multi-Armed Bandit (MAB)-Rahmens. Obwohl UCB1 einfach ist, ignoriert er die Varianz der Belohnung, Kostenbewusstsein und bayessche Unsicherheit, was potenziell zu suboptimalen Kompromissen zwischen Genauigkeit, Energie und Latenz führt.

Das Paper geht davon aus, dass verschiedene UCB-Varianten unterschiedliche Explorations-Exploitations-Strategien besitzen, die in spezifischen Edge-Szenarien überlegene Leistungen erbringen könnten, dies jedoch noch nicht systematisch verglichen wurde.

2. Methodik

Die Autoren schlagen einen vergleichenden Rahmen vor, in dem der MAB-Agent den optimalen Konfidenzschwellenwert für den frühen Ausstieg dynamisch auswählt.

A. Der MAB-Rahmen

Arme: Jeder „Arm" repräsentiert einen diskreten Konfidenzschwellenwert.
Belohnungsfunktion: Die Belohnung wird basierend auf einem Kompromiss zwischen Vorhersagekonfidenz, Zuverlässigkeit und Rechenkosten berechnet:
$\text{reward} = C_{\text{EEDNN}} \times (1 - C_{\text{Gating}}) - \lambda \times \text{cost}$
- $C_{\text{EEDNN}}$ : Konfidenz aus dem EEDNN.
- $C_{\text{Gating}}$ : Zuverlässigkeitswert eines leichten Gating-Netzwerks (niedriger ist besser).
- $\text{cost}$ : Der Index des Ausstiegspunkts (höherer Index = mehr Schichten = höhere Kosten).
- $\lambda$ : Ein Ausgleichsfaktor zur Risikokontrolle.

B. Vorgeschlagene UCB-Varianten

Die Studie führt vier UCB-Varianten in den EEDNN-Kontext ein und ersetzt dabei den Standard-UCB1:

UCB-V: Integriert die empirische Varianz ( $\sigma^2$ ) in den Explorations-Term. Sie ist „varianzbewusst", erkundet Arme mit hoher Varianz aggressiver und bindet sich schneller an stabile Arme mit niedriger Varianz.
UCB-Tuned: Ähnlich wie UCB-V, verwendet jedoch einen begrenzten Varianzwert ( $\tilde{V}$ ), um eine Überoptimismus in frühen Phasen zu verhindern. Sie nimmt eine konservative Strategie an, wenn die Varianz 0,25 überschreitet.
UCB-Bayes: Verwendet bayessche Unsicherheit (Normal-Inverse-Gamma-Prioris) anstelle frequentistischer Statistik. Sie hält eine Posterior-Verteilung über den Mittelwert und die Varianz der Belohnungen aufrecht und aktualisiert Überzeugungen, sobald Daten eintreffen.
UCB-BwK (Bandits with Knapsacks/Cost): Berücksichtigt explizit die Kosten des Ziehens eines Arms während des Auswahlprozesses. Sie optimiert das Verhältnis von mittlerer Belohnung zu mittleren Kosten ( $\mu/c$ ), statt nur die Belohnung zu maximieren.

3. Hauptbeiträge

Neuartige Integration: Erste Anwendung von UCB-V, UCB-Tuned, UCB-Bayes und UCB-BwK innerhalb von Early-Exit DNNs für die dynamische Schwellenwertauswahl.
Umfassende Vergleichsstudie: Eine systematische Evaluierung dieser Algorithmen gegenüber dem Standard-UCB1, die Kompromisse zwischen Genauigkeit, Energieverbrauch und Latenz analysiert.
Empirische Erkenntnisse: Nachweis, dass der „beste" Algorithmus von den spezifischen Einschränkungen abhängt (z. B. schneiden varianzbewusste Algorithmen bei Energie/Latenz hervorragend ab, während bayessche Methoden bei der Konvergenzgeschwindigkeit glänzen).
Nachweis sublinearer Reue: Empirische Validierung, dass alle vorgeschlagenen Strategien eine sublineare kumulative Reue erreichen, eine theoretische Voraussetzung für eine effektive MAB-Leistung.

4. Experimentelles Setup & Ergebnisse

Architekturen: ResNet18, ResNet34, ResNet50 und MobileViT (CNN-Transformer-Hybrid).
Datensätze: CIFAR-10, CIFAR-100 und CIFAR-10.1 (zur Prüfung von Verteilungsverschiebungen).
Metriken: Genauigkeit (%), Energie (kWh via CodeCarbon), Inferenzzeit (Latenz) und kumulative Reue.

Wichtige Erkenntnisse:

Pareto-Dominanz (Genauigkeit vs. Energie/Latenz):
- UCB-V und UCB-Tuned dominieren die Pareto-Fronten konsistent. Ihre Fähigkeit, die Belohnungsvarianz zu nutzen, ermöglicht es ihnen, weniger Proben für suboptimale Schwellenwerte zu verschwenden, was zu einer besseren Energie- und Latenzeffizienz führt.
- UCB-BwK performt gut bei MobileViT-Architekturen, wo die Belohnungsvarianz weniger ausgeprägt ist, da sie explizit das Verhältnis von Belohnung zu Kosten optimiert.
Konvergenzgeschwindigkeit (Reue):
- UCB-Bayes konvergiert hinsichtlich der kumulativen Reue am schnellsten (erreicht optimale Schwellenwerte in weniger Schritten).
- Allerdings verursacht UCB-Bayes aufgrund von Posterior-Berechnungen einen höheren Rechenaufwand, was ihn im Vergleich zu UCB-V/Tuned weniger attraktiv für strenge Latenzbeschränkungen macht.
Auswirkung der Modellarchitektur:
- Größere Modelle (ResNet34/50) profitieren signifikant mehr von dynamischer Schwellenwertsteuerung als statische Ansätze.
- MobileViT zeigt unterschiedliche Varianzeigenschaften, was in einigen Fällen die Präferenz für den optimalen Algorithmus hin zu UCB-BwK verschiebt.
Reue-Verhalten: Alle Strategien zeigen eine sublineare kumulative Reue, was ihre theoretische Gültigkeit für Online-Lernen bei der Inferenz bestätigt. UCB1 und UCB-BwK zeigten im Allgemeinen eine höhere durchschnittliche Reue und eine langsamere Konvergenz als die varianzbewussten und bayesschen Varianten.

5. Bedeutung und Fazit

Dieses Paper stellt den Status quo in Frage, nur UCB1 für adaptive Inferenz im Edge-AI einzusetzen. Es zeigt, dass varianzbewusste (UCB-V, UCB-Tuned) und bayessche (UCB-Bayes) Strategien deutliche Vorteile bieten:

Für Edge-Effizienz: UCB-V und UCB-Tuned sind überlegen, um Energie und Latenz zu minimieren und gleichzeitig die Genauigkeit zu erhalten.
Für schnelle Anpassung: UCB-Bayes ist ideal für Szenarien, die eine schnelle Konvergenz zu optimalen Richtlinien erfordern, sofern der Rechenaufwand akzeptabel ist.

Zukünftige Arbeiten: Die Autoren planen, lineare Bandit-Varianten (z. B. LinUCB) zu erforschen, die neuronale Netze für den Kontext nutzen, obwohl dies höhere Inferenzkosten mit sich bringen könnte.

Förderung: Die Forschung wurde durch die Forschungs- und Innovationsaktionen von Horizont Europa der Europäischen Union unterstützt (Grant No 101215032).