🤖 machine learning

A Comparative Analysis on the Performance of Upper Confidence Bound Algorithms in Adaptive Deep Neural Networks

Ce papier présente et évalue quatre stratégies avancées de la borne supérieure de confiance (UCB-V, UCB-Tuned, UCB-Bayes et UCB-BwK) au sein de réseaux de neurones profonds adaptatifs afin d'optimiser les compromis entre précision, consommation d'énergie et latence dans le calcul en périphérie, démontrant que UCB-V et UCB-Tuned atteignent des performances supérieures sur les fronts de Pareto.

Auteurs originaux : Grigorios Papanikolaou, Ioannis Kontopoulos, Konstantinos Tserpes

Publié 2026-04-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Grigorios Papanikolaou, Ioannis Kontopoulos, Konstantinos Tserpes

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous gérez une cuisine de restaurant très achalandée (votre ordinateur) qui doit servir des milliers de plats (données) chaque jour. Vous avez une équipe de chefs avec différents niveaux de compétence, allant d'un aide-cuisinier rapide à un chef étoilé.

Le Problème : La Cuisine « Taille Unique »
Traditionnellement, chaque commande, aussi simple soit-elle, est envoyée jusqu'au chef étoilé. Même si un client commande simplement une tartine, la cuisine gaspille du temps et de l'énergie en la faisant passer par tout le processus de cuisson complexe. Dans le monde de l'Intelligence Artificielle, c'est comme exécuter un immense Réseau de Neurones Profonds pour chaque image, même les plus simples. Cela consomme trop de batterie (énergie) et prend trop de temps (latence), ce qui pose un gros problème pour les appareils comme les smartphones ou les capteurs qui fonctionnent avec une puissance limitée.

La Solution : La Stratégie de « Sortie Anticipée »
L'article présente une méthode plus intelligente appelée Réseaux de Neurones Profonds Adaptatifs (ADNN). Imaginez cela comme l'ajout de « dégustateurs » à différentes étapes de la cuisine.

Si l'aide-cuisinier est à 100 % certain que la tartine est parfaite, il peut s'arrêter là et la servir immédiatement.
S'il n'est pas sûr, il la passe au chef suivant.
Si le chef étoilé n'est toujours pas certain, il continue jusqu'à la toute fin.

Ceci est appelé une « Sortie Anticipée ». L'objectif est de s'arrêter dès que vous êtes suffisamment confiant, économisant ainsi du temps et de l'énergie.

Le Défi : Comment Décider Quand S'Arrêter ?
La partie délicate consiste à définir la règle du « quand s'arrêter ».

Si vous vous arrêtez trop tôt, vous risquez de servir une tartine brûlée (faible précision).
Si vous attendez trop longtemps, vous gaspillez de l'énergie sur une tâche simple (latence élevée).

Auparavant, les chercheurs utilisaient un simple livret de règles appelé UCB1 pour décider quand s'arrêter. C'est comme un manager qui dit : « Essayons d'abord la sortie rapide, mais si nous échouons trop souvent, nous essaierons la suivante. » Cela fonctionne bien, mais c'est un peu rigide.

L'Innovation de l'Article : Un Meilleur Livret de Règles
Les auteurs de cet article se sont demandé : « Et si nous avions des managers plus intelligents avec des personnalités différentes ? » Ils ont testé quatre nouveaux « managers » (algorithmes) pour voir lequel prend les meilleures décisions pour une sortie anticipée :

UCB-V (Le Gardien de la Variance) : Ce manager prête attention à la cohérence des résultats. Si un chef a été très cohérent (faible variance), ce manager lui fait confiance rapidement. Si les résultats sont instables (haute variance), ils continuent les tests plus longtemps.
UCB-Tuned (Le Régleur Conservateur) : Similaire au Gardien de la Variance, mais avec un plafond de sécurité. Si les choses deviennent trop imprévisibles, ce manager ralentit et devient plus prudent, empêchant la cuisine de prendre des décisions téméraires.
UCB-Bayes (L'Expert Bayésien) : Ce manager utilise une « intuition » basée sur l'expérience passée (priors mathématiques). Il est très bon pour apprendre rapidement la bonne règle, mais il réfléchit aussi très lentement car il effectue beaucoup de calculs mentaux complexes avant de faire un mouvement.
UCB-BwK (Le Compteur de Coûts) : Ce manager examine le « prix » de chaque décision. Il ne regarde pas seulement à quel point la nourriture est bonne ; il calcule exactement combien d'énergie cela a coûté pour y arriver, cherchant l'équilibre parfait entre qualité et coût.

L'Expérience
Les chercheurs ont testé ces managers sur deux types de cuisines (réseaux de neurones) : ResNet (une cuisine standard et fiable) et MobileViT (une cuisine plus récente et plus efficace). Ils leur ont fait ingérer des milliers d'images (provenant des ensembles de données CIFAR) et ont mesuré :

Précision : Combien de plats ont été servis correctement ?
Énergie : Quelle quantité de batterie a été utilisée ?
Latence : Combien de temps a-t-il fallu pour servir le plat ?

Les Résultats

Les Gagnants : UCB-V et UCB-Tuned ont été les meilleurs dans l'ensemble. Ils ont trouvé le « point idéal » où la cuisine a économisé le plus d'énergie et de temps sans servir de mauvais plats. Ils ont dominé la « Frontière de Pareto », ce qui est une manière élégante de dire qu'ils offraient les meilleurs compromis possibles entre vitesse/énergie et qualité.
L'Apprenti Rapide : UCB-Bayes a appris les meilleures règles le plus vite (le plus faible « regret »), ce qui signifie qu'il a compris rapidement la bonne stratégie. Cependant, comme il fait beaucoup de mathématiques complexes dans sa tête, il a en réalité ralenti la cuisine, le rendant moins utile pour les appareils en temps réel.
Les Apprentis Lents : L'ancienne norme (UCB1) et le compteur de coûts (UCB-BwK) ont appris plus lentement et n'ont pas aussi bien performé que les managers sensibles à la variance.

La Conclusion
L'article prouve que vous n'avez pas besoin d'utiliser la même règle simple pour chaque situation. En choisissant le bon « manager » (algorithme) pour votre appareil et votre tâche spécifiques, vous pouvez créer des systèmes d'IA beaucoup plus rapides et économes en énergie. Plus précisément, pour la plupart des appareils périphériques, les stratégies UCB-V et UCB-Tuned sont les meilleurs outils pour équilibrer vitesse, autonomie de la batterie et précision.

1. Énoncé du problème

Les environnements de l'informatique en périphérie (edge computing) sont confrontés à des contraintes strictes en matière de consommation d'énergie, de latence et de ressources de calcul. Bien que les réseaux de neurones profonds (DNN) soient puissants, leurs processus d'inférence statiques gaspillent souvent des ressources en traitant toutes les entrées à travers la profondeur complète du réseau, indépendamment de la difficulté de l'entrée.

Les réseaux de neurones profonds adaptatifs (ADNN), et plus spécifiquement les DNN à sortie précoce (EEDNN), y remédient en permettant au modèle de « sortir » prématurément si une prédiction est faite avec une haute confiance à une couche peu profonde. Cependant, déterminer le seuil de confiance optimal pour cette sortie constitue un défi critique :

Les seuils statiques sont inefficaces car ils ne s'adaptent ni aux difficultés variables des entrées, ni aux contraintes de ressources.
Les approches dynamiques actuelles reposent principalement sur l'algorithme UCB1 (Upper Confidence Bound 1) dans le cadre d'un problème de bandit manchot (Multi-Armed Bandit, MAB). Bien que UCB1 soit simple, il ignore la variance des récompenses, la conscience des coûts et l'incertitude bayésienne, ce qui peut conduire à des compromis sous-optimaux entre précision, énergie et latence.

L'article postule que différentes variantes de UCB possèdent des stratégies d'exploration-exploitation distinctes qui pourraient offrir des performances supérieures dans des scénarios de périphérie spécifiques, mais cela n'a pas encore été comparé de manière systématique.

2. Méthodologie

Les auteurs proposent un cadre comparatif où l'agent MAB sélectionne dynamiquement le seuil de confiance optimal pour la sortie précoce.

A. Le cadre MAB

Bras : Chaque « bras » représente un seuil de confiance discret.
Fonction de récompense : La récompense est calculée sur la base d'un compromis entre la confiance de la prédiction, la fiabilité et le coût de calcul :
$\text{récompense} = C_{\text{EEDNN}} \times (1 - C_{\text{Gating}}) - \lambda \times \text{coût}$
- $C_{\text{EEDNN}}$ : Confiance issue de l'EEDNN.
- $C_{\text{Gating}}$ : Score de fiabilité provenant d'un réseau de contrôle (gating) léger (plus bas est mieux).
- $\text{coût}$ : L'index du point de sortie (un index plus élevé = plus de couches = coût plus élevé).
- $\lambda$ : Un facteur d'équilibrage pour le contrôle des risques.

B. Variantes UCB proposées

L'étude introduit quatre variantes de UCB dans le contexte des EEDNN, remplaçant le UCB1 standard :

UCB-V : Intègre la variance empirique ( $\sigma^2$ ) dans le terme d'exploration. Il est « conscient de la variance », explorant plus agressivement les bras à forte variance tout en s'engageant plus rapidement vers des bras stables à faible variance.
UCB-Tuned : Similaire à UCB-V mais utilise une valeur de variance plafonnée ( $\tilde{V}$ ) pour éviter une surconfiance aux stades initiaux. Il adopte une stratégie conservatrice si la variance dépasse 0,25.
UCB-Bayes : Utilise l'incertitude bayésienne (priors Normal-Inverse-Gamma) au lieu des statistiques fréquentistes. Il maintient une distribution a posteriori sur la moyenne et la variance des récompenses, mettant à jour les croyances à mesure que les données arrivent.
UCB-BwK (Bandits with Knapsacks/Cost) : Prend explicitement en compte le coût de l'action de tirer un bras lors du processus de sélection. Il optimise le ratio de la récompense moyenne au coût moyen ( $\mu/c$ ), plutôt que de simplement maximiser la récompense.

3. Contributions clés

Intégration novatrice : Première application de UCB-V, UCB-Tuned, UCB-Bayes et UCB-BwK au sein des DNN à sortie précoce pour la sélection dynamique de seuils.
Étude comparative complète : Une évaluation systématique de ces algorithmes par rapport au UCB1 standard, analysant les compromis entre précision, consommation d'énergie et latence.
Insights empiriques : Démonstration que le « meilleur » algorithme dépend des contraintes spécifiques (par exemple, les algorithmes conscients de la variance excellent en énergie/latence, tandis que les méthodes bayésiennes excellent en vitesse de convergence).
Preuve de regret sous-linéaire : Validation empirique que toutes les stratégies proposées atteignent un regret cumulatif sous-linéaire, une exigence théorique pour des performances MAB efficaces.

4. Configuration expérimentale et résultats

Architectures : ResNet18, ResNet34, ResNet50 et MobileViT (hybride CNN-Transformer).
Ensembles de données : CIFAR-10, CIFAR-100 et CIFAR-10.1 (pour tester le décalage de distribution).
Métriques : Précision (%), Énergie (kWh via CodeCarbon), Temps d'inférence (Latence) et Regret cumulatif.

Résultats principaux :

Dominance de Pareto (Précision vs Énergie/Latence) :
- UCB-V et UCB-Tuned dominent systématiquement les fronts de Pareto. Leur capacité à exploiter la variance des récompenses leur permet de gaspiller moins d'échantillons sur des seuils sous-optimaux, conduisant à une meilleure efficacité énergétique et latence.
- UCB-BwK performe bien sur les architectures MobileViT où la variance des récompenses est moins prononcée, car il optimise explicitement le ratio récompense/coût.
Vitesse de convergence (Regret) :
- UCB-Bayes converge le plus rapidement en termes de regret cumulatif (atteignant les seuils optimaux en moins d'étapes).
- Cependant, UCB-Bayes engendre une surcharge de calcul plus élevée due aux calculs a posteriori, ce qui le rend moins attrayant pour des contraintes de latence strictes par rapport à UCB-V/Tuned.
Impact de l'architecture du modèle :
- Les modèles plus grands (ResNet34/50) bénéficient nettement plus du seuillage dynamique que des approches statiques.
- MobileViT présente des caractéristiques de variance différentes, déplaçant la préférence d'algorithme optimal vers UCB-BwK dans certains cas.
Comportement du regret : Toutes les stratégies présentent un regret cumulatif sous-linéaire, confirmant leur validité théorique pour l'apprentissage en ligne lors de l'inférence. UCB1 et UCB-BwK ont généralement montré un regret moyen plus élevé et une convergence plus lente que les variantes conscientes de la variance et bayésiennes.

5. Signification et conclusion

Cet article remet en question le statu quo de l'utilisation exclusive de UCB1 pour l'inférence adaptative dans l'IA de périphérie. Il démontre que les stratégies conscientes de la variance (UCB-V, UCB-Tuned) et bayésiennes (UCB-Bayes) offrent des avantages distincts :

Pour l'efficacité de la périphérie : UCB-V et UCB-Tuned sont supérieurs pour minimiser l'énergie et la latence tout en maintenant la précision.
Pour l'adaptation rapide : UCB-Bayes est idéal pour les scénarios nécessitant une convergence rapide vers des politiques optimales, à condition que la surcharge de calcul soit acceptable.

Travaux futurs : Les auteurs prévoient d'explorer des variantes de bandits linéaires (par exemple, LinUCB) qui utilisent des réseaux de neurones pour le contexte, bien que cela puisse introduire des coûts d'inférence plus élevés.

Financement : La recherche a été soutenue par les actions de recherche et d'innovation Horizon Europe de l'Union européenne (Numéro de subvention 101215032).