💻 computer science

Data-Efficient Stream-Based Active Distillation for Scalable Edge Model Deployment

Cet article propose un cadre de distillation active basé sur le flux et efficace en termes de données qui combine la sélection par haut niveau de confiance avec l'échantillonnage basé sur la diversité afin d'optimiser le déploiement des modèles en périphérie en maximisant la qualité de l'entraînement tout en minimisant les coûts de transmission de données.

Auteurs originaux : Dani Manjah, Tim Bary, Benoît Gérin, Benoît Macq, Christophe de Vleeschouwer

Publié 2026-06-30

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Dani Manjah, Tim Bary, Benoît Gérin, Benoît Macq, Christophe de Vleeschouwer

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une flotte de caméras de sécurité intelligentes éparpillées dans toute une ville. Ces caméras sont comme des jeunes détectives (les modèles « Étudiants ») qui essaient d'apprendre à repérer les voitures, les vélos et les camions. Elles sont petites et rapides, de sorte qu'elles peuvent fonctionner directement sur la caméra, mais elles ne sont pas encore très intelligentes.

Pour devenir plus intelligentes, elles doivent apprendre d'un professeur super-intelligent (le modèle « Enseignant ») qui vit sur un serveur central puissant. Le professeur est excellent pour identifier les véhicules, mais il est trop lourd et trop lent pour fonctionner sur les petites caméras.

Le Problème : Trop de données, trop peu de bande passante

Dans l'ancienne méthode, les caméras envoyaient tout ce qu'elles voyaient au professeur. Le professeur étiquettait les images (par exemple, « C'est un bus rouge ») et renvoyait les réponses aux caméras pour les aider à apprendre.

Mais cela revient à envoyer une vidéo de 24 heures d'un parking à un professeur juste pour demander : « Est-ce une voiture ? ». Cela gaspille une énorme quantité de bande passante Internet (coûts de transmission de données) et de stockage. De plus, les caméras pourraient envoyer des milliers de photos de la même voiture garée, ce qui est ennuyeux et inutile pour l'apprentissage.

La Solution : Le « Filtre Intelligent » (D-SBAD)

Les auteurs de cet article proposent une nouvelle manière plus intelligente de gérer cela, qu'ils appellent D-SBAD. Considérez cela comme un processus de recrutement en deux étapes pour choisir les meilleurs exemples d'entraînement :

Étape 1 : Le Réseau de « Confiance » (Le pressentiment de l'Étudiant)
D'abord, le jeune détective (l'Étudiant) examine le flux vidéo. S'il voit quelque chose et dit : « Je suis sûr à 99 % que c'est une voiture ! », il signale cette image. C'est ce qu'on appelle l'échantillonnage à haute confiance (high-confidence sampling).
- Pourquoi ? Si l'étudiant est confiant, la réponse du professeur sera probablement correcte. Cela évite d'envoyer des images confuses ou floues qui pourraient apprendre de mauvaises choses à l'étudiant.
Étape 2 : Le Filtre de « Diversité » (La Nouvelle Innovation)
C'est ici que l'idée principale de l'article brille. Même si l'étudiant est confiant, il pourrait quand même choisir 100 photos de la même voiture rouge. C'est redondant.
Le nouveau système ajoute une étape de filtrage directement sur la caméra. Avant d'envoyer les images au serveur, il utilise un outil minuscule et léger pour vérifier : « Avons-nous déjà une photo d'une voiture rouge ? Avons-nous une photo d'un camion bleu ? Avons-nous une photo d'un vélo ? »
Il ne conserve que l'ensemble d'images le plus diversifié. C'est comme un chef qui a un panier de 100 pommes mais n'en a besoin que de 5 pour une tarte. Au lieu de choisir 5 pommes au hasard, le chef en choisit 5 de tailles et de couleurs différentes pour garantir la meilleure saveur.

Comment ils l'ont testé

Les chercheurs ont testé cette méthode sur 15 caméras réelles surveillant le trafic dans des espaces publics (le jeu de données WALT). Ils ont comparé leur nouvelle méthode de « Filtre Intelligent » contre :

L'envoi de tout (trop de données).
L'envoi uniquement des éléments dont on est sûr sans filtrage (données redondantes).
D'autres méthodes de sélection aléatoires ou simples.

Les Résultats

La méthode du « Filtre Intelligent » (utilisant spécifiquement un algorithme appelé Farthest First) a été la gagnante.

Efficacité : Elle a réussi à entraîner les modèles des caméras aussi bien qu'en envoyant 8 fois plus de données.
Qualité : Les caméras ont appris à repérer les véhicules mieux qu'avant, et dans certains cas, elles ont même surpassé le modèle « professeur » après un entraînement suffisant.
Coût : Elle a considérablement réduit la quantité de données envoyées sur Internet, économisant ainsi de l'argent et de la bande passante.

L'essentiel à retenir

Cet article montre qu'il n'est pas nécessaire d'envoyer tout vers le cloud pour rendre les appareils de bord intelligents. En laissant l'appareil effectuer un rapide « test de confiance » puis un « test de diversité » pour éviter les doublons, vous pouvez construire un système hautement efficace. C'est comme envoyer un best-of de haute qualité au professeur au lieu de l'intégralité des images brutes, garantant que l'étudiant apprend plus vite et avec moins d'efforts.

Résumé Technique : Distillation Active par Flux à Efficacité de Données pour le Déploiement de Modèles en Bordure d'Échelle (Edge)

Énoncé du Problème
Les systèmes de caméras en bordure (edge) s'étendent rapidement pour couvrir des domaines visuels diversifiés, nécessissant des mises à jour fréquentes des modèles pour s'adapter aux changements de distribution et aux nouveaux environnements. Cependant, les appareils en bordure possèdent une puissance de calcul et une mémoire limitées, ce qui restreint la taille et la performance des réseaux de neurones profonds (DNN) déployés. Bien qu'un serveur central puisse héberger un modèle « Enseignant » (Teacher) complexe pour générer des pseudo-étiquettes de données afin d'entraîner des modèles « Étudiants » (Student) légers sur la bordure, la transmission de toutes les trames vidéo brutes pour annotation est irréalisable en raison des contraintes de bande passante et des coûts de stockage. Les méthodes existantes de Distillation Active par Flux (SBAD) sélectionnent les images basées sur des prédictions de haute confiance pour réduire le bruit, mais cette approche conduit souvent à des ensembles de données redondants et à des transferts de données inutiles, échouant ainsi à maximiser l'utilité du budget de transmission limité.

Méthodologie
Les auteurs proposent la D-SBAD (Distillation Active par Flux à Efficacité de Données), un cadre de sélection en deux étapes conçu pour optimiser le compromis entre la qualité du modèle et les coûts de transmission. Le système fonctionne selon une dynamique client-serveur :

Côté Client (Bordure) : Un modèle Étudiant léger traite un flux vidéo en temps réel. Au lieu de transmettre immédiatement un nombre fixe de trames, le client utilise une stratégie de SÉLECTION (spécifiquement TOP-CONFIDENCE) pour identifier un ensemble de « candidats » plus large ( $S$ ) de trames sur une fenêtre temporelle. Ces candidats sont temporairement mis en mémoire tampon sur l'appareil.
Étape de Filtrage : Un module de filtrage léger, présent sur l'appareil, traite l'ensemble de candidats $S$ $S$ pour sélectionner un sous-ensemble final, diversifié ( $F$ $F$ ), de taille $B$ $B$ (le budget de transmission). Cette étape vise à réduire la redondance et à garantir que les échantillons sélectionnés représentent efficacement le domaine de la caméra. L'article évalue plusieurs stratégies de filtrage sans étiquettes, notamment :
- Farthest First (FF - Premier plus éloigné) : Un algorithme déterministe qui sélectionne le premier échantillon de la région la plus dense de l'espace latent et ajoute de manière itérative des échantillons qui minimisent la similitude cosinus maximale avec l'ensemble déjà sélectionné, maximisant ainsi la diversité.
- Training-Free Dataset Pruning (TFDP - Élagage de Jeu de Données sans Entraînement) : Utilise un score de complexité de forme basé sur les périmètres et les aires des boîtes de détection.
- Moderate Coreset (Coreset Modéré) : Sélectionne les échantillons les plus proches de la distance médiane du centre du jeu de données dans l'espace latent.
- Least Confidence (Moindre Confiance) : Sélectionne les échantillons où l'Étudiant présente la plus faible confiance.
Côté Serveur : Le sous-ensemble filtré $F$ est transmis au serveur, où un puissant modèle Enseignant génère des pseudo-étiquettes. Le modèle Étudiant est ensuite affiné (fine-tuned) en utilisant ces échantillons pseudo-étiquetés.

Principales Contributions

Pipeline de Sélection en Deux Étapes : L'article introduit une modification novatrice du cadre SBAD en insérant une étape de filtrage entre l'échantillonnage initial et la transmission. Cela permet au système d'explorer un pool de données plus large ( $|S| = \gamma B$ ) avant de s'engager sur un sous-ensemble plus petit et de haute qualité pour la transmission.
Filtrage Basé sur la Diversité : Les auteurs démontrent que le couplage d'un échantillonnage à haute confiance avec une approche basée sur la diversité (spécifiquement l'algorithme Farthest First) améliore significativement la qualité du modèle par rapport aux bases de référence de type confiance seule.
Efficacité Sans Étiquettes : Les stratégies de filtrage proposées fonctionnent sans étiquettes de vérité terrain (ground-truth), ce qui les rend adaptées aux scénarios d'apprentissage en bordure non supervisés ou semi-supervisés où l'annotation manuelle est indisponible.
Scalabilité (Évolutivité) : Le cadre est conçu pour réduire les coûts de bande passante et d'entraînement tout en maintenant ou en améliorant la performance du modèle, répondant ainsi à un goulot d'étranglement critique pour le déploiement évolutif en bordure.

Résultats Expérimentaux
Des expériences ont été menées à l'aide du jeu de données Watch and Learn Time-lapse (WALT), comprenant des séquences de 15 caméras capturant la circulation de véhicules. La configuration a utilisé des architectures YOLO11, avec un YOLO11n (3,2 M de paramètres) comme Étudiant et un YOLO11x (68,2 M de paramètres) comme Enseignant.

Performance vs Bases de Référence : La stratégie Farthest First (FF) a produit la performance la plus élevée. Malgré l'utilisation de huit fois moins d'images que la base de référence SBAD- $\gamma$ non filtrée (qui transmet l'ensemble collecté complet), la méthode FF a atteint des scores mAP50−95 comparables.
Comparaison avec les Modèles Pré-entraînés : Les étudiants entraînés avec la stratégie FF ont surpassé la performance du modèle YOLO11n pré-entraîné dès 200 itérations et ont fini par surpasser le modèle Enseignant YOLO11x pré-entraîné à 3200 itérations.
Rendements Décroissants : L'augmentation du multiplicateur de la taille de l'ensemble de candidats ( $\gamma$ ) de 1 (aucune exploration) à 2 (exploration modérée) a entraîné des gains de performance significatifs. Cependant, des augmentations ultérieures de $\gamma$ (jusqu'à 12) ont montré des rendements décroissants, suggérant qu'un compromis optimal existe à des tailles de collecte modérées.
Stratégies Inefficaces : Dans ce cas d'utilisation spécifique, TFDP et Moderate Coreset ont performé en dessous de la base de référence non filtrée, indiquant que toutes les stratégies d'élagage ne sont pas universellement efficaces.

Signification et Revendications
L'article affirme que la D-SBAD améliore la scalabilité des systèmes d'apprentissage en bordure en maximisant la diversité des plongements (embeddings) avec un surcoût minimal. Les auteurs soutiennent que leur approche permet le déploiement de modèles de haute qualité avec un minimum de requêtes de données et des coûts de transmission réduits. Ils soulignent la praticité de l'utilisation de plongements compacts générés par des modèles Vision Transformer (ViT) compatibles avec la bordure (tels que DINOv2) pour l'étape de filtrage. Le travail conclut qu'une stratégie de flux basée sur la haute confiance, lorsqu'elle est couplée à une approche de filtrage basée sur la diversité, produit des modèles de haute qualité avec un minimum de requêtes de données, offrant une solution viable pour une adaptation continue dans des environnements de bordure évolutifs sans nécessiter d'étiquettes au moment du test. Des travaux futurs sont suggérés pour étudier des pipelines auto-supervisés légers qui pourraient être entièrement exécutés sur les appareils en bordure pour éliminer totalement la dépendance au serveur.