Data-Efficient Stream-Based Active Distillation for Scalable Edge Model Deployment

Technische Samenvatting: Data-efficiënte Stroomgebaseerde Actieve Destillatie voor Schaalbare Edge-Modelimplementatie

Probleemstelling
Edge-camerasystemen breiden snel uit om diverse visuele domeinen te dekken, wat frequente modelupdates noodzakelijk maakt om zich aan te passen aan distributieverschuivingen en nieuwe omgevingen. Echter, edge-apparaten beschikken over beperkte rekenkracht en geheugen, wat de omvang en prestaties van gedeponeerde Deep Neural Networks (DNN's) beperkt. Hoewel een centrale server een complex "Teacher"-model kan hosten om pseudo-labels voor de training van lichtgewicht "Student"-modellen op de edge te genereren, is het verzenden van alle ruwe videoframes voor annotatie onhaalbaar vanwege bandbreedtebeperkingen en opslagkosten. Bestaande Stream-Based Active Distillation (SBAD)-methoden selecteren beelden op basis van hoge betrouwbaarheid (confidence) om ruis te verminderen, maar deze aanpak leidt vaak tot redundante datasets en onnodige dataoverdracht, waardoor het niet lukt om het nut van het beperkte transmissiebudget te maximaliseren.

Methodologie
De auteurs stellen D-SBAD (Data-Efficient Stream-Based Active Distillation) voor, een tweestaps selectiekader ontworpen om de afweging tussen modelkwaliteit en transmissiekosten te optimaliseren. Het systeem werkt via een client-server dynamiek:

1. Client-zijde (Edge): Een lichtgewicht Student-model verwerkt een videostroom in realtime. In plaats van onmiddellijk een vast aantal frames te verzenden, gebruikt de client een SELECT-strategie (specifiek TOP-CONFIDENCE) om een grotere "kandidaatenset" ($S$) van frames te identificeren over een temporeel venster. Deze kandidaten worden tijdelijk gebufferd op het apparaat.
2. Filteringsfase: Een lichtgewicht, on-device filteringsmodule verwerkt de kandidaatenset $S$ om een definitieve, diverse subset ($F$) te selecteren van grootte $B$ (het transmissiebudget). Deze stap heeft als doel redundantie te verminderen en ervoor te zorgen dat de geselecteerde monsters het domein van de camera effectief vertegenwoordigen. Het artikel vergelijkt verschillende label-vrije filteringsstrategieën, waaronder:
   • Farthest First (FF): Een deterministisch algoritme dat het eerste monster selecteert uit de dichtste regio van de latente ruimte en iteratief monsters toevoegt die de maximale cosinusgelijkenis met de reeds geselecteerde set minimaliseren, waardoor diversiteit wordt gemaximaliseerd.
   • Training-Free Dataset Pruning (TFDP): Gebruikt een Shape Complexity Score gebaseerd op de omtrek en oppervlakte van detectieboxen.
   • Moderate Coreset: Selecteert monsters die het dichtst bij de mediaanafstand van het middelpunt van de dataset in de latente ruimte liggen.
   • Least Confidence: Selecteert monsters waarbij de Student de laagste betrouwbaarheid heeft.
3. Server-zijde: De gefilterde subset $F$ wordt naar de server verzonden, waar een krachtig Teacher-model pseudo-labels genereert. Het Student-model wordt vervolgens gefinetuned met behulp van deze pseudo-gelabelde monsters.

Belangrijkste Bijdragen

• Tweestaps Selectiepipeline: Het artikel introduceert een innovatieve modificatie van het SBAD-framework door een filteringsfase in te voegen tussen de initiële sampling en de transmissie. Dit stelt het systeem in staat om een grotere pool van data ($|S| = \gamma B$) te verkennen voordat er een kleinere, hoogwaardige subset voor transmissie wordt vastgesteld.
• Diversiteitsgebaseerde Filtering: De auteurs demonstreren dat het koppelen van high-confidence sampling aan een diversiteitsgebaseerde aanpak (specifiek het Farthest First algoritme) de modelkwaliteit aanzienlijk verbetert vergeleken met confidence-only baselines.
• Label-vrije Efficiëntie: De voorgestelde filteringsstrategieën werken zonder grondwaarheid-labels (ground-truth), wat ze geschikt maakt voor unsupervised of semi-supervised edge learning scenario's waar handmatige annotatie niet beschikbaar is.
• Schaalbaarheid: Het framework is ontworpen om bandbreedte- en trainingskosten te verlagen terwijl het modelprestaties gelijk houdt of verbetert, waarmee een kritieke bottleneck in schaalbare edge-implementatie wordt aangepakt.

Experimentele Resultaten
Experimenten werden uitgevoerd met de Watch and Learn Time-lapse (WALT) dataset, bestaande uit beelden van 15 camera's die voertuigcirculatie vastleggen. De opstelling maakte gebruik van YOLO11-architecturen, met een YOLO11n (3.2M parameters) als Student en een YOLO11x (68.2M parameters) als Teacher.

• Prestaties vs. Baselines: De Farthest First (FF) strategie leverde de hoogste prestaties op. Ondanks het feit dat FF acht keer minder afbeeldingen gebruikte dan de ongefilterde SBAD-$\gamma$ baseline (die de volledige verzamelde set verzendt), bereikte FF vergelijkbare mAP50−95 scores.
• Vergelijking met Pre-trained Modellen: Students getraind met de FF-strategie overtrof de pre-trained YOLO11n Student vanaf 200 iteraties en overtrof uiteindelijk de pre-trained YOLO11x Teacher bij 3200 iteraties.
• Verminderende Meeropbrengsten: Het verhogen van de multiplier voor de omvang van de kandidaatenset ($\gamma$) van 1 (geen exploratie) naar 2 (matige exploratie) resulteerde in significante prestatiewinsten. Verdere verhogingen van $\gamma$ (tot 12) vertoonden echter verminderende meeropbrengsten, wat suggereert dat er een optimaal evenwicht bestaat bij matige collectieset-groottes.
• Ineffectieve Strategieën: In dit specifieke gebruiksscenario presteerden TFDP en Moderate Coreset onder de ongefilterde baseline, wat aangeeft dat niet alle pruning-strategieën universeel effectief zijn.

Betekenis en Claims
Het artikel claimt dat D-SBAD de schaalbaarheid van edge learning-systemen verbetert door de diversiteit van embeddings te maximaliseren met minimale overhead. De auteurs stellen dat hun aanpak de implementatie van hoogwaardige modellen mogelijk maakt met minimale dataset-queries en gereduceerde transmissiekosten. Ze benadrukken de praktische bruikbaarheid van compacte embeddings gegenereerd door edge-compatibele Vision Transformer (ViT) modellen (zoals DINOv2) voor de filteringsfase. Het werk concludeert dat een high-confidence stream-gebaseerde strategie, wanneer gekoppeld aan een diversiteitsgebaseerde filteringaanpak, hoogwaardige modellen produceert met minimale dataset-queries, wat een levensvatbare oplossing biedt voor continue adaptatie in evoluerende edge-omgevingen zonder dat er tijdens de testtijd gelabelde data nodig is. Toekomstig werk wordt gesuggereerd om lichtgewicht self-supervised pipelines te onderzoeken die volledig op edge-apparaten kunnen worden uitgevoerd om de afhankelijkheid van de server volledig te elimineren.