Data-Efficient Stream-Based Active Distillation for Scalable Edge Model Deployment

Sintesi Tecnica: Distillazione Attiva Basata su Stream a Efficienza dei Dati per il Deployment Scalabile di Modelli Edge

Problematica
I sistemi di telecamere edge si stanno espandendo rapidamente per coprire diversi domini visivi, rendendo necessarie frequenti aggiornamenti dei modelli per adattarsi ai cambiamenti di distribuzione e ai nuovi ambienti. Tuttavia, i dispositivi edge possiedono una potenza computazionale e una memoria limitate, il che restringe le dimensioni e le prestazioni delle Reti Neurali Profonde (DNN) distribuite. Sebbene un server centrale possa ospitare un modello "Teacher" complesso per generare pseudo-etichette per l'addestramento di modelli "Student" leggeri sul dispositivo edge, la trasmissione di tutti i fotogrammi video grezzi per l'annotazione è impraticabile a causa dei vincoli di banda e dei costi di archiviazione. Gli esistenti metodi di Distillazione Attiva Basata su Stream (SBAD) selezionano le immagini in base a predizioni ad alta confidenza per ridurre il rumore, ma questo approccio spesso porta a dataset ridondanti e trasferimenti di dati non necessari, fallendo nel massimizzare l'utilità del limitato budget di trasmissione.

Metodologia
Gli autori propongono D-SBAD (Distillazione Attiva Basata su Stream a Efficienza dei Dati), un framework di selezione a due stadi progettato per ottimizzare il compromesso tra qualità del modello e costi di trasmissione. Il sistema opera secondo una dinamica client-server:

1. Lato Client (Edge): Un modello Student leggero elabora uno stream video in tempo reale. Invece di trasmettere immediatamente un numero fisso di fotogrammi, il client impiega una strategia di SELECT (specificamente TOP-CONFIDENCE) per identificare un insieme di "candidati" ($S$) più ampio di fotogrammi su una finestra temporale. Questi candidati vengono temporaneamente memorizzati in un buffer sul dispositivo.
2. Fase di Filtraggio: Un modulo di filtraggio leggero, operante sul dispositivo, elabora l'insieme di candidati $S$ per selezionare un sottoinsieme finale e diversificato ($F$) di dimensione $B$ (il budget di trasmissione). Questo passaggio mira a ridurre la ridondanza e garantire che i campioni selezionati rappresentino efficacemente il dominio della telecamera. Il documento confronta diverse strategie di filtraggio senza etichette, tra cui:
   • Farthest First (FF): Un algoritmo deterministico che seleziona il primo campione dalla regione più densa dello spazio latente e aggiunge iterativamente campioni che minimizzano la massima similarità del coseno con l'insieme già selezionato, massimizzando la diversità.
   • Training-Free Dataset Pruning (TFDP): Utilizza un punteggio di complessità della forma basato sui perimetri e sulle aree delle scatole di rilevamento (detection box).
   • Moderate Coreset: Seleziona i campioni più vicini alla distanza mediana dal centro del dataset nello spazio latente.
   • Least Confidence: Seleziona i campioni in cui lo Student ha la minore confidenza.
3. Lato Server: Il sottoinsieme filtrato $F$ viene trasmesso al server, dove un potente modello Teacher genera le pseudo-etichette. Il modello Student viene quindi perfezionato (fine-tuning) utilizzando questi campioni pseudo-etichettati.

Contributi Chiave

• Pipeline di Selezione a Due Stadi: Il documento introduce una nuova modifica al framework SBAD inserendo una fase di filtraggio tra il campionamento iniziale e la trasmissione. Ciò consente al sistema di esplorare un pool di dati più ampio ($|S| = \gamma B$) prima di impegnarsi in un sottoinsieme più piccolo e di alta qualità per la trasmissione.
• Filtraggio Basato sulla Diversità: Gli autori dimostrano che accoppiare il campionamento ad alta confidenza con un approccio basato sulla diversità (specificamente l'algoritmo Farthest First) migliora significativamente la qualità del modello rispetto ai baseline basati solo sulla confidenza.
• Efficienza Senza Etichette: Le strategie di filtraggio proposte operano senza etichette di ground-truth, rendendole adatte a scenari di apprendimento edge non supervisionati o semi-supervisionati dove l'annotazione manuale non è disponibile.
• Scalabilità: Il framework è progettato per ridurre i costi di banda e di addestramento mantenendo o migliorando le prestazioni del modello, affrontando un collo di bottiglia critico nel deployment edge scalabile.

Risultati Sperimentali
Gli esperimenti sono stati condotti utilizzando il dataset Watch and Learn Time-lapse (WALT), composto da filmati di 15 telecamere che catturano la circolazione dei veicoli. La configurazione ha utilizzato architetture YOLO11, con uno YOLO11n (3.2M di parametri) come Student e uno YOLO11x (68.2M di parametri) come Teacher.

• Performance vs. Baseline: La strategia Farthest First (FF) ha prodotto le prestazioni più elevate. Nonostante utilizzi otto volte meno immagini rispetto al baseline SBAD-$\gamma$ non filtrato (che trasmette l'intero set raccolto), FF ha ottenuto punteggi mAP50−95 comparabili.
• Confronto con Modelli Pre-addestrati: Gli Student addestrati con la strategia FF hanno superato le prestazioni del modello pre-addestrato YOLO11n a partire da 200 iterazioni e hanno infine superato il modello Teacher pre-addestrato YOLO11x a 3200 iterazioni.
• Rendimenti Decrescenti: L'aumento del moltiplicatore della dimensione dell'insieme di candidati ($\gamma$) da 1 (nessuna esplorazione) a 2 (esplorazione moderata) ha prodotto guadagni significativi di prestazioni. Tuttavia, ulteriori aumenti di $\gamma$ (fino a 12) hanno mostrato rendimenti decrescenti, suggerendo che esiste un trade-off ottimale a dimensioni moderate del set di raccolta.
• Strategie Inefficaci: In questo specifico caso d'uso, TFDP e Moderate Coreset hanno performato al di sotto del baseline non filtrato, indicando che non tutte le strategie di pruning sono universalmente efficaci.

Significatività e Rivendicazioni
Il documento afferma che D-SBAD migliora la scalabilità dei sistemi di apprendimento edge massimizzando la diversità degli embedding con un overhead minimo. Gli autori sostengono che il loro approccio consenta il deployment di modelli di alta qualità con un numero minimo di query al dataset e costi di trasmissione ridotti. Evidenziano la praticità dell'uso di embedding compatti generati da modelli Vision Transformer (ViT) compatibili con l'edge (come DINOv2) per la fase di filtraggio. Il lavoro conclude che una strategia basata su stream ad alta confidenza, quando accoppiata con un approccio di filtraggio basato sulla diversità, produce modelli di alta qualità con un numero minimo di query al dataset, offrendo una soluzione vitale per l'adattamento continuo in ambienti edge in evoluzione senza richiedere etichette al tempo di test. Si suggerisce come lavoro futuro l'indagine su pipeline auto-supervisionate leggere che possano essere eseguite interamente su dispositivi edge per eliminare completamente la dipendenza dal server.