Cross-device Collaborative Test-time Adaptation with Zeroth-order Optimization and Model Merging

Sintesi Tecnica: Adattamento del Modello al Tempo di Test Collaborativo tra Dispositivi con Ottimizzazione di Ordine Zero e Fusione dei Modelli

1. Definizione del Problema

Le reti neurali profonde (DNN) soffrono spesso di un degrado delle prestazioni dovuto ai cambiamenti di dominio (domain shifts), in cui la distribuzione dei dati di test differisce significativamente dai dati di addestramento. Sebbene l'Adattamento al Tempo di Test (TTA) offra una soluzione aggiornando i modelli al volo utilizzando dati di test non etichettati, i metodi esistenti si affidano prevalentemente alla backpropagation (BP). La BP è dispendiosa in termini di risorse, poiché richiede una grande quantità di memoria per memorizzare grafi computazionali, attivazioni intermedie e gradienti della perdita. Ciò rende il TTA standard impraticabile per i dispositivi edge con risorse limitate (ad es., telefoni cellulari, sensori IoT) che incontrano frequentemente cambiamenti di dominio ma mancano della capacità computazionale per la BP.

Inoltre, sebbene esistano framework di TTA Collaborativo tra Dispositivi (CDC-TTA) per condividere informazioni sui modelli tra dispositivi con abbondanza di risorse e dispositivi con risorse limitate, l'applicazione diretta dell'Ottimizzazione di Ordine Zero (ZOO) — che evita la BP utilizzando solo passaggi in avanti (forward passes) — ai pesi del modello ad alta dimensionalità risulta in una convergenza lenta e scarse prestazioni.

2. Metodologia

Gli autori propongono un nuovo metodo TTA progettato per dispositivi con risorse limitate all'interno di un framework CDC-TTA. L'approccio integra tre pilastri fondamentali: l'Ottimizzazione di Ordine Zero, la Fusione dei Modelli e una strategia di pre-elaborazione unica.

A. Panoramica del Framework
Il sistema opera su una rete eterogenea di dispositivi che condividono i pesi del modello tramite un server centrale.

• Lato Server: Esegue una pesante pre-elaborazione sui modelli condivisi prima della distribuzione.
• Lato Dispositivo: Esegue il TTA utilizzando i modelli pre-elaborati senza l'uso della backpropagation.

B. Pre-elaborazione Lato Server
Per mitigare la difficoltà di ottimizzazione ad alta dimensionalità inerente alla ZOO e ridurre la ridondanza, il server applica tre sottocomponenti ai "vettori di task" (la differenza tra i pesi del modello affinato e un modello base):

1. Soppressione dei Pesi Non Influenti (NWS): Applica un filtraggio top-k% a ciascun vettore di task, azzerando gli elementi con valori assoluti bassi che non influenzano significativamente il processo di fusione.
2. Riduzione della Ridondanza (RR) tramite Approssimazione a Basso Rango: Riconoscendo che i vettori di task da domini simili sono ridondanti, il metodo applica la Decomposizione ai Valori Singolari (SVD) alla matrice di task concatenata. Questo approssima la matrice con un rango inferiore, raggruppando efficacemente le informazioni simili.
3. Selezione del Rango Adattiva (ARS): Determina automaticamente il rango ottimale per l'approssimazione a basso rango per ogni gruppo di pesi del modello basandosi su una soglia di errore di recupero. Ciò minimizza il numero di parametri da ottimizzare preservando al contempo le informazioni necessarie.

C. Adattamento al Tempo di Test Lato Dispositivo
Il dispositivo con risorse limitate riceve il modello base, le matrici di task ridotte e i coefficienti di fusione iniziali.

1. Fusione dei Modelli (Model Merging): Il modello target viene costruito fondendo il modello base con le matrici di task ridotte utilizzando una combinazione lineare di coefficienti di fusione.
2. Ottimizzazione di Ordine Zero (ZOO): Invece di ottimizzare milioni di pesi del modello, il dispositivo ottimizza solo i coefficienti di fusione a bassa dimensionalità. Il metodo utilizza lo Stochastic Gradient Descent di Ordine Zero (ZO-SGD) con la Simultaneous Perturbation Stochastic Approximation (SPSA). Calcola i pseudo-gradienti misurando la differenza di perdita tra i passaggi in avanti con perturbazioni positive e negative applicate ai coefficienti.
3. Soppressione della Memoria: Per ridurre ulteriormente l'uso della memoria, il metodo impiega un "trucco del seed casuale". Invece di memorizzare vettori di perturbazione casuali, il dispositivo campiona un seed casuale per ogni iterazione e ricampiona le perturbazioni, garantendo che i costi di memoria rimangano comparabili all'inferenza standard.

3. Contributi Chiave

• TTA Amichevole per le Risorse: Il documento propone un metodo TTA eseguibile su dispositivi con piccole capacità di memoria sostituendo la backpropagation con l'Ottimizzazione di Ordine Zero.
• Riduzione della Dimensionalità tramite Fusione dei Modelli: Ottimizzando i coefficienti di fusione invece dei pesi grezzi del modello, il metodo riduce drasticamente la dimensione di ottimizzazione, affrontando la lenta convergenza tipicamente associata alla ZOO in spazi ad alta dimensionalità.
• Pre-elaborazione Sinergica: Viene introdotta una pipeline di pre-elaborazione unica (NWS, RR e ARS) per eliminare i pesi non influenti e ridurre la ridondanza tra i modelli, migliorando l'efficienza del processo ZOO.
• Compatibilità con la Quantizzazione: Il metodo è applicabile a modelli quantizzati dove la backpropagation è intrinsecamente ineseguibile, dimostrando un miglioramento dell'accuratezza della predizione in tali scenari.

4. Risultati Sperimentali

Gli autori hanno valutato il metodo su comuni benchmark di corruzione (CIFAR10-C, CIFAR100-C, ImageNet-C) e su un benchmark di trasferimento di stile (Stylized-ImageNet).

• Prestazioni: Il metodo proposto ha superato costantemente gli esistenti metodi TTA privi di BP (BN stats, T3A) e il concorrente più vicino, CoLA, attraverso vari dataset e tipi di corruzione. Ad esempio, su ImageNet-C con ResNet-50, il metodo proposto ha ottenuto un tasso di errore medio inferiore (59,4%) rispetto a CoLA (61,3%).
• Efficienza della Memoria: Il metodo ha ridotto significativamente l'uso della memoria rispetto al TTA convenzionale basato su BP. Mentre i metodi basati su BP richiedevano la memorizzazione di grandi grafi computazionali e gradienti (ad es., ~9,37 GB nell'illustrazione degli autori), il metodo proposto ha ridotto questo valore a livelli compatibili con le operazioni di sola inferenza (ad es., ~1,84 GB).
• Studi di Ablazione: Gli esperimenti hanno confermato che la combinazione di Fusione dei Modelli, ZO-SGD e l'intera suite di pre-elaborazione (NWS, RR, ARS) ha prodotto i migliori risultati, con ogni componente che contribuisce alle prestazioni complessive e all'efficienza.

5. Significato e Rivendicazioni

Il documento afferma che il suo significato primario risiede nel rendere l'Adattamento al Tempo di Test fattibile per i dispositivi edge con risorse limitate, un requisito critico per applicazioni del mondo reale come la sorveglianza automatizzata, il controllo qualità nella produzione e la sanità indossabile. Sfruttando il framework CDC-TTA, il metodo trasforma la sfida dell'ottimizzazione ad alta dimensionalità in un problema a bassa dimensionalità attraverso la fusione dei modelli e la pre-elaborazione. Gli autori sostengono che questo approccio bilancia con successo il compromesso tra i limiti delle risorse computazionali e la necessità di modelli robusti e adattivi in ambienti dinamici, offrendo una soluzione pratica laddove il TTA tradizionale basato su BP fallisce.