Cross-device Collaborative Test-time Adaptation with Zeroth-order Optimization and Model Merging

Technische Samenvatting: Cross-device Collaboratieve Test-time Adaptatie met Zeroth-order Optimalisatie en Model Merging

1. Probleemstelling

Diepe neurale netwerken (DNN's) lijden vaak aan prestatievermindering door domeinverschuivingen (domain shifts), waarbij de distributie van testdata significant verschilt van de trainingsdata. Hoewel Test-time Adaptation (TTA) een oplossing biedt door modellen on-the-fly bij te werken met behulp van ongelabelde testdata, vertrouwen bestaande methoden voornamelijk op backpropagation (BP). BP is zeer intensief qua middelen en vereist veel geheugen om computationele grafen, tussenliggende activaties en verliesgradiënten op te slaan. Dit maakt standaard TTA onhaalbaar voor edge-apparaten met beperkte middelen (bijv. mobiele telefoons, IoT-sensoren) die frequent te maken krijgen met domeinverschuivingen maar niet over de computationele capaciteit beschikken voor BP.

Bovendien, hoewel er frameworks bestaan voor Cross-device Collaborative TTA (CDC-TTA) om modelinformatie te delen tussen apparaten met overvloedige middelen en apparaten met beperkte middelen, leidt het simpelweg toepassen van Zeroth-order Optimization (ZOO)—dat BP vermijdt door alleen forward passes te gebruiken—op hoogdimensionale modelgewichten tot trage convergentie en slechte prestaties.

2. Methodologie

De auteurs stellen een nieuwe TTA-methode voor die is ontworpen voor apparaten met beperkte middelen binnen een CDC-TTA-framework. De aanpak integreert drie kernzuilen: Zeroth-order Optimization, Model Merging en een unieke preprocessing-strategie.

A. Framework Overzicht
Het systeem werkt op een heterogeen netwerk van apparaten die modelgewichten delen via een centrale server.

• Serverzijde: Voert zware preprocessing uit op gedeelde modellen voordat deze worden gedistribueerd.
• Apparaatzijde: Voert TTA uit op de gepreprocesste modellen zonder backpropagation.

B. Serverzijde Preprocessing
Om de moeilijkheid van hoogdimensionale optimalisatie inherent aan ZOO te verzachten en redundantie te verminderen, past de server drie subcomponenten toe op de "taakvectoren" (het verschil tussen de gefinetunede modelgewichten en een basismodel):

1. Non-influential Weight Suppression (NWS): Past top-k% filtering toe op elke taakvector, waarbij elementen met lage absolute waarden die de merging-procedure niet significant beïnvloeden, op nul worden gezet.
2. Redundancy Reduction (RR) via Low-rank Approximatie: Erkenning dat taakvectoren uit vergelijkbare domeinen redundant zijn; de methode past Singular Value Decomposition (SVD) toe op de geconcateneerde taakmatrix. Dit benadert de matrix met een lagere rang, wat effectief vergelijkbare informatie groepeert.
3. Adaptive Rank Selection (ARS): Bepaalt automatisch de optimale rang voor de low-rank approximatie voor elke groep modelgewichten op basis van een herstel-foutdrempel (recovery error threshold). Dit minimaliseert het aantal te optimaliseren parameters terwijl noodzakelijke informatie behouden blijft.

C. Device-side Test-time Adaptation
Het apparaat met beperkte middelen ontvangt het basismodel, gereduceerde taakmatrices en initiële merging-coëfficiënten.

1. Model Merging: Het doelmodel wordt geconstrueerd door het basismodel te mergen met de gereduceerde taakmatrices met behulp van een lineaire combinatie van merging-coëfficiënten.
2. Zeroth-order Optimization (ZOO): In plaats van miljoenen modelgewichten te optimaliseren, optimaliseert het apparaat alleen de laagdimensionale merging-coëfficiënten. De methode gebruikt Zeroth-order Stochastic Gradient Descent (ZO-SGD) met Simultaneous Perturbation Stochastic Approximation (SPSA). Het berekent pseudo-gradiënten door het verliesverschil te meten tussen forward passes met positieve en negatieve perturbaties toegepast op de coëfficiënten.
3. Memory Suppression: Om het geheugengebruik verder te verminderen, gebruikt de methode een "random seed trick". In plaats van willekeurige perturbatievectoren op te slaan, neemt het apparaat voor elke iteratie een willekeurige seed en hersampled het de perturbaties, waardoor de geheugenkosten vergelijkbaar blijven met standaard inferentie.

3. Belangrijkste Bijdragen

• Resource-vriendelijke TTA: Het artikel stelt een TTA-methode voor die uitvoerbaar is op apparaten met kleine geheugencapaciteiten door backpropagation te vervangen door Zeroth-order Optimization.
• Dimensionaliteitsreductie via Model Merging: Door merging-coëfficiënten te optimaliseren in plaats van ruwe modelgewichten, vermindert de methode de optimalisiedimensie drastisch, wat de trage convergentie die gewoonlijk met ZOO in hoogdimensionale ruimtes gepaard gaat, aanpakt.
• Synergetische Preprocessing: Een unieke preprocessing-pipeline (NWS, RR en ARS) wordt geïntroduceerd om niet-invloedrijke gewichten weg te snijden en inter-model redundantie te verminderen, wat het efficiëntieproces van ZOO verbetert.
• Compatibiliteit met Kwantisatie: De methode is toepasbaar op gekwantiseerde modellen waar backpropagation inherent onuitvoerbaar is, en demonstreert verbeterde voorspellingsnauwkeurigheid in dergelijke scenario's.

4. Experimentele Resultaten

De auteurs evalueerden de methode op veelvoorkomende corruptie-benchmarks (CIFAR10-C, CIFAR100-C, ImageNet-C) en een stijl-transfer benchmark (Stylized-ImageNet).

• Prestaties: De voorgestelde methode presteerde consequent beter dan bestaande BP-vrije TTA-methoden (BN stats, T3A) en de dichtstbijzijnde concurrent, CoLA, over diverse datasets en corruptietypes. Bijvoorbeeld, op ImageNet-C met ResNet-50 bereikte de voorgestelde methode een lager gemiddeld foutpercentage (59,4%) vergeleken met CoLA (61,3%).
• Geheugenefficiëntie: De methode verminderde het geheugengebruik aanzienlijk vergeleken met conventionele BP-gebaseerde TTA. Terwijl BP-gebaseerde methoden grote computationele grafen en gradiënten moesten opslaan (bijv. ~9,37 GB in de illustratie van de auteurs), reduceerde de voorgestelde methode dit naar niveaus die compatibel zijn met inferentie-alleen operaties (bijv. ~1,84 GB).
• Ablatie-studies: Experimenten bevestigden dat de combinatie van Model Merging, ZO-SGD en de volledige preprocessing-suite (NWS, RR, ARS) de beste resultaten opleverde, waarbij elk onderdeel bijdroeg aan de algehele prestaties en efficiëntie.

5. Betekenis en Claims

Het artikel claimt dat de primaire betekenis ligt in het mogelijk maken van Test-time Adaptation voor apparaten met beperkte middelen, een cruciale vereiste voor real-world toepassingen zoals geautomatiseerde surveillance, kwaliteitscontrole in de productie en draagbare gezondheidszorg. Door gebruik te maken van het CDC-TTA framework, transformeert de methode de uitdaging van hoogdimensionale optimalisatie naar een laagdimensionaal probleem via model merging en preprocessing. De auteurs stellen dat deze aanpak succesvol de balans vindt tussen de beperkingen van computationele middelen en de behoefte aan robuuste, adaptieve modellen in dynamische omgevingen, en een praktische oplossing biedt waar traditionele BP-gebaseerde TTA faalt.