Technische Samenvatting: Domain Adaptatie onder Draadloze Netwerkbeperkingen

Probleemstelling

De implementatie van datagestuurde modellen in 6G-draadloze netwerken staat voor aanzienlijke uitdagingen door frequente distributieverschuivingen veroorzaakt door omgevingsdynamiek (bijv. gebruikersmobiliteit, kanaalmodellen, verkeerspatronen). Hoewel Unsupervised Domain Adaptation (UDA) een mechanisme biedt om modellen te adapteren van een gelabelde bron-domein naar een ongelabelde doel-domein zonder dure veldlabeling, zijn UDA-pipelines inherent complexer dan single-task training.

Het centrale probleem dat wordt aangepakt, is of de voordelen van UDA de extra computationele en optimalisatie-overhead vanuit een energieperspectief rechtvaardigen. Specifiek onderzoeken de auteurs:

1. Brengt UDA hogere energiekosten met zich mee dan vanaf nul trainen (Independent Classification, IC)?
2. Hoe verhoudt de afweging tussen energieverbruik en labelingskosten zich tussen UDA en hertraining?
3. Onder welke omstandigheden (specifiek het aantal doel-domeinen) wordt UDA de "groenere" (energie-efficiëntere) keuze?

Deze vraagstelling is cruciaal voor 6G, waarbij modellen lichtgewicht moeten zijn, snelle hertraining moeten ondersteunen en moeten aansluiten bij duurzaamheidsdoelstellingen, terwijl de bestaande literatuur een gebrek heeft aan empirische vergelijkingen van de energieconsumptie van UDA versus standaard hertraining op tijdreeksgegevens.

Methodologie

1. Schatting van Energie en Koolstofvoetafdruk

De studie kwantificeert het energieverbruik over de volledige AI-levenscyclus (dataverzameling, preprocessing, training, validatie, inferentie en monitoring). Energie ($E$) wordt gemeten in kWh en omgezet naar koolstofvoetafdruk ($CF$) met de formule:
$$CF = CI \times PUE \times E$$
waarbij $CI$ de koolstofintensiteit van het lokale elektriciteitsnet is en $PUE$ de Power Usage Effectiveness van de infrastructuur. Tools zoals CodeCarbon worden gebruikt voor end-to-end boekhouding.

2. Vergelijkbare Kostenmodellen

De auteurs definiëren drie strategieën om een bronmodel ($S$) te adapteren naar $N$ doel-domeinen ($T_1, \dots, T_N$):

• Independent Classification (IC): Een apart gesuperviseerd model wordt vanaf nul getraind voor elk doel-domein. Dit brengt een labelingskosten ($E_{label}$) en de volledige computationele kosten met zich mee voor elk domein.
• UDA – Sequential Adaptation (UDA-S): Het bronmodel wordt één keer getraind. Het wordt vervolgens onafhankelijk geadapteerd naar elk doel-domein zonder labels.
• UDA – Joint Multi-Target Adaptation (UDA-J): Het bronmodel wordt één keer getraind en vervolgens simultaan naar alle $N$ doel-domeinen geadapteerd in een enkele gezamenlijke run.

3. Break-Even Analyse

De kern van de analytische bijdrage is de afleiding van het break-even aantal targets ($N^*$), gedefinieerd als het minimale aantal $N$ waarbij een UDA-strategie energie-efficiënter wordt dan IC.

• Voor UDA-S: $N^*_S = \frac{E_{source}}{E_{ind} - E_{adapt}}$
• Voor UDA-J: $N^*_J = \frac{E_{source} + E_{adapt,joint}}{E_{ind}}$

Waarbij $E_{source}$ de kosten zijn voor het trainen van het bronmodel, $E_{ind}$ de kosten zijn voor onafhankelijke training per domein, en $E_{adapt}$ de kosten van adaptatie zijn.

4. Experimentele Opzet

• Datasets: Vanwege het gebrek aan open-source draadloze UDA-tijdreeksdatasets hebben de auteurs benchmarks gebruikt uit aangrenzende domeinen die vergelijkbare distributieverschuivingen vertonen: Human Activity Recognition (HAR, HHAR, WISDM), Sport/Dagelijkse beweging, en Mechanical Fault Diagnosis (CWRU).
• Algoritmen: De studie vergelijkt diverse UDA-benaderingen (adversarial alignment, discrepancy minimization, strong representation learners) met een InceptionTime baseline.
• Beperkingen: Om een eerlijke vergelijking te garanderen, werd een vast tijdsbudget opgelegd voor hyperparameter-tuning en training over alle methoden, wat realistische deployment-beperkingen simuleert waarbij middelen beperkt zijn.
• Metrieken: Energieverbruik (kWh) en classificatienauwkeurigheid werden per pipeline-fase gemeten (preprocessing, tuning, training, predictie, scoring).

Belangrijkste Resultaten

1. Energieverdeling in de Pipeline

De tuning (hyperparameter search) fase domineert het energieverbruik en is verantwoordelijk voor het grootste deel van de totale kosten en variantie, gevolgd door de trainingsfase. Preprocessing en inferentie zijn in vergelijking daarmee verwaarloosbaar (orders van grootte lager).

2. Algoritmische Efficiëntie

• Laagste Energie: Inception-DANN, Raincoat en CoDATS vertoonden het laagste mediane energieverbruik (onder $10^{-2}$ kWh).
• Hoge Variantie: CoTMix vertoonde een hoge variantie in convergentie, wat leidde tot een brede interkwartielafstand in energieverbruik.
• Afwegingen: Onder het beperkte budget bood Raincoat de beste balans tussen lage kosten en robuuste nauwkeurigheid, terwijl InceptionRain de beste nauwkeurigheid bood onder de Inception-gebaseerde UDA-methoden.

3. Break-Even Fenomeen

De analyse laat zien dat UDA energie-efficiënt wordt met een opmerkelijk laag aantal doel-domeinen:

• Joint Adaptation (UDA-J): Bereikt het break-even punt bij $N \approx 1.0 - 1.4$ doel-domeinen. Dit impliceert dat het adapteren naar één gezamenlijk doel vaak voldoende is om de kosten van de bron-training te ammortiseren.
• Sequential Adaptation (UDA-S): Bereikt break-even bij $N \approx 1 - 2$ doel-domeinen.
• Impact van Labelingskosten: Wanneer de kosten voor labeling ($E_{label}$) worden meegerekend, divergeert de IC-curve steil. In scenario's waar doel-labels niet beschikbaar of duur zijn, is UDA strikt te prefereren vanaf het allereerste doel-domein ($N \ge 1$).

Betekenis en Claims

Het artikel claimt de eerste empirische onderzoek naar de energie-efficiëntie van UDA versus hertraining voor tijdreeksclassificatie in realistische settings te bieden. De primaire bijdragen zijn:

1. Definiëren van het "Groene" Regime: De studie stelt vast dat UDA niet inherent duurder is; het wordt bijna onmiddellijk (na 1–2 doel-domeinen) de "groenere" keuze vergeleken met trainen vanaf nul, vooral wanneer labelingkosten worden meegerekend.
2. Operationele Richtlijnen: Het biedt praktische richtlijnen voor 6G-deployment, waarbij wordt gesuggereerd dat Joint Multi-Target Adaptation (UDA-J) de voorkeur verdient wanneer dit mogelijk is, aangezien het efficiëntiedrempels eerder bereikt dan sequential adaptation.
3. Duurzaamheid in Wireless AI: Het werk benadrukt dat voor 6G om duurzaamheidsdoelen te halen, AI-modellen niet alleen op nauwkeurigheid, maar ook op hun volledige levenscyclus-energievoetafdruk moeten worden geëvalueerd, met name in dynamische omgevingen waar frequente hertraining noodzakelijk is.

De auteurs houden een bescheiden standpunt en merken op dat hun bevindingen gebaseerd zijn op specifieke benchmarks en beperkte budgetten. Ze suggereren dat toekomstig werk zich moet uitbreiden naar meer diverse datasets en ongesuperviseerde validatiemetrieken moet ontwikkelen om de tuning-kosten verder te verlagen.