Technische Samenvatting: DOME - Leren van Overdraagbare Domeinvariabelen vanuit Sparse Supervisie voor Test-Time Adaptatie

1. Probleemstelling

Test-Time Adaptation (TTA) streeft ernaar een vooraf getraind model af te stemmen op verschuivende test-domeinen met behulp van uitsluitend ongelabelde stromende data. Bestaande TTA-methoden vertrouwen voornamelijk op een "impliciet zoekparadigma", waarbij ze proberen een enkele, globale statistische distributie af te leiden om het gehele doel-domein te representeren. De auteurs stellen dat deze aanpak fundamenteel gebrekkig is voor realistische scenario's omdat:

• Multidimensionaliteit: Real-world domeinverschuivingen zijn multidimensionaal en samplespecifiek (bijv. een afbeelding kan tegelijkertijd bij een "artistiek" domein en een "dieren" domein horen).
• Informatieverlies: Het dwingen van alle doeldata in een enkele verenigde representatie elimineert samplespecifieke domeincues.
• Instabiliteit: Het conflict tussen de multidimensionale realiteit van samples en het doel om een enkele globale distributie te leren, leidt tot instabiele optimalisatie en lokale minima.
• Fragiliteit: Huidige methoden vereisen vaak complexe heuristieken of ingewikkelde adaptatie-algoritmen om deze problemen te mitigeren, maar blijven fragiel onder diverse verschuivingen.

Het artikel stelt een centrale vraag: Kunnen we het domein van elk sample expliciet modelleren in plaats van te vertrouwen op impliciete zoektochten?

2. Methodologie: DOME en het Sparse-to-Dense (S2D) Framework

De auteurs stellen DOME (DOMain Encoder) voor, een zero-shot domeinencoder die expliciet domeinrepresentaties genereert voor downstream samples. DOME wordt getraind via een Sparse-to-Dense (S2D) leerframework, dat bestaat uit twee synergetische componenten:

A. Sparse-Label Domain Disentanglement (SDD)

Omdat dichte (dense) domeinannotaties niet beschikbaar zijn, leert SDD om domeinspecifieke factoren te isoleren van categorische semantiek met behulp van sparse supervisie.

• Momentum Sparse Bank: Een domeinbank slaat sparse, domeingerelateerde features op die via een momentumstrategie ($m=0.9$) worden bijgewerkt. Dit versterkt gedeelde domeininformatie terwijl instance-specifieke ruis wordt onderdrukt.
• Disentanglement Mechanisme:
  1. Tussenliggende tokens van een CLIP vision encoder worden voorzien van verwijderde positionele encodings om categorie-gerelateerde cues te onderdrukken.
  2. Een lichtgewicht Dictionary Decoder brengt de beeldrepresentatie in kaart naar een hoogdimensionale, overcomplete ruimte.
  3. Sparsity Regularisatie: Een $\ell_1$-loss moedigt het model aan om slechts een sparse subset van interpreteerbare features (canonieke domeinattributen) te activeren.
  4. JumpReLU: Een leerbare drempelwaarde onderdrukt residuele zwakke activaties, wat resulteert in een zuiver, sparse domeinsignaal ($z_{dom}$).

B. Dense Domain Representations Learning (DDRL)

Deze component extrapoleert de sparse annotaties naar een continue, dense domeinruimte om zero-shot generalisatie mogelijk te maken.

• Vision-Language Pretraining: DOME wordt geïnitialiseerd vanuit bevroren CLIP image en text encoders. Tijdens de training geleiden gedeeltelijk gemaskeerde domeinteksten de extractie van domeinvariabelen, wat ambiguïteit in de multidimensionale ruimte vermindert.
• Reparametrisatie: Het model voorspelt kanaalsgewijze gemiddelden ($\hat{\mu}$) en standaarddeviaties ($\hat{\sigma}$) om domeinstatistieken te representeren.
• Trainingsdoelstellingen: De dense features ($\hat{z}$) worden getraind om te aligneren met de zuivere sparse signalen ($z_{dom}$) via:
  • MSE Loss: Regressie van dense projecties naar sparse prototypen.
  • Auxiliary Loss: Alignatie van projecties met ruwe domeinstatistieken.
  • InfoNCE Loss: Stimuleert intra-domein cohesie en inter-domein separatie.

C. Test-Time Adaptation (TTA) Integratie

Tijdens de inferentie opereert DOME als een bevroren module:

1. Domain Injection: DOME verwerkt het testbeeld (en zijn zwakke augmentatie) om domeinstatistieken te genereren.
2. Adapter Modulatie: Een lichtgewicht MLP-adapter zet deze statistieken om in affine parameters ($g, b$).
3. Feature Modulatie: Deze parameters moduleren de features van een bevroren ViT backbone via $x = x \cdot (1 + g) + b$ na de LayerNorm.
4. Optimalisatie: Alleen de adapter en normalisatielagen worden bijgewerkt met behulp van een standaard entropie-minimalisatie-objectief (conditionele en marginale entropie) over een enkele forward-backward pass. Geen complexe zelftraining of pseudo-labeling is vereist.

3. Belangrijkste Bijdragen

1. Expliciete Domeininjectie: DOME is de eerste algemene domeinspecifieke feature extractor in de TTA-literatuur, die het paradigma transformeert van impliciete domeinzoektochten naar expliciete domeininjectie.
2. Sparse-to-Dense Leerframework: Een nieuwe trainingsstrategie die een momentum-bijgewerkte sparse bank gebruikt voor gedisentangled supervisie en vision-language pretraining om dense, continue domeinrepresentaties te extrapoleren voor zero-shot generalisatie.
3. Eenvoud en Prestaties: De auteurs demonstreren dat robuuste adaptatie voortkomt uit expliciete, gestructureerde domeinrepresentatie in plaats van complexe algoritmen. Zelfs een naïeve entropie-minimalisatie strategie gecombineerd met DOME bereikt state-of-the-art resultaten.

4. Experimentele Resultaten

De methode werd geëvalueerd op ImageNet-C, ImageNet-R en ImageNet-Sketch met verschillende backbones (ViT-B, ViT-L, DINOv2).

• ImageNet-C: DOME + Entropy Minimization behaalde een gemiddelde nauwkeurigheid van 66,7%, waarmee het complexe baselines zoals DeYO (66,4%) en FOA (66,3%) versloeg. Het toonde bijzondere kracht bij Motion Blur, Zoom Blur en Elastic Transform.
• ImageNet-R: Behaalde 68,7% top-1 nauwkeurigheid, wat overeenkomt met de best presterende complexe methode (DeYO) en effectief omgaat met stijlverschuivingen.
• ImageNet-Sketch: Stelde een nieuwe state-of-the-art vast op 53,9%, wat DeYO (50,3%) aanzienlijk overtreft, wat robuustheid demonstreert wanneer textuurkenmerken ontbreken.
• Generalisatie: In offline TTA-settings over ongeziene artistieke domeinen presteerde DOME consistent beter dan een baseline die gebruikmaakt van ruwe CLIP-statistieken (DomStat), waarbij de nauwkeurigheid verbeterde van 52,81% naar 68,34% op ViT-B/16.
• Efficiëntie: DOME bereikt SOTA-prestaties met 4$\times$ minder trainbare parameters dan full-model adaptatiemethoden (bijv. CoTTA) terwijl de real-time latentie behouden blijft.

5. Betekenis en Claims

Het artikel claimt dat de primaire drijfveer van robuuste TTA niet de complexiteit van het adaptatie-algoritme is (bijv. zelftraining, prototype alignment), maar de kwaliteit van de domeinrepresentatie.

• Paradigmaverschuiving: Door domeinvariabelen expliciet te modelleren, wordt het inferentieproces datagedependent en aanpasbaar aan de multidimensionale domein van elk sample, in plaats van geoptimaliseerd te worden voor een potentieel onnauwkeurige globale distributie.
• Disentanglement: Het S2D-framework slaagt erin om domeincues te scheiden van semantische informatie, waardoor het model zich tijdens adaptatie op semantische informatie kan concentreren terwijl het wordt geleid door expliciete domeincues.
• Zero-Shot Capaciteit: Door gebruik te maken van vision-language pretraining kan DOME generaliseren naar ongeziene domeinen zonder dat specifieke domeinlabels nodig zijn tijdens de downstream TTA-fase.

De auteurs concluderen dat expliciete, gestructureerde domeinrepresentatie de sleutel is tot het oplossen van de fragiliteit van huidige TTA-methoden, waardoor eenvoudige strategieën in staat worden gesteld om state-of-the-art prestaties te leveren over diverse en continue domeinverschuivingen.