Soft Equivariance Regularization for Invariant Self-Supervised Learning

Dit artikel introduceert Soft Equivariance Regularization (SER), een plug-in regularisatiemethode die invariance en equivariantie in zelftoezichtend leren ontkoppelt door equivariantie op een tussenlaag af te dwingen, wat leidt tot verbeterde prestaties op ImageNet en robuustheid tegen geometrische verstoringen zonder extra voorspellingskoppen.

De kern

Hier is een uitleg van het onderzoekspapier "Soft Equivariance Regularization" (SER), vertaald naar begrijpelijk Nederlands met behulp van alledaagse analogieën.

De Kernboodschap: De Kunst van het "Net Niet Te Strak" Houding

Stel je voor dat je een kunstenaar bent die leert om objecten te herkennen, zoals een hond of een auto. Je krijgt duizenden foto's te zien, maar je hebt geen namen bij de foto's. Je moet het zelf uitzoeken.

In de wereld van kunstmatige intelligentie (AI) is er een populaire methode om dit te leren: Self-Supervised Learning (SSL). De AI krijgt twee versies van dezelfde foto, maar dan iets veranderd (bijvoorbeeld: de foto is iets ingeknipt, de kleuren zijn iets lichter, of hij is gedraaid). De AI moet leren dat het dezelfde hond is, ongeacht die veranderingen.

Het probleem:
De meeste AI-modellen leren dit door te zeggen: "Het maakt niet uit hoe je de foto draait of knipt, het antwoord is altijd hetzelfde." Ze worden extreem invariant (onveranderlijk).

• Voordeel: Ze zijn heel goed in het herkennen van een hond op een foto.
• Nadeel: Ze vergeten hoe de hond eruitziet als je hem draait of vergroot. Ze verliezen hun "ruimtelijk gevoel". Als je ze later vraagt om een hond te vinden in een video waar de camera beweegt, of om een auto te detecteren die schuin staat, falen ze vaak omdat ze te star zijn geworden.

De Oplossing: Soft Equivariance Regularization (SER)

De auteurs van dit paper zeggen: "Wacht even. We hoeven niet alles te vergeten. We moeten leren dat als je de foto draait, de antwoorden ook logisch meedraaien." Dit noemen ze equivariantie.

Maar hier zit de twist: Als je probeert dit "meedraaien" te forceren op het allerlaatste moment van het denkproces (waar de AI zegt: "Dit is een hond"), dan gaat de herkenning van de hond zelf vaak stuk. De AI raakt in de war.

De Innovatie van SER:
De auteurs hebben een slimme truc bedacht. Ze splitsen het denkproces van de AI in twee delen:

1. Het Eindresultaat (De "Herkennings-Head"): Hier blijft de AI gewoon doen wat hij altijd doet: hij leert dat de hond een hond is, ongeacht de veranderingen. Hij wordt invariant.
2. Het Tussentijdse Denkproces (De "Ruimtelijke Kaart"): Hier, halverwege het proces, dwingen ze de AI om te leren hoe de hond eruitziet als hij gedraaid of vergroot wordt. Ze zeggen: "Als de hond linksom draait, moet jouw interne kaart ook linksom draaien." Dit is equivariantie.

De Analogie: De Architect en de Bouwheer
Stel je een bouwproject voor:

• De Bouwheer (het eindresultaat) wil alleen weten: "Is dit een huis of een kasteel?" Hij wil niet weten of het huis nu op zijn kop staat of schuin. Hij wil een duidelijk, statisch antwoord.
• De Architect (het tussentijdse proces) moet wel weten hoe de muren en ramen zich gedragen als je het huis draait. Hij moet de structuur begrijpen.

Eerdere methoden probeerden de Bouwheer te dwingen om ook de architectuur te begrijpen. Dat werkte slecht; de Bouwheer raakte in de war en kon het huis niet meer herkennen.
SER zegt: "Laat de Bouwheer rustig zijn werk doen (herkennen), maar zorg dat de Architect in de tussentijd zijn oefeningen doet (ruimtelijk inzicht)."

Hoe werkt het in de praktijk?

1. Geen extra labels: De AI hoeft niet te raden "Ah, deze foto is 90 graden gedraaid!". Dat zou te veel werk zijn. In plaats daarvan gebruikt de AI wiskundige regels (groepen) om te checken of de interne kaart logisch meebeweegt.
2. Slimme knipbeurt: Omdat het "knippen" van een foto (zoals bij het maken van een close-up) niet omkeerbaar is (je kunt de afgesneden rand niet terugkrijgen), gebruiken ze een slimme truc. Ze splitsen de foto's in twee groepen:
   • Groep 1: Normale foto's met knippen (voor herkenning).
   • Groep 2: Foto's zonder knippen, maar met draaien en spiegelen (voor het ruimtelijke inzicht).
3. Resultaat: De AI wordt sterker. Hij herkent objecten net zo goed als voorheen, maar is ook veel robuuster tegen vervormingen (zoals wazige foto's of schuine hoeken) en werkt beter bij taken zoals het detecteren van objecten in een video.

Waarom is dit belangrijk?

• Beter presteren: Op de grote testset (ImageNet) scoort deze methode beter dan eerdere methoden die probeerden invariance en equivariance te combineren.
• Minder rekenkracht nodig: Het kost bijna geen extra tijd om dit te trainen (slechts 0,8% meer rekenwerk).
• Een algemene regel: De auteurs ontdekten dat je bestaande AI-modellen kunt verbeteren door simpelweg de "ruimtelijke oefeningen" naar een eerder stadium in het denkproces te verplaatsen, in plaats van naar het einde.

Kort samengevat:
Deze paper leert AI-modellen om niet alleen te leren "wat" ze zien, maar ook "hoe" het eruitziet als je het verplaatst. Ze doen dit door een slimme scheiding aan te brengen in het denkproces: laat het eindantwoord simpel en stabiel, maar laat het tussentijdse denken flexibel en ruimtelijk bewust. Het is als het geven van een extra trainingssessie aan de "ruimtelijke hersenen" van de AI, zonder de "herkenningshersenen" te verstoren.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Soft Equivariance Regularization for Invariant Self-Supervised Learning" (SER), gepresenteerd als een conferentiepaper bij ICLR 2026.

Probleemstelling

Zelftoezichtend leren (Self-Supervised Learning, SSL) in computer vision leert doorgaans representaties die invariant zijn voor semantisch behoudende augmentaties (zoals willekeurige crops en fotometrische jittering). Hoewel deze invariantie effectief is voor objectherkenning, kan het de transformatie-afhankelijke structuur (zoals oriëntatie, reflectie en schaal) onderdrukken. Deze structuur is echter cruciaal voor robuustheid tegen geometrische verstoringen en voor ruimtelijk gevoelige transfer-taken (zoals objectdetectie).

Bestaande methoden die equivariantie (de eigenschap dat een representatie op een voorspelbare manier verandert bij invoertransformaties) proberen te integreren, leggen vaak zowel de invariantie- als de equivariantiedoelstellingen op aan dezelfde finale representatie. De auteurs observeren echter een fundamenteel compromis (trade-off) in deze gekoppelde setting:

• Het forceren van equivariantie in de diepere lagen verbetert de equivariantie-scores.
• Dit leidt echter tot een significante daling in de prestaties voor lineaire evaluatie op ImageNet-1k.
• De finale representatie is vaak ruimtelijk samengeperst (spatially collapsed), wat slecht aansluit bij ruimtelijke groepswerkingen.

Methodologie: Soft Equivariance Regularization (SER)

De auteurs stellen Soft Equivariance Regularization (SER) voor, een plug-in regularisatiemethode die invariantie en equivariantie laag-gedecoupeerde (layer-decoupled) toepast.

Kernprincipes:

1. Laag-Decoupling:

   • Invariance: De basis-SSL-doelstelling (bijv. MoCo-v3, DINO, Barlow Twins) blijft ongewijzigd op de finale embedding (bijv. de [CLS]-token) van toepassing.
   • Equivariance: Een zachte regularisatie wordt toegepast op een intermediare ruimtelijke token-kaart (feature map) voordat deze wordt samengeperst. Hierdoor blijft de ruimtelijke structuur behouden, wat essentieel is voor het definiëren van groepswerkingen.

2. Analytische Groepswerkingen:

   • SER gebruikt analytisch gespecificeerde groepswerkingen $\rho_g$ (zoals 90°-rotaties, horizontale flips en anisotrope schaling) die direct in de feature-ruimte worden toegepast.
   • Er worden geen extra transformatie-predicatie-heads, learnable action-modules of per-sample transformatielabels geleerd of voorspeld.

3. Augmentatiebeleid en Batch-partitioning:

   • Omdat veel SSL-augmentaties (zoals RandomResizedCrop) niet-inverteerbaar zijn en geen groep vormen, splitst SER elke mini-batch in twee sub-batches:
     • Batch $b_1$: Gebruikt het standaard augmentatiebeleid $T$ (inclusief crops) voor de basis-invariantieloss.
     • Batch $b_2$: Gebruikt een aangepast beleid $T_{eq}$ waarbij crops worden uitgeschakeld, maar fotometrische jittering behouden blijft. De geometrische transformaties worden bemonsterd uit een inverteerbare groep $G$ (rotaties, flips, schaling).
   • De equivariantieloss wordt alleen berekend op $b_2$ door de relatieve transformatie $g = g_2 g_1^{-1}$ te gebruiken om de feature maps uit te lijnen.

4. Trainingsdoel:
   De totale loss functie is een som van de invariantieloss op beide batches en de equivariantieloss op de intermediare features:
   $$L = L_{inv1} + L_{inv2} + \lambda L_{equiv}$$
   Waarbij $L_{equiv}$ een patch-wise contrastive loss (NT-Xent) is die de overeenkomst tussen de getransformeerde feature map en de oorspronkelijke feature map maximaliseert.

Belangrijkste Bijdragen

1. Empirische Trade-off: Het paper demonstreert dat het opleggen van zowel invariantie als equivariantie op dezelfde finale laag suboptimaal is. Het forceren van equivariantie in diepere lagen verbetert de geometrische consistentie maar schaadt de discriminatieve kwaliteit voor classificatie.
2. Layer-Decoupled Ontwerp: SER introduceert een architectuur-onafhankelijke regularisator die equivariantie op een intermediare laag bevordert terwijl de finale embedding puur voor invariantie wordt geoptimaliseerd.
3. Efficiëntie en Eenvoud: De methode vereist geen extra neurale netwerken voor transformatie-predicatie en voegt slechts 1.008x aan het trainings-FLOPs toe.
4. Algemene Toepasbaarheid: De auteurs tonen aan dat het toepassen van dit "layer-decoupling" principe op bestaande invariantie+equivariantie-methoden (zoals EquiMod en AugSelf) hun prestaties verbetert, wat suggereert dat dit een algemeen ontwerpprincipe is.

Resultaten

De methoden zijn geëvalueerd op ImageNet-1k (ViT-S/16) met strikt gematchde augmentatie-instellingen (aantal views):

• Classificatie (ImageNet-1k): SER verbetert de lineaire evaluatie Top-1 nauwkeurigheid van MoCo-v3 met +0.84% (van 68.44% naar 69.28%) onder een strikt 2-view instelling. Het presteert consistent beter dan bestaande equivariante add-ons (zoals AugSelf, STL, EquiMod) en verbetert ook DINO en Barlow Twins.
• Robuustheid: SER toont significante verbeteringen op ImageNet-C (corrupties) en ImageNet-P (geometrische verstoringen), met respectievelijk +1.11% en +1.22% verbetering in Top-1.
• Transfer Learning: Er is een verbetering van +1.7 mAP waargenomen bij objectdetectie op COCO met een bevroren backbone, wat aantoont dat de representaties ruimtelijk gevoeliger zijn.
• Ablatie-studies:
  • De beste prestaties worden behaald wanneer de equivariantieloss wordt toegepast op een intermediare laag (bij ViT-S/16 rond laag 3), niet op de finale laag.
  • Het verplaatsen van de equivariantiedoelstelling van bestaande methoden (EquiMod, AugSelf) van de finale laag naar een intermediare laag verbetert hun nauwkeurigheid aanzienlijk, wat de generaliteit van het principe bevestigt.

Betekenis

Dit paper biedt een cruciaal inzicht in de interactie tussen invariantie en equivariantie in zelftoezichtend leren. Het weerlegt de aanname dat beide eigenschappen optimaal op dezelfde representatie kunnen worden geoptimaliseerd. Door deze te scheiden over verschillende lagen van het netwerk, kan SER het beste van beide werelden bereiken: sterke discriminatieve krachten voor classificatie én robuuste, ruimtelijk gestructureerde features voor transfer-taken.

De methode is bijzonder relevant omdat deze lichtgewicht is, geen extra labels vereist, en direct toepasbaar is op bestaande state-of-the-art SSL-architecturen zonder ingrijpende architecturale wijzigingen. Het stelt een nieuw standaardontwerpprincipe voor voor toekomstige SSL-methoden die geometrische robuustheid nodig hebben.