Self-Supervised Learning with a Multi-Task Latent Space Objective

Technische Samenvatting: Zelfgesuperviseerd Leren met een Multi-Task Latente Ruimte Doelstelling

Probleemstelling
Zelfgesuperviseerd leren (SSL) gebaseerd op Siamese netwerken, zoals BYOL, SimSiam en MoCo v3, leert visuele representaties door verschillende versterkte (augmented) weergaven van dezelfde afbeelding uit te lijnen. Een cruciaal onderdeel in moderne SSL is de multi-crop strategie, die kleine lokale crops naast globale weergaven incorporeert om ruimtelijke consistentie af te dwingen. Hoewel deze strategie de prestaties van contrastieve en clustering-gebaseerde methoden (bijv. SimCLR, SwAV, DINO) aanzienlijk verbetert, veroorzaakt het ernstige instabiliteit in predictor-gebaseerde Siamese architecturen.

De auteurs identificeren dat deze instabiliteit voortkomt uit het gebruik van een enkele gedeelde predictor voor alle typen weergaven (globaal en lokaal). Omdat globale en lokale crops drastisch verschillen in schaal en inhoud, worstelt een verenigde predictor met het uitlijnen van deze heterogene representaties, wat leidt tot optimalisatiefouten, voortijdige prestatieplateaus of degradatie van de nauwkeurigheid vergeleken met standaard twee-weergave baselines.

Methodologie
De voorgestelde oplossing omvat twee primaire architecturale en methodologische verschuivingen:

1. View-Specifieke Predictors (Multi-Predictor Multi-Crop):
   In plaats van een enkele gedeelde predictor-kop over alle weergaven te delen, wijzen de auteurs een specifieke predictor toe aan elk type weergave (globaal, lokaal en later, cutout), terwijl de encoder (backbone en projectie-kop) gedeeld blijft.

   • Mechanisme: Elke predictor specialiseert zich in het uitlijnen van representaties voor zijn specifieke type weergave. Deze ontkoppeling vermindert de interferentie tussen de uitlijningsobjectieven van globale en lokale crops.
   • Voordeel: Deze modificatie stabiliseert de training zonder de verliesfunctie te wijzigen, vereist geen nieuwe hyperparameters en verhoogt slechts marginaal het aantal leerbare parameters.

2. Multi-Task Formulering met Cutout Weergaven:
   Bouwend op de gestabiliseerde multi-crop setup, breiden de auteurs het framework uit door cutout weergaven te introduceren.

   • Asymmetrische Cutout: Een willekeurig rechthoekig gebied van de afbeelding wordt gemaskeerd (geoccludeerd) in de online weergave, terwijl de target weergave volledig blijft. Dit creëert een asymmetische setup waarbij het online model de volledige beeldrepresentatie moet voorspellen vanuit een gedeeltelijk gemaskeerde input, wat effectief fungeert als een lichtgewicht inpainting-taak in de latente ruimte.
   • Complementair Signaal: In tegenstelling tot lokale crops die externe context verwijderen, verwijdert cutout interne inhoud. Dit moedigt het model aan om ontbrekende informatie af te leiden uit omliggende regio's, wat complementair is aan de schaalinvariantie die door cropping wordt geleerd.
   • Verenigd Framework: De uiteindelijke formulering behandelt globale, lokale en cutout weergaven als afzonderlijke taken in de latente ruimte. De totale uitlijningsverlies is een gewogen som van de voorspellingsfouten voor elk type weergave ten opzichte van de globale target representatie.

Belangrijkste Bijdragen

1. Diagnose van Instabiliteit: Het artikel identificeert de gedeelde predictor als de primaire oorzaak van het falen van multi-crop in asymmetrische Siamese SSL en demonstreert dat het toewijzen van view-specifieke predictors dit probleem oplost.
2. Gestabiliseerde Multi-Crop Training: De voorgestelde multi-predictor aanpak stelt predictor-gebaseerde methoden (BYOL, SimSiam, MoCo v3) in staat om multi-crop augmentaties volledig te benutten, wat consistente prestatiewinsten oplevert.
3. Ruimtelijke Augmentatie Extensie: De introductie van asymmetrische cutout weergaven biedt een complementair ruimtelijk supervisiesignaal. De analyse van de auteurs suggereert dat ruimtelijke augmentaties (cropping en cutout) de meest effectieve bron van supervisie in SSL zijn, wat superieur is aan niet-ruimtelijke augmentaties.
4. Verenigd Multi-Task Framework: Het werk presenteert een eenvoudige, backbone-agnostische multi-task formulering die globale, lokale en gemaskeerde weergaven integreert in een enkel trainingsrecept dat compatibel is met zowel CNN als Transformer backbones.

Experimentele Resultaten
De aanpak werd gevalideerd op ImageNet-1k met ResNet-50 en Vision Transformer (ViT) backbones over BYOL, SimSiam en MoCo v3.

• ResNet-50 Prestaties:

  • BYOL: De lineaire evaluatie nauwkeurigheid verbeterde van 70,7% (standaard multi-crop met gedeelde predictor) naar 74,7% met de multi-predictor setup. De uiteindelijke multi-task formulering (inclusief cutout) bereikte 75,6%.
  • SimSiam & MoCo v3: Beide frameworks zagen vergelijkbare winsten van ongeveer +4% in lineaire evaluatie wanneer ze overgingen van standaard multi-crop naar de multi-predictor setup.
  • Efficiëntie: De multi-task SimSiam variant bereikte 74,7% nauwkeurigheid in slechts 200 epochs, waarmee de oorspronkelijke SimSiam baseline (71,3%) die 800 epochs vereiste, overtrof.

• ViT Prestaties:

  • ViT-S: Lineaire nauwkeurigheid verbeterde van 71,4% naar 74,0%.
  • ViT-B: Lineaire nauwkeurigheid bereikte 77,7%, wat de standaard BYOL baseline met +3,7% overtrof.

• Downstream Taken:

  • COCO Object Detectie/Segmentatie: Het multi-task BYOL model overtrof zowel gesuperviseerde pre-training als andere SSL methoden, en behaalde de hoogste AP (41,8 voor detectie, 38,0 voor segmentatie) op een ResNet-50 backbone.
  • Vergelijking: De methode presteerde consequent beter dan of kwam overeen met state-of-the-art contrastieve, clustering en non-contrastieve methoden, en presteerde beter dan Masked Image Modeling (MIM) benaderingen in lineaire evaluatie settings.

Betekenis en Claims
Het artikel claimt dat het ontkoppelen van predictors over view-types een fundamentele vereiste is om multi-crop strategieën effectief te maken in predictor-gebaseerde Siamese SSL. Door elke ruimtelijke transformatie als een afzonderlijke uitlijningstaak te behandelen, bieden de auteurs een stabiel, generaliseerbaar framework dat de kwaliteit van representaties verbetert over verschillende architecturen.

Het werk benadrukt dat ruimtelijke augmentaties de dominante bron van leersignalen zijn in SSL. De integratie van cutout weergaven demonstreert dat occlusie-gebaseerde supervisie effectief kan worden geïntegreerd in Siamese frameworks zonder complexe architecturale veranderingen of reconstructiedoelen. De auteurs suggereren dat deze principes — specifiek het ontkoppelen van predictors en het gebruik van diverse ruimtelijke weergaven — kunnen worden uitgebreid naar andere gestructureerde modaliteiten zoals video's of puntenwolken. Ze merken ook op dat het conditioneren van predictors op view-specifieke informatie (bijv. cutout coördinaten) een potentiële toekomstige richting vormt naar Joint-Embedding Predictive Architectures.