Technische Samenvatting: Fake & Square: Training Self-Supervised Vision Transformers met Synthetische Data en Synthetische Hard Negatives

Probleemstelling

Contrastief zelfgesuperviseerd leren heeft opmerkelijk succes behaald in computer vision, maar staat voor twee primaire knelpunten:

1. Schaarsheid en Diversiteit van Data: Deze methoden vereisen doorgaans enorme hoeveelheden gelabelde of ongelabelde real-world data om competitieve prestaties te behalen, wat een schaalbaarheidsprobleem creëert dat vergelijkbaar is met supervised learning.
2. Beperkingen van Hard Negatives: De kwaliteit van de geleerde representaties is sterk afhankelijk van "hard negatives" (dissimilair exemplaren die semantisch dichtbij liggen). Bestaande methoden worstelen vaak met de beperkte diversiteit van deze hard negatives, die cruiaal zijn voor het leren van discriminerende kenmerken.

De auteurs verkennen alternatieven voor deze vereisten door het gezegde "fake it till you make it" te onderzoeken. Ze vragen zich af of synthetische data en synthetische hard negatives effectief de real-world componenten in de training van Vision Transformers (ViTs) kunnen aanvullen of vervangen.

Methodologie: Syn2Co

Het paper introduceert Syn2Co, een framework dat twee vormen van "faken" integreert in de self-supervised learning pipeline:

1. Generatie van Synthetische Data (Image Space)

• Aanpak: De auteurs maken gebruik van een generatief diffusiemodel om een synthetische kloon van de ImageNet-100 dataset te creëren.
• Schaal: Ongeveer 130.000 synthetische afbeeldingen worden gegenereerd, waarbij dezelfde klasseverdeling als de originele dataset wordt aangehouden.
• Integratie: Tijdens de training worden afbeeldingen gesampled uit een gemengde pool van real data ($X$) en synthetische data ($X_s$). Dit maakt scenario's mogelijk die variëren van uitsluitend trainen op real data tot uitsluitend op synthetische data, of diverse mengverhoudingen.

2. Synthetische Hard Negatives (Representation Space)

• Aanpak: In plaats van uitsluitend te vertrouwen op real negatieve samples uit een memory queue, genereert het framework synthetische hard negatives direct in de feature representation space ($Z$).
• Selectie: Gegeven een query representatie $q$, worden de $N$ hardste negatives ($Q_N$) geselecteerd uit de bestaande queue op basis van cosine similarity.
• Synthese: Een synthesefunctie $F$ opereert op de query en de geselecteerde hard negatives om nieuwe synthetische negatives ($s$) te creëren. De auteurs implementeren zes strategieën voor $F$, waaronder interpolatie, extrapolatie, mixing, noise jittering, perturbatie en adversariële methoden.
• Integratie: Deze synthetische negatives ($Q_s$) worden gecombineerd met de real negative queue ($Q$) om de diversiteit van de contrasten tijdens de training uit te breiden zonder dat er extra real-world data verzameld hoeft te worden.

3. Learning Framework

De methode maakt gebruik van een contrastieve leerdoelstelling (InfoNCE loss) vergelijkbaar met MoCo en BYOL.

• Architecturen: Het framework wordt geëvalueerd op DeiT-S (Data-efficient Image Transformer) en Swin-T (Swin Transformer Tiny).
• Training: De target encoder wordt bijgewerkt via een momentum mechanisme, terwijl de online encoder wordt geoptimaliseerd via backpropagation.

Belangrijkste Bijdragen

1. Synthetische Data Clone: De creatie van een synthetische kloon van ImageNet-100 en een demonstratie van hoe synthetische data de contrastieve self-supervised learning beïnvloedt.
2. Synthetische Negatives voor Transformers: De adaptatie en uitbreiding van synthetische negative generatie technieken (voorheen verkend in andere contexten) naar Vision Transformers, wat aantoont dat DeiT en Swin deze synthetische contrasten kunnen gebruiken om meer discriminerende kenmerken te leren.
3. Omvattende Evaluatie: Een systematische onderzoek naar de trade-offs tussen real en synthetische data, en de impact van variërende proporties en de "hardness" van synthetische negatives.

Experimentele Resultaten

De experimenten werden uitgevoerd op ImageNet-100 met behulp van linear probing om de kwaliteit van de geleerde representaties te evalueren.

• Prestatievergelijking:
  • DeiT-S: Het model maakte effectief gebruik van zowel synthetische data als synthetische negatives. De beste prestatie (82.12% Top-1 accuratesse) werd bereikt met de volledige Syn2Co aanpak (beide synthetische componenten) over 300 epochs, waarmee de supervised baseline (80.50%) en standaard MoBY (79.36%) werd overtroffen.
  • Swin-T: Deze architectuur profiteerde primair van synthetische negatives. Het bereikte een optimale prestatie met enkel synthetische negatives (84.04% Top-1), wat aantoont dat het synthetische contrasten effectief kan benutten, zelfs zonder synthetische beelddata.
• Data Mengsels:
  • Modellen die uitsluitend op synthetische data zijn getraind, behaalden redelijke prestaties, maar de accuratesse verbeterde naarmate het aandeel real data toenam.
  • De resultaten suggereren dat synthetische afbeeldingen waardevolle complementen zijn in plaats van volledige vervangers voor real data, hoewel het prestatieverschil tussen volledig synthetische en volledig real training relatief bescheiden is.
• Hard Negative Sensitiviteit:
  • DeiT: Toonde sensitiviteit voor zowel het niveau van "hardness" als de proportie van synthetische negatives.
  • Swin: Behield consistente prestatiewinsten over verschillende configuraties van synthetische negatives.

Betekenis en Claims

Het paper claimt bescheiden dat het niet zozeer een fundamenteel nieuwe methode introduceert, maar voortbouwt op bestaande self-supervised benaderingen om de grenzen van synthetische augmentatie te verkennen.

• Belofte: De bevindingen benadrukken het potentieel van synthetische data en synthetische hard negatives om robuuste en overdraagbare visuele representaties te creëren, met name door de afhankelijkheid van enorme hoeveelheden gecureerde real-world data te verminderen.
• Beperkingen: De auteurs merken op dat synthetische data een patroon van verminderde meeropbrengst volgt en dat diffusiemodellen distributieverschuivingen introduceren die hun effectiviteit als volledige vervangers voor real data beperken.
• Architecturale Nuance: Een belangrijk inzicht is dat verschillende transformer architecturen (DeiT vs. Swin) verschillend reageren op synthetische augmentatiestrategieën, wat suggereert dat de keuze voor augmentatie moet worden afgestemd op het specifieke modelontwerp.

Samenvattend toont Syn2Co aan dat "faken" door middel van synthetische data en synthetische hard negatives een levensvatbare strategie is om self-supervised learning te verbeteren, wat een pad biedt naar een meer schaalbare en efficiënte training van Vision Transformers.