Technische Samenvatting: Self-Soupervision: Koken van Model Soups zonder Labels

1. Probleemstelling

Model soups zijn een techniek om de voorspellingsnauwkeurigheid te verbeteren door de parameters van meerdere modellen (ingrediënten) te middelen die zijn geïnitialiseerd vanuit een enkele vooraf getrainde (pre-trained) stock. Hoewel effectief, vertrouwen bestaande soup-methoden volledig op supervised learning. Ze vereisen gelabelde data om diverse ingrediënten te genereren, typisch door optimalisatiehyperparameters te variëren of door te finetunen op verschillende gelabelde datasets. Deze afhankelijkheid beperkt het "menu" van mogieve soepen, waardoor het gebruik van de enorme hoeveelheden ongelabelde data die in de echte wereld beschikbaar zijn, wordt verhinderd. Bovereven worstelen bestaande methoden ermee om distributieverschuivingen (distribution shifts) of ongelabelde doeldata te benutten om robuustheid te verbeteren zonder expliciete labels.

De paper stelt de vraag: Kunnen we model soups generaliseren naar Self-Supervised Learning (SSL)? Specifiek: kunnen we diverse "ingrediënten" creëren door te trainen op ongelabelde data met verschillende SSL-algoritmen en losses, en deze vervolgens succesvol te mengen tot een enkele robuuste model?

2. Methodologie: Self-Soupervision

De auteurs introduceren Self-Soupervision, een framework dat model soup-ingrediënten genereert via onafhankelijke self-supervised training runs voordat de uiteindelijke supervised fine-tuning en het mengen plaatsvindt.

Kernframework

Het proces wordt formeel gedefinieerd als:
$$\theta = \frac{1}{N \cdot M} \sum_{j=1}^{N} \sum_{i=1}^{M} \text{Train}(\underbrace{\text{Train}(\theta_{pt}, X_i)}_{\text{Self-Supervised Inter-training}}, X_j, Y_j)$$
Waar:

• $\theta_{pt}$ de pre-trained stock is.
• $M$ het aantal inter-training runs is op ongelabelde data $X_i$ met behulp van verschillende SSL-algoritmen of hyperparameters.
• $N$ het aantal fine-tuning runs is op gelabelde data $X_j, Y_j$ voor de doeltaak.
• Het uiteindelijke model $\theta$ het gemiddelde is van alle resulterende ingrediënten.

Belangrijkste Componenten

1. Diverse SSL-ingrediënten: In plaats van alleen supervised hyperparameters te variëren, varieert de methode de self-supervised training runs. Ingrediënten worden gecreëerd door inter-training op ongelabelde data met verschillende SSL-families:
   • Reconstructie: MAE (Masked Autoencoders).
   • Instance-Contrastief: MoCoV3.
   • Dimensie-Contrastief: MMCR en LeJEPA.
   • Hyperparameter Variatie: Verschillende learning rates en masking ratios binnen hetzelfde algoritme.
2. Shift-bewuste Inter-training: Om de robuustheid te verbeteren, kunnen ingrediënten worden onderworpen aan inter-training op gecorrumpeerde of verschoven ongelabelde data (bijv. ImageNet-C of LAION-C) voordat ze terug worden gefinetuned op de schone, gelabelde distributie. Dit stelt het model in staat om de verschuiving te "proeven" zonder dat er labels nodig zijn voor die verschuiving.
3. Self-Seasoning: Traditionele soup mixing gebruikt vaak "seasoning" (het selecteren van de beste mengverhoudingen) op basis van een few-shot gelabelde set. De auteurs stellen Self-Seasoning voor, een ongesuperviseerde variant. Het optimaliseert de mengcoëfficiënten $\alpha$ door de entropie van nearest-neighbor voorspellingen op ongelabelde data te minimaliseren, wat volledig ongesuperviseerde soup-creatie voor transfertaken mogelijk maakt.

3. Belangrijkste Bijdragen

• Generalisatie naar SSL: De paper demonstreert dat model soups geconstrueerd kunnen worden uit ingrediënten die getraind zijn met verschillende self-supervised losses en algoritmen, en niet alleen met variaties in supervised fine-tuning.
• Ontdekking van Linear Mode Connectivity (LMC): De auteurs tonen voor het eerst aan dat LMC—de conditie waarbij de lineaire interpolatie van modelgewichten een hoge nauwkeurigheid behoudt—geldt tussen ingrediënten die getraind zijn met fundamenteel verschillende SSL-algoritmen (bijv. het mengen van MAE en MoCoV3 ingrediënten).
• Robuustheid via Ongelabelde Verschuivingen: De methode maakt het mogelijk om "shift-aware" ingrediënten te creëren door te inter-trainen op gecorrumpeerde ongelabelde data, wat de robuustheid op gecorrumpeerde testsets aanzienlijk verhoogt zonder dat er labels nodig zijn voor de corruptie.
• Volledig Ongesuperviseerde Transfer: Door middel van Self-Seasoning laat de paper zien dat soups gemengd en geoptimaliseerd kunnen worden voor nieuwe taken met enkel ongelabelde data, waardoor de noodzaak voor taakspecifieke labels tijdens de mengfase verdwijnt.

4. Experimentele Resultaten

De auteurs evalueerden Self-Soupervision over de ImageNet en de VTAB (21 diverse visuele taken) collecties.

Robuustheid op Gecorrumpeerde Data

• ImageNet-C & LAION-C: Self-Soups die inter-trainen op gecorrumpeerde ongelabelde data (ImageNet-C/LAION-C) en vervolgens finetunen op schone data, behaalden significante winsten ten opzichte van standaard supervised soups.
  • +3,5% verbetering op ImageNet-C.
  • +7,0% verbetering op LAION-C.
• Vergelijking: Deze Self-Soups presteerden beter dan ensembles van individuele ingrediënten en standaard "Continued SSL + Supervised Soup" baselines (die enkel op schone data inter-trainen).

Transfer Learning (VTAB)

• Schone Data: Self-Soups behaalden bescheiden maar consistente winsten ten opzichte van supervised-only soups en "Continued SSL" baselines over 21 VTAB-taken.
• Gecorrumpeerde Data: Self-Soups toonden bijzondere kracht tegen blur, weather en digitale corrupties (+2% winst), hoewel ze iets slechter presteerden op noise vergeleken met supervised-only soups.
• Ratatouille Vergelijking: Self-Soups maten de prestaties van "Model Ratatouille" (die hulp-gelabelde datasets vereist voor inter-training), terwijl ze geen extra gelabelde datasets vereisten, wat de effectiviteit van het gebruik van ongelabelde data voor ingrediënt-diversiteit bewijst.

Self-Seasoning Prestaties

• In few-shot scenario's (<500 trainingssamples) was Self-Seasoning (ongesuperviseerde mengoptimalisatie) competitief met "Labeled Seasoning" (gesuperviseerde optimalisatie) en presteerde het beter dan standaard fine-tuning op natuurlijke taken. Dit demonstreert dat hoogwaardige soepen gecreëerd en afgestemd kunnen worden zonder taakspecifieke labels.

5. Betekenis en Claims

De paper claimt dat Self-Soupervision "het menu van mogelijke soepen enorm uitbreidt" door gebruik te maken van ongelabelde data en diverse SSL-losses. De primaire betekenis ligt in:

1. Democratisering van Robuustheid: Het stelt gebruikers in staat om de robuustheid van modellen tegen distributieverschuivingen te verbeteren met enkel ongelabelde verschoven data, waardoor de noodzaak voor dure gelabelde shift-data wordt omzeild.
2. Algoritmische Diversiteit: Het bewijst dat het mengen van modellen getraind met verschillende SSL-doelen (bijv. reconstructie versus contrastief) niet alleen mogelijk, maar ook productief is, wat de aanname uitdaagt dat ingrediënten homogeen moeten zijn in hun trainingsdoel.
3. Kostenefficiëntie: De methode verbetert de nauwkeurigheid en robuustheid zonder de kosten tijdens de inferentie te verhogen (de uiteindelijke soup is één enkel model) en vermindert de afhankelijkheid van gelabelde data tijdens het "koken".

De auteurs concluderen dat hoewel de winsten op schone data bescheiden zijn, het vermogen om ongelabelde data te benutten voor robuustheid en het vermogen om fundamenteel verschillende SSL-algoritmen te mengen, een belangrijke stap voorwaarts vertegenwoordigt in model merging en self-supervised learning.