Why Prototypes Collapse: Diagnosing and Preventing Partial Collapse in Prototypical Self-Supervised Learning

Titel: Waarom Prototypes Instorten: Diagnose en Preventie van Gedeeltelijke Instorting in Prototypisch Zelftoezichthoudend Leren

Publicatie: ICLR 2026
Auteurs: Gabriel Y. Arteaga, Marius Aasan, et al. (Universiteit van Oslo, UiT, Universiteit van Campinas)

1. Het Probleem: Gedeeltelijke Prototypische Instorting (Partial Prototype Collapse)

Prototypische methoden voor zelftoezichthoudend leren (Self-Supervised Learning, SSL) zijn zeer succesvol in het leren van visuele representaties. In deze frameworks worden leerbare vectoren (prototypes) gebruikt als clusterankers om de encoder te sturen zodat samples zich organiseren in semantisch coherente gebieden.

Echter, deze methoden lijden systematisch aan gedeeltelijke prototypische instorting. Dit fenomeen treedt op wanneer meerdere prototypes convergeren naar bijna identieke representaties, waardoor de diversiteit van de leertargets verloren gaat.

• Gevolg: De kernfunctie van prototypes (het bieden van diverse en informatieve doelen) wordt ondermijnd.
• Huidige oplossingen: Practici proberen dit te verhelpen door het aantal prototypes te overparameteriseren (veel meer prototypes dan nodig) of door ad-hoc regularisatietermen toe te voegen. Deze methoden behandelen slechts de symptomen, niet de oorzaak.
• Oorzaak: De auteurs identificeren de gezamenlijke optimalisatie van de encoder en de prototypes onder één gedeelde verliesfunctie als de hoofdoorzaak. Dit leidt tot "shortcut learning": vroeg in het trainingstraject drijven prototypes naar redundante representaties die het verlies minimaliseren zonder de representatiediversiteit te verbeteren.

2. Methodologie: Volledige Decoupling

De kern van de voorgestelde oplossing is het volledig ontkoppelen van het leren van prototypes en het leren van de encoder. In plaats van ze samen te optimaliseren, worden ze onderworpen aan aparte doelen.

De Aanpak:

1. Decoupling Strategie: De encoder ($f_\theta$) en de prototypes ($C$) worden niet meer gezamenlijk geminimaliseerd via één verliesfunctie.
   • De prototypes worden bijgewerkt via een onafhankelijk, onbeheerd schattingsprobleem op de latente features.
   • De encoder wordt bijgewerkt met een vaststaande set prototypes om de consistentieverliesfunctie te minimaliseren.
2. Online Gaussian Mixture Model (GMM):
   • Prototypes worden gemodelleerd als de middelpunten (means) van een Gaussian Mixture Model.
   • Deze worden bijgewerkt met een online Expectation-Maximization (EM) procedure.
   • Dit gebeurt onafhankelijk van de encoder's verliesfunctie.
3. Technische Implementatie:
   • Om schaalbaarheid en stabiliteit te garanderen bij grote datasets en veel prototypes, gebruiken de auteurs een variant van online EM met responsibility-weighted forgetting en deterministische tempering (annealing).
   • Dit zorgt ervoor dat componenten met weinig toewijzingen stabiel blijven, terwijl veelgebruikte componenten responsief blijven.
   • Er wordt een "split-resurrect" mechanisme gebruikt om dominante clusters te regulariseren en lege clusters te herleven.

3. Belangrijkste Bijdragen

1. Systematische Analyse: De auteurs tonen aan dat gedeeltelijke instorting niet beperkt is tot de DINO-familie (zoals DINO en DINOv2), maar een universeel probleem is in prototypische SSL-frameworks. Ze kwantificeren dit met een nieuwe definitie van "unieke prototypes".
2. Diagnose van de Oorzaak: Ze identificeren gezamenlijke optimalisatie als de drijvende kracht achter instorting, wat leidt tot redundante prototypes die het verlies kunstmatig verlagen zonder de representatiekwaliteit te verhogen.
3. Volledig Decoupled Framework: Ze introduceren een trainingsstrategie die prototypes en encoders volledig scheidt. Dit elimineert de noodzaak voor expliciete regularisatie (zoals KoLeo-regularisatie) en voorkomt instorting volledig.
4. Verbeterde Robuustheid: De methode leidt tot consistent diverse prototypes, wat resulteert in betere downstream prestaties, vooral bij onbalans in de data (long-tailed distributions).

4. Resultaten en Experimenten

De auteurs evalueren hun methode op diverse benchmarks (ImageNet-1k, iNaturalist 2018) en frameworks (DINO, CARP, iBOT).

• Uniciteit van Prototypes:
  • Bij standaard DINO en DINOv2 stort meer dan 90% van de prototypes samen (bijv. bij DINO blijven slechts ~1,5% unieke prototypes over).
  • Met de Decoupling-methode behoudt het model 100% van de unieke prototypes gedurende de hele training, ongeacht de strengheid van de drempelwaarde ($\epsilon$).
• Training Dynamics:
  • Bij traditionele methoden gebeurt instorting zeer vroeg (na slechts 10 epochs).
  • De decoupled methode behoudt een stabiele diversiteit van het begin tot het einde van de training.
• Downstream Prestaties:
  • k-NN Classificatie: CARP + Decoupling verbetert de k-NN prestaties op ImageNet-1k met +1,8% ten opzichte van de standaard CARP.
  • Long-Tailed Data (iNaturalist): Op onbalans datasets verbetert de decoupled methode de prestaties over alle klassen (head, medium, tail) met ongeveer 3,0%. In tegenstelling tot DINO, dat instabiel wordt bij hoge diversiteit zonder zware hyperparameter-tuning, werkt de methode robuust op CARP.
• Efficiëntie:
  • Geheugengebruik: Door de ontkoppeling hoeft de computationele graaf voor de prototype-update niet te worden bewaard tijdens backpropagation. Dit leidt tot een reductie in GPU-geheugengebruik (tot 1,5 GB minder bij grote batch sizes).
  • Trainingstijd: De overhead is verwaarloosbaar (slechts +0,2 uur voor een volledige training).

5. Betekenis en Conclusie

Dit paper biedt een fundamentele doorbraak in het begrip van prototypisch zelftoezichthoudend leren. Het toont aan dat de huidige praktijk van gezamenlijke optimalisatie inherent leidt tot suboptimale, redundante representaties.

Door de training te decoupleren en prototypes te behandelen als een statistisch schattingsprobleem (via een online GMM) in plaats van een onderdeel van de gradiëntafstroom van de encoder, wordt het probleem van instorting fundamenteel opgelost. Dit resulteert in:

• Een eenvoudiger, principieel framework zonder noodzaak voor complexe regularisatie.
• Hogere representatiediversiteit.
• Verbeterde robuustheid tegen onbalans in data.
• Lagere geheugeneisen.

De bevindingen suggereren dat het loskoppelen van de schattingsdoelen van de encoder een veelbelovende richting is voor de volgende generatie SSL-methoden, vooral voor schaalbare en robuuste visuele representaties.