Technische Samenvatting: KALE – Kernel Alignment met Loss-Equilibratie

Probleemstelling

Kernel-gebaseerde uitlijning van de CLIP visuele encoder naar een visueel-gecentreerde docent zoals DINOv2 (bekend als KUEA) heeft succes getoond op gecureerde data op ImageNet-schaal. Deze aanpak verbetert de visuele representaties en de prestaties van linear probing, terwijl de compatibiliteit met de tekstencoder van CLIP behouden blijft. De auteurs onderzoeken echter of deze methode overdraagbaar is naar ruisgevoelige, web-schaal data (specifiek de CC12M dataset).

Ze stellen vast dat de strategie met een vaste trade-off gewicht faalt op deze schaal. Op CC12M wordt de alignment loss (de term die de student naar de DINOv2 docent stuurt) orders van grootte kleiner dan de "clean" loss (de term die afwijking van de originele CLIP-features bestraft). Als gevolg hiervan daalt de bijdrage van de alignment term onder een vast gewicht naar ongeveer 0,2% van de totale loss, waardoor de gradiënt effectief inert wordt. Het naïef hergebruiken van het vaste gewicht uit ImageNet-experimenten resulteert in instabiele of ineffectieve training, omdat het alignment-signaal verdwijnt.

Methodologie: KALE Controller

Om de ernstige onbalans in de loss op web-schaal aan te pakken, introduceren de auteurs KALE (Kernel Alignment with Loss Equilibration), een dynamische controller die het alignment-gewicht tijdens de training adaptief herschaalt.

Kernmechanisme

De trainingsdoelstelling blijft een gewogen som van twee losses:

1. Alignment Loss ($L_{align}$): Minimaliseert de discrepantie tussen de kernel gelijkenis-matrices van de student (CLIP) en de docent (DINOv2) embeddings.
2. Clean Loss ($L_{clean}$): Bestraft de L2-afstand tussen de student embeddings en de originele bevroren CLIP embeddings om tekstcompatibiliteit te behouden.

In plaats van een vaste scalaire gewicht $\lambda_a$, gebruikt KALE een controller die $\lambda_a$ elke $\Delta$ stappen (bijv. elke 100 stappen) bijwerkt op basis van de ratio van de twee losses.

Controller Dynamiek

De controller houdt Exponential Moving Averages (EMA) van beide losses bij om batch-ruis te middelen. Het berekent de huidige ratio $\rho$ van de gewogen alignment bijdrage ten opzichte van de clean bijdrage:
$$\rho^{(t)} = \frac{\lambda_a^{(t)} \cdot \hat{\ell}_{align}^{(t)}}{\lambda_c \cdot \hat{\ell}_{clean}^{(t)}}$$
Het gewicht wordt bijgewerkt om deze ratio naar een doelwaarde $\tau$ (bijv. 0,8) te drijven:
$$\lambda_a^{(t+1)} = \lambda_a^{(t)} \cdot \sqrt{\frac{\tau}{\rho^{(t)}}}$$
De wortel-kwadraat demping voorkomt overcorrectie, waardoor de optimizer kan adapteren voordat de volgende update plaatsvindt. Dit creëert een feedbackloop waarbij de controller $\lambda_a$ verhoogt wanneer het alignment-signaal zwak is ten opzichte van de clean loss, en deze verlaagt als de alignment begint te domineren, om ervoor te zorgen dat beide termen invloedrijk blijven.

Optimalisatie Regime

De auteurs karakteriseren de noodzakelijke optimalisatievoorwaarden voor stabiliteit:

• Learning Rate: Een hoge piek learning rate is vereist zodat de controller het alignment-signaal kan volgen, maar er is een scherpe bovengrens; rates die te hoog zijn, veroorzaken training-instabiliteit (runaway drift en rank collapse).
• Schedule: Een cosine decay schedule met een matig niet-nul vloer is essentieel. Een vlakke learning rate laat CLIP drift ongecontroleerd groeien, terwijl een schedule die naar nul decayt de stapgrootte te klein maakt voor de controller om de balans in latere stadia te handhaven.

Belangrijkste Bijdragen

1. Extensie naar Web-schaal: De auteurs slagen erin om kernel-gebaseerde CLIP→DINOv2 alignment van gecureerde ImageNet-1K naar ruisgevoelige, web-schaal CC12M data te brengen door de KALE controller te introduceren, die de alignment loss invloedrijk houdt zonder per-dataset gewichtstuning.
2. Analyse van Trainingsdynamiek: Ze bieden een gedetailleerde studie van KALE alignment, waarbij ze aantonen dat web-schaal alignment een specifieke stabiliteitsenvelop vereist: een hoge piek learning rate, een decaying schedule met een matige vloer, en een controller die equilibreert in plaats van divergeert.
3. Nieuw Werkingspunt: Ze demonstreren dat training op ruisgevoelige CC12M een ander downstream werkingspunt oplevert vergeleken met de op ImageNet getrainde KUEA, waarbij verbeterde zero-shot en linear probing prestaties worden bereikt terwijl de retrieval capaciteiten behouden blijven.

Experimentele Resultaten

Experimenten werden uitgevoerd op een 3,3M willekeurige subset van CC12M met een CLIP ViT-L/14 student en een bevroren DINOv2 ViT-L/14 docent.

• Zero-Shot Classificatie: Het KALE-aligned model verbeterde de standaard 11-dataset gemiddelde met +2,00% ten opzichte van de originele CLIP, waarmee het de op ImageNet getrainde KUEA baseline (+1,29%) overtrof.
• Linear Probing: Het model verbeterde reproduceerbaar de SVHN linear probing met +5,73% ten opzichte van CLIP (hoger dan de KUEA +4,19%). Echter, resultaten op CLEVR-taken vertoonden een hoge variantie tussen runs.
• Retrieval: De image-text retrieval prestaties bleven behouden en matchen de winst gezien in KUEA (+1,54% vs. +1,63%).
• Stabiliteit: De controller slaagde erin de losses te equilibreren, waarbij een verhoging van het alignment-gewicht van ongeveer vier ordes van grootte (van 0,5 naar ~10.000–47.000) nodig was om de balans te herstellen, een waarde die configuratie-afhankelijk is en onmogelijk statisch te fixeren is.

Betekenis en Claims

Het artikel claimt dat de primaire bijdrage is dat kernel-gebaseerde alignment trainbaar is op web-schaal zonder de noodzaak voor per-dataset gewichtstuning. De auteurs benadrukken dat de fixed-weight formulering faalt op ruisgevoelige data vanwege loss-imbalans, en dat de KALE controller het mechanisme is dat het signaal herstelt.

De auteurs zijn bescheiden in hun claims over de breedte van het domein. Ze stellen expliciet dat training op web-schaal met CC12M niet leidde tot brede domeinverbeteringen ten opzien van de op ImageNet getrainde baseline; bijvoorbeeld, prestaties op remote sensing (EuroSAT) regredieerden, en CLEVR-resultaten werden gedomineerd door variantie. De betekenis ligt in de haalbaarheid en stabiliteit van het alignmentproces op ruisgevoelige data, in plaats van een universele verbetering van de downstream competentie over alle domeinen.

Het werk concludeert dat de KALE controller een klein-magnitude hulpdoelstelling (alignment) invloedrijk kan houden tegenover een dominante loss (clean) in een regime met hoge ruis, een controlemechanisme dat mogelijk breder toepasbaar is dan alleen bij visuele-taal alignment.