🤖 machine learning

KALE: Kernel Alignment with Loss Equilibration for Stable CLIP-DINOv2 Alignment at Web Scale

Das Papier stellt KALE vor, einen adaptiven Loss-Equilibration-Controller, der das Versagen von fest gewichteter Kernel-Alignment auf verrauschten Web-Scale-Daten überwindet, indem er den Alignment-Term dynamisch reskaliert und dadurch ein stabiles CLIP-DINOv2-Training ermöglicht, welches die Zero-Shot-Performance signifikant verbessert und gleichzeitig die Text-Encoder-Kompatibilität bewahrt.

Ursprüngliche Autoren: Michał Pawłowicz

Veröffentlicht 2026-07-22

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Michał Pawłowicz

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter das Sehen der Welt beizubringen. Sie haben zwei sehr unterschiedliche Lehrer. Der erste, nennen wir ihn „Chat“, ist ein Sprachexperte, der das gesamte Internet gelesen hat. Er ist großartig darin, Wörter zu verstehen und sie mit Bildern zu verknüpfen, aber wenn Sie ihn bitten, den winzigen Unterschied zwischen einer bestimmten Art von Blatt oder einer subtilen Textur zu erkennen, übersieht er dies vielleicht, weil er zu sehr auf das große Ganze konzentriert ist. Der zweite Lehrer, „Vision“, ist ein stummer Künstler, der Millionen von Bildern studiert hat, ohne jemals ein Wort gelesen zu haben. Er sieht jedes winzige Detail, jeden Schatten und jedes Muster, aber er kann nicht darüber sprechen, was er sieht.

Lange Zeit versuchten Wissenschaftler, Chat besser zu machen, indem sie ihm einfach nur mehr Bilder zeigten. Aber vor Kurzem probierten sie einen anderen Trick aus: Sie baten Chat, die Art und Weise des Sehens von Vision zu kopieren. Sie wollten Chats Fähigkeit, Sprache zu verstehen, mit Visions Fähigkeit, feine Details zu erkennen, verschmelzen. Dies funktionierte hervorragend, wenn sie eine saubere, organisierte Bibliothek von Bildern verwendeten (wie einen Museumskatalog). Aber als sie versuchten, dies mit den unordentlichen, chaotischen und verrauschten Daten des echten Internets zu tun, brach der Trick zusammen. Der Roboter wurde verwirrt, das „Kopie“-Signal wurde so schwach, dass es verschwand, und das Training funktionierte nicht mehr. In dieser Arbeit geht es darum, wie die Forscher dieses Chaos behoben haben, um dem Roboter zu ermöglichen, aus dem chaotischen Internet zu lernen, ohne seine Fähigkeit zu verlieren, zu sprechen.

Das Problem: Das Flüstern in einem Hurrikan

Die Forscher begannen mit einer Methode namens KUEA, die wie ein strenger Lehrer war, der dem Roboter sagte: „Kopiere Visions Stil, aber vergiss deine ursprüngliche Stimme nicht.“ Auf einem sauberen Datensatz funktionierte dies perfekt. Aber als sie es auf einem massiven, verrauschten Datensatz namens CC12M anwendeten (der 12 Millionen aus dem Web extrahierte Bilder enthält), passierte etwas Seltsames.

Stellen Sie sich vor, Sie versuchen, ein Flüstern (die „Alignment“-Anweisung, Visions Stil zu kopieren) zu hören, während Sie neben einem aufheulenden Düsenjet (die „saubere“ Anweisung, Chats ursprüngliche Stimme beizubehalten) stehen. Auf dem sauberen Datensatz war das Triebwerk leise, sodass das Flüstern klar war. Aber auf den verrauschten Web-Daten wurde das Triebwerk so laut, dass das Flüstern völlig übertönt wurde. Die Mathematik zeigte, dass das „Flüstern“ weniger als 0,2 % des gesamten Rauschens beitrug. Es war effektiv stumm. Wenn man dieselben alten Anweisungen (ein fester Gewichtungsfaktor) für diese neuen Daten verwendet hätte, hätte der Roboter den neuen Lehrer einfach ignoriert und wäre exakt gleich geblieben, ohne etwas Neues zu lernen.

Die Lösung: Der KALE-Controller

Um dies zu beheben, führten die Autoren ein neues System namens KALE (Kernel Alignment with Loss Equilibration) ein. Betrachten Sie KALE als einen superintelligenten Lautstärkeregler, der sich in Echtzeit selbstständig anpasst.

Anstatt die Lautstärke des „Flüsterns“ einmal festzulegen und so zu lassen, hört KALE sowohl auf das Flüstern als auch auf das Brüllen. Wenn es hört, dass das Flüstern im Vergleich zum Brüllen zu leise wird, dreht es die Lautstärke des Flüsterns hoch. Wenn das Flüstern zu laut wird und die ursprüngliche Stimme zu übertönen beginnt, dreht es die Lautstärke wieder herunter.

Die Ergebnisse waren dramatisch. Um das richtige Gleichgewicht zu finden, musste das System den Lautstärkeregler um etwa den Faktor 47.000 im Vergleich zur alten Einstellung hochdrehen. Eine feste Zahl konnte dies einfach nicht leisten; es brauchte einen dynamischen Controller, der auf das Chaos der Web-Daten reagieren konnte.

Die Ergebnisse: Ein neuer Typ Roboter

Sobald sie den KALE-Controller einschaltele und den Roboter auf den 3,3 Millionen Bildern trainierten, waren die Ergebnisse beeindruckend. Der neue Roboter lernte nicht nur besser zu sehen; er lernte zu sehen und zu sprechen, und zwar auf eine bessere Weise als zuvor.

Er behielt seine Stimme: Der Roboter verlor nicht seine Fähigkeit, Texte zu verstehen oder Bilder mit Wörtern abzugleichen (Bild-Text-Retrieval).
Er wurde schärfer: Bei Tests auf Standard-Vision-Aufgaben verbesserte sich die „Zero-Shot“-Leistung (seine Fähigkeit, zu erraten, was er sieht, ohne vorheriges Training) des Roboters im Durchschnitt um +2,00 % über 11 verschiedene Tests hinweg. Dies war besser als die bisher beste Methode, die sich nur um +1,29 % verbesserte.
Er wurde besser im Detail: In einem speziellen Test namens SVHN (bei dem es darum geht, Zahlen auf Straßenschildern zu lesen) sprang die Genauigkeit des Roboters um +5,73 % nach oben und schlug damit den bisherigen Rekord.

Die Autoren waren jedoch sehr vorsichtig mit ihren Behauptungen. Sie merkten an, dass während einige Tests sehr solide waren, andere (wie das Zählen von Objekten in komplexen Szenen) etwas „jittery“ (schwankend) waren, was bedeutet, dass die Ergebnisse bei jedem Durchlauf des Experiments leicht variierten. Aus diesem Grund konzentrierten sie sich in ihren endgültigen Schlussfolgerungen auf die Tests, die stabil und konsistent waren.

Das Kleingedruckte: Es geht nicht nur um die Lautstärke

Die Arbeit entdeckte auch, dass es nicht ausreichte, die Lautstärke aufzudrehen; man musste das Auto vorsichtig steuern. Sie fanden heraus, dass der Roboter eine spezifische „Lernrate“ (wie schnell er lernt) benötigte, um zu funktionieren. Wenn sie zu schnell fuhren (eine Lernrate von 2×10⁻⁴), stürzte der Roboter ab, vergaß alles und wurde unbrauchbar. Wenn sie zu langsam fuhren oder die Geschwindigkeit konstant hielten, lernte der Roboter ebenfalls nicht richtig. Der „Sweet Spot“ war ein Zeitplan, der schnell begann und dann sanft langsamer wurde, aber niemals ganz stoppte, um den Roboter stabil zu halten.

Was das bedeutet

Die wichtigste Erkenntung ist, dass man nicht einfach eine Methode, die bei einem sauberen, organisierten Datensatz funktioniert, auf das unordentliche, chaotische Internet übertragen kann. Das Rauschen verändert alles. Durch die Erfindung eines Controllers, der den Lernprozess ständig neu ausbalanciert, machten die Autoren es möglich, einen sprach-sehenden Roboter mit den wilden, unkuratierten Daten des Webs zu trainieren. Sie fanden nicht nur eine bessere Einstellung; sie fanden einen Weg, den Trainingsprozess stabil genug zu machen, um dem Chaos zu überleben, und bewiesen, dass mit dem richtigen „Lautstärkeregler“ selbst die verrauschesten Daten einem Roboter beibringen können, die Welt in High Definition zu sehen.

Technisches Resümee: KALE – Kernel Alignment mit Loss-Equilibrierung

Problemstellung

Die kernelbasierte Ausrichtung des CLIP-Visual-Encoders auf einen visuszentrierten Lehrer wie DINOv2 (bekannt als KUEA) hat bei kuratierten Daten im ImageNet-Maßstab Erfolg gezeigt. Dieser Ansatz verbessert die visuellen Repräsentationen und die Leistung beim Linear Probing, während die Kompatibilität mit dem CLIP-Text-Encoder erhalten bleibt. Die Autoren untersuchen jedoch, ob diese Methode auf verrauschte Web-Scale-Daten (speziell den CC12M-Datensatz) übertragbar ist.

Sie stellen fest, dass die Strategie eines festen Trade-off-Gewichts, die in KUEA verwendet wird, bei dieser Skalierung versagt. Auf CC12M wird der Alignment-Loss (der Term, der den Studenten in Richtung des DINOv2-Lehrers treibt) um Größenordnungen kleiner als der „saubere“ Loss (der Term, der die Abweichung von den ursprünglichen CLIP-Features bestraft). Infolgedessen sinkt der Beitrag des Alignment-Terms unter einem festen Gewicht auf etwa 0,2 % des Gesamt-Loss, wodurch sein Gradient effektiv inert wird. Eine naive Wiederverwendung des festen Gewichts aus den ImageNet-Experimenten führt zu instabilem oder ineffektivem Training, da das Alignment-Signal verschwindet.

Methodik: KALE-Controller

Um das schwere Ungleichgewicht der Losses bei Web-Scale-Daten zu adressieren, führen die Autoren KALE (Kernel Alignment with Loss Equilibrierung) ein, einen dynamischen Controller, der das Alignment-Gewicht während des Trainings adaptiv skaliert.

Kernmechanismus

Das Trainingsziel bleibt eine gewichtete Summe aus zwei Losses:

Alignment Loss ( $L_{align}$ ): Minimiert die Diskrepanz zwischen den Kernel-Ähnlichkeitsmatrizen der Student- (CLIP) und Teacher-Embeddings (DINOv2).
Clean Loss ( $L_{clean}$ ): Bestraft die L2-Distanz zwischen den Student-Embeddings und den ursprünglichen, eingefrorenen CLIP-Embeddings, um die Text-Kompatibilität zu bewahren.

Anstatt eines festen Skalar-Gewichts $\lambda_a$ verwendet KALE einen Controller, der $\lambda_a$ alle $\Delta$ Schritte (z. B. alle 100 Schritte) basierend auf dem Verhältnis der beiden Losses aktualisiert.

Dynamik des Controllers

Der Controller führt exponentielle gleitende Mittelwerte (EMA) beider Losses, um Batch-Rauschen zu glätten. Er berechnet das aktuelle Verhältnis $\rho$ des gewichteten Alignment-Beitrags zum Clean-Beitrag:
$\rho^{(t)} = \frac{\lambda_a^{(t)} \cdot \hat{\ell}_{align}^{(t)}}{\lambda_c \cdot \hat{\ell}_{clean}^{(t)}}$
Das Gewicht wird aktualisiert, um dieses Verhältnis in Richtung eines Zielwerts $\tau$ (z. B. 0,8) zu treiben:
$\lambda_a^{(t+1)} = \lambda_a^{(t)} \cdot \sqrt{\frac{\tau}{\rho^{(t)}}}$
Die Abmilderung durch die Quadratwurzel verhindert eine Überkorrektur und ermöglicht es dem Optimierer, sich vor dem nächsten Update anzupassen. Dies erzeugt eine Feedbackschleife, in der der Controller $\lambda_a$ erhöht, wenn das Alignment-Signal im Verhältnis zum Clean-Loss schwach ist, und es verringert, wenn das Alignment beginnt zu dominieren, wodurch sichergestellt wird, dass beide Terme einflussreich bleiben.

Optimierungsregime

Die Autoren charakterisieren die notwendigen Optimierungsbedingungen für Stabilität:

Lernrate: Eine hohe Peak-Lernrate ist erforderlich, damit der Controller das Alignment-Signal verfolgen kann, aber es gibt eine scharfe Obergrenze; zu hohe Raten führen zu Trainingskollaps (unkontrolliertes Driften und Rank-Kollaps).
Schedule: Ein Cosine-Decay-Schedule mit einem moderaten, nicht-nullwertigen Floor ist essenziell. Eine flache Lernrate lässt den CLIP-Drift ungehindert wachsen, während ein Schedule, der gegen Null abfällt, die Schrittweite zu klein macht, damit der Controller in späteren Phasen das Gleichgewicht halten kann.

Wichtigste Beiträge

Erweiterung auf Web-Scale: Die Autoren erweitern die kernelbasierte CLIP→DINOv2-Ausrichtung erfolgreich von kuratiertem ImageNet-1K auf verrauschte Web-Scale-CC12M-Daten durch die Einführung des KALE-Controllers, der den Alignment-Loss einflussreich hält, ohne eine per-Datensatz-Gewichtsanpassung zu erfordern.
Analyse der Trainingsdynamik: Sie liefern eine detaillierte Untersuchung der KALE-Ausrichtung und zeigen, dass die Web-Scale-Ausrichtung eine spezifische Stabilitäts-Envelope erfordert: eine hohe Peak-Lernrate, einen degressiven Schedule mit einem moderaten Floor und einen Controller, der equilibriert statt divergiert.
Neuer Betriebspunkt: Sie demonstrieren, dass das Training auf verraustem CC12M einen anderen Downstream-Betriebspunkt liefert als das ImageNet-trainierte KUEA, wobei eine verbesserte Zero-Shot- und Linear-Probing-Leistung erzielt wird, während die Retrieval-Fähigkeiten erhalten bleiben.

Experimentelle Ergebnisse

Die Experimente wurden auf einer 3,3-Millionen-Zufallsstichprobe von CC12M mit einem CLIP ViT-L/14 Studenten und einem eingefrorenen DINOv2 ViT-L/14 Lehrer durchgeführt.

Zero-Shot Klassifikation: Das KALE-ausgerichtete Modell verbesserte den Standard-11-Datensatz-Durchschnitt um +2,00 % gegenüber dem ursprünglichen CLIP und übertraf damit die ImageNet-trainierte KUEA-Baseline (+1,29 %).
Linear Probing: Das Modell verbesserte die SVHN-Linear-Probing-Leistung reproduzierbar um +5,73 % gegenüber CLIP (was die +4,19 % von KUEA übertrifft). Ergebnisse bei CLEVR-Aufgaben zeigten jedoch eine hohe Varianz zwischen den Durchläufen.
Retrieval: Die Bild-Text-Retrieval-Leistung blieb erhalten und entsprach den Gewinnen von KUEA (+1,54 % vs. +1,63 %).
Stabilität: Der Controller konnte die Losses erfolgreich ausgleichen, wobei das Alignment-Gewicht um etwa vier Größenordnungen (von 0,5 auf ca. 10.000–47.000) erhöht werden musste, um das Gleichgewicht wiederherzustellen – ein Wert, der konfigurationsabhängig ist und statisch unmöglich zu fixieren wäre.

Bedeutung und Ansprüche

Das Paper behauptet, dass der primäre Beitrag darin besteht, die kernelbasierte Ausrichtung auf Web-Scale trainierbar zu machen, ohne eine per-Datensatz-Gewichtsanpassung zu benötigen. Die Autoren betonen, dass die Fixed-Weight-Formulierung aufgrund des Loss-Ungleichgewichts auf verrauschten Daten versagt und der KALE-Controller der Mechanismus ist, der das Signal wiederherstellt.

Die Autoren sind bescheiden in ihren Ansprüchen hinsichtlich der Domänenbreite. Sie stellen explizit fest, dass das Web-Scale-Training auf CC12M keine breiten Domänenverbesserungen gegenüber der ImageNet-trainierten Baseline hervorbrachte; beispielsweise verschlechterte sich die Leistung bei Remote Sensing (EuroSAT), und die CLEVR-Ergebnisse wurden von der Varianz dominiert. Die Bedeutung liegt in der Machbarkeit und Stabilität des Ausrichtungsprozesses auf verrauschten Daten und nicht in einer universellen Verbesserung der Downstream-Kompetenz in allen Domänen.

Die Arbeit kommt zu dem Schluss, dass der KALE-Controller es einem Alignment-Ziel mit geringer Magnitude ermöglicht, in einem High-Noise-Regime gegenüber einem dominanten Loss einflussreich zu bleiben – ein Kontrollmechanismus, der über die Vision-Language-Ausrichtung hinaus Anwendung finden kann.