🤖 machine learning

KALE: Kernel Alignment with Loss Equilibration for Stable CLIP-DINOv2 Alignment at Web Scale

L'article introduit KALE, un contrôleur d'équilibrage de perte adaptatif qui surmonte l'échec de l'alignement de noyau à poids fixe sur des données de type web à grande échelle et bruitées, en redimensionnant dynamiquement le terme d'alignement, permettant ainsi un entraînement stable de CLIP-DINOv2 qui améliore considérablement les performances zero-shot tout en préservant la compatibilité de l'encodeur de texte.

Auteurs originaux : Michał Pawłowicz

Publié 2026-07-22

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Michał Pawłowicz

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à voir le monde. Vous avez deux enseignants très différents. Le premier, appelons-le « Chat », est un expert en langage qui a lu l'intégralité d'Internet. Il est incroyable pour comprendre les mots et les relier aux images, mais si vous lui demandez de repérer la différence infime entre un type spécifique de feuille ou une texture subtile, il pourrait passer à côté parce qu'il est trop concentré sur la vue d'ensemble. Le second enseignant, « Vision », est un artiste silencieux qui a étudié des millions d'images sans jamais lire un seul mot. Il voit chaque petit détail, chaque ombre et chaque motif, mais il ne peut pas parler de ce qu'il voit.

Pendant longtemps, les scientifiques ont essayé d'améliorer Chat en lui montrant simplement plus d'images. Mais récemment, ils ont tenté un autre tour : ils ont demandé à Chat de copier la façon de voir de Vision. Ils voulaient fusionner la capacité de Chat à comprendre le langage avec la capacité de Vision à repérer les détails fins. Cela a très bien fonctionné lorsqu'ils utilisaient une bibliothèque d'images propre et organisée (comme un catalogue de musée). Mais lorsqu'ils ont essayé de faire la même chose avec les données désordonnées, chaotiques et bruyantes du véritable Internet, le tour de magie a échoué. Le robot s'est confondu, le signal de « copie » est devenu si faible qu'il s'est évanoui, et l'entraînement a cessé de fonctionner. Cet article traite de la manière dont les chercheurs ont résolu ce désordre, permettant au robot d'apprendre de l'Internet chaotique sans perdre sa capacité à parler.

Le Problème : Le Chuchotement dans un Ouragan

Les chercheurs ont commencé avec une méthode appelée KUEA, qui était comme un professeur strict disant au robot : « Copie le style de Vision, mais n'oublie pas ta voix originale ». Sur un ensemble de données propres, cela fonctionnait parfaitement. Mais lorsqu'ils l'ont testé sur un ensemble de données massives et bruyantes appelé CC12M (qui contient 12 millions d'images récupérées sur le web), quelque chose d'étrange s'est produit.

Imaginez que vous essayiez d'entendre un chuchotement (l'instruction d'alignement pour copier Vision) tout en vous tenant à côté d'un moteur de jet rugissant (l'instruction « propre » pour garder la voix originale de Chat). Sur l'ensemble de données propre, le moteur de jet était calme, donc le chuchotement était clair. Mais sur les données bruitantes du web, le moteur de jet est devenu si fort que le chuchotement a été complètement étouffé. Les mathématiques ont montré que le « chuchotement » contribuait à moins de 0,2 % du bruit total. Il était effectivement silencieux. Si vous utilisiez les anciennes instructions (un poids fixe) sur ces nouvelles données, le robot ignorerait simplement le nouvel enseignant et resterait exactement le même, n'apprenant rien de nouveau.

La Solution : Le Contrôleur KALE

Pour correr cela, les auteurs ont introduit un nouveau système appelé KALE (Kernel Alignment with Loss Equilibration). Considérez KALE comme un bouton de volume super intelligent qui s'ajuste automatiquement en temps réel.

Au lieu de régler le volume du « chuchotement » une fois pour toutes, KALE écoute à la fois le chuchotement et le rugissement. S'il entend que le chuchotement devient trop faible par rapport au rugissement, il augmente le volume du chuchotement. Si le chuchotement devient trop fort et commence à étouffer la voix originale, il le baisse.

Les résultats ont été spectaculaires. Pour trouver le bon équilibre, le système a dû tourner le bouton de volume d'un facteur d'environ 47 000 fois par rapport à l'ancien réglage. Un nombre fixe ne pouvait tout simplement pas faire cela ; il fallait un contrôleur dynamique capable de réagir au chaos des données du web.

Les Résultats : Un Nouveau Type de Robot

Une fois le contrôleur KALE activé et le robot entraîné sur les 3,3 millions d'images, les résultats ont été impressionnants. Le nouveau robot n'a pas seulement appris à mieux voir ; il a appris à voir et à parler d'une manière meilleure qu'avant.

Il a gardé sa voix : Le robot n'a pas perdu sa capacité à comprendre le texte ou à faire correspondre des images à des mots (récupération image-texte).
Il est devenu plus précis : Lors de tests sur des tâches de vision standard, la performance « zero-shot » du robot (sa capacité à deviner ce qu'il voit sans entraînement préalable) s'est améliorée de +2,00 % en moyenne sur 11 tests différents. C'était meilleur que la précédente meilleure méthode, qui n'avait progressé que de +1,29 %.
Il est devenu meilleur sur les détails : Sur un test spécifique appelé SVHN (qui consiste à lire des chiffres sur des panneaux de signalisation), la précision du robot a bondi de +5,73 %, battant le record précédent.

Cependant, les auteurs ont été très prudents quant à leurs affirmations. Ils ont noté que si certains tests étaient très solides, d'autres (comme le comptage d'objets dans des scènes complexes) étaient un peu « instables », ce qui signifie que les résultats changeaient légèrement à chaque fois qu'ils lançaient l'expérience. En conséquence, ils ont concentré leurs conclusions finales sur les tests stables et cohérents.

Les Petites Lettres : Ce n'est pas seulement une question de Volume

L'article a également découvert que monter le volume ne suffisait pas ; il fallait conduire la voiture prudemment. Ils ont découvert que le robot avait besoin d'un « taux d'apprentissage » (la vitesse à laquelle il apprend) spécifique pour fonctionner. S'ils conduisaient trop vite (un taux d'apprentissage de 2×10⁻⁴), le robot s'écrasait, oubliait tout et devenait inutile. S'ils conduisaient trop lentement ou maintenaient une vitesse constante, le robot n'apprenait pas correctement non plus. Le point idéal était un calendrier qui commençait vite et ralentissait doucement, sans jamais s'arrêter complètement, maintenant ainsi la stabilité du robot.

Ce que cela signifie

La principale conclusion est que vous ne pouvez pas simplement prendre une méthode qui fonctionne sur un ensemble de données propres et organisées et l'appliquer brutalement au web, qui est désordonné et chaotique. Le bruit change tout. En inventant un contrôleur qui rééquilibre constamment le processus d'apprentissage, les auteurs ont rendu possible l'enseignement à un robot capable de voir et de parler en utilisant les données sauvages et non sélectionnées du web. Ils n'ont pas seulement trouvé un meilleur réglage ; ils ont trouvé un moyen de rendre le processus d'entraînement assez stable pour survivre au chaos, prouvant qu'avec le bon « bouton de volume », même les données les plus bruyantes peuvent apprendre à un robot à voir le monde en haute définition.

Résumé technique : KALE – Alignement de noyaux avec équilibrage de perte

Problématique

L'alignement par noyau de l'encodeur visuel de CLIP vers un enseignant centré sur la vision comme DINOv2 (connu sous le nom de KUEA) a démontré un certain succès sur des données curatées à l'échelle d'ImageNet. Cette approche améliore les représentations visuelles et les performances de sondage linéaire tout en préservant la compatibilité avec l'encodeur textuel de CLIP. Cependant, les auteurs étudient si cette méthode est transférable à des données à l'échelle du web et bruitées (spécifiquement le jeu de données CC12M).

Ils constatent que la stratégie de poids de compromis fixe utilisée dans KUEA échoue à cette échelle. Sur CC12M, la perte d'alignement (le terme qui pousse l'étudiant vers l'enseignant DINOv2) devient des ordres de grandeur plus petite que la perte « propre » (le terme qui pénalise l'écart par rapport aux caractéristiques originales de CLIP). Par conséquent, sous un poids fixe, la contribution du terme d'alignement tombe à environ 0,2 % de la perte totale, rendant son gradient effectivement inerte. Réutiliser naïvement le poids fixe des expériences sur ImageNet entraîne un entraînement instable ou inefficace, car le signal d'alignement s'évanouit.

Méthodologie : Contrôleur KALE

Pour remédier au grave déséquilibre de perte à l'échelle du web, les auteurs introduisent KALE (Kernel Alignment with Loss Equilibration), un contrôleur dynamique qui redimensionne de manière adaptative le poids d'alignement pendant l'entraînement.

Mécanisme central

L'objectif d'entraînement reste une somme pondérée de deux pertes :

Perte d'alignement ( $L_{align}$ ) : Minimise la divergence entre les matrices de similitude de noyaux des plongements (embeddings) de l'étudiant (CLIP) et de l'enseignant (DINOv2).
Perte propre ( $L_{clean}$ ) : Pénalise la distance L2 entre les plongements de l'étudiant et les plongements originaux gelés de CLIP pour préserver la compatibilité textuelle.

Au lieu d'un scalaire fixe $\lambda_a$ , KALE utilise un contrôleur qui met à jour $\lambda_a$ tous les $\Delta$ pas (par exemple, tous les 100 pas) en fonction du ratio des deux pertes.

Dynamique du contrôleur

Le contrôleur maintient des moyennes mobiles exponentielles (EMA) des deux pertes pour lisser le bruit des lots (batches). Il calcule le ratio actuel $\rho$ de la contribution pondérée de l'alignement par rapport à la contribution propre :
$\rho^{(t)} = \frac{\lambda_a^{(t)} \cdot \hat{\ell}_{align}^{(t)}}{\lambda_c \cdot \hat{\ell}_{clean}^{(t)}}$
Le poids est mis à jour pour conduire ce ratio vers une cible $\tau$ (par exemple, 0,8) :
$\lambda_a^{(t+1)} = \lambda_a^{(t)} \cdot \sqrt{\frac{\tau}{\rho^{(t)}}}$
L'amortissement par racine carrée empêche la surcorrection, permettant à l'optimiseur de s'adapter avant la mise à jour suivante. Cela crée une boucle de rétroaction où le contrôleur augmente $\lambda_a$ lorsque le signal d'alignement est faible par rapport à la perte propre, et le diminue si l'alignement commence à dominer, garantissant que les deux termes restent influents.

Régime d'optimisation

Les auteurs caractérisent les conditions d'optimisation nécessaires à la stabilité :

Taux d'apprentissage : Un taux de pointe élevé est requis pour que le contrôleur puisse suivre le signal d'alignement, mais il existe une limite supérieure stricte ; des taux trop élevés provoquent un effondrement de l'entraînement (dérive incontrôlée et effondrement de rang).
Calendrier (Schedule) : Un calendrier de décroissance cosinus avec un plancher non nul modéré est essentiel. Un taux d'apprentissage plat permet à la dérive de CLIP de croître sans contrôle, tandis qu'un calendrier décroissant vers zéro rend le pas de calcul trop petit pour que le contrôleur maintienne l'équilibre dans les phases ultérieures.

Principales contributions

Extension à l'échelle du web : Les auteurs étendent avec succès l'alignement par noyau CLIP $\rightarrow$ DINOv2 de l'ImageNet-1K curaté vers les données bruitées de CC12M à l'échelle du web en introduisant le contrôleur KALE, qui maintient l'influence de la perte d'alignement sans nécessiter de réglage de poids par jeu de données.
Analyse de la dynamique d'entraînement : Ils fournissent une étude détaillée de l'alignement KALE, démontrant que l'alignement à l'échelle du web nécessite un enveloppe de stabilité spécifique : un taux de pointe élevé, un calendrier de décroissance avec un plancher modéré, et un contrôleur qui équilibre plutôt qu'il ne diverge.
Nouveau point de fonctionnement : Ils démontrent que l'entraînement sur CC12M bruité produit un point de fonctionnement aval différent de celui de KUEA entraîné sur ImageNet, atteignant des performances améliorées en zero-shot et en sondage linéaire tout en préservant les capacités de recherche (retrieval).

Résultats expérimentaux

Les expériences ont été menées sur un sous-ensemble aléatoire de 3,3 millions de CC12M en utilisant un étudiant CLIP ViT-L/14 et un enseignant DINOv2 ViT-L/14 gelé.

Classification Zero-Shot : Le modèle aligné par KALE a amélioré la moyenne standard sur 11 jeux de données de +2,00 % par rapport à l'original CLIP, surpassant la base KUEA entraînée sur ImageNet (+1,29 %).
Sondage Linéaire (Linear Probing) : Le modèle a amélioré de manière reproductible le sondage linéaire SVHN de +5,73 % par rapport à CLIP (dépassant le +4,19 % de KUEA). Cependant, les résultats sur les tâches CLEVR ont montré une forte variance d'un essai à l'autre.
Recherche (Retrieval) : Les performances de recherche image-texte ont été préservées, correspondant aux gains observés dans KUEA (+1,54 % contre +1,63 %).
Stabilité : Le contrôleur a réussi à équilibrer les pertes, nécessitant une augmentation du poids d'alignement d'environ quatre ordres de grandeur (de 0,5 à environ 10 000–47 000) pour restaurer l'équilibre, une valeur dépendante de la configuration et impossible à fixer statiquement.

Signification et affirmations

L'article affirme que la principale contribution est de rendre l'alignement par noyau entraînable à l'échelle du web sans nécessiter de réglage de poids par jeu de données. Les auteurs soulignent que la formulation à poids fixe échoue sur les données bruitées en raison du déséquilibre des pertes, et que le contrôleur KALE est le mécanisme qui restaure le signal.

Les auteurs sont modestes dans leurs affirmations concernant l'étendue des domaines. Ils déclarent explicitement que l'entraînement à l'échelle du web sur CC12M n'a pas produit d'améliorations généralisées sur l'ensemble des domaines par rapport à la base entraînée sur ImageNet ; par exemple, les performances sur la télédétection (EuroSAT) ont régressé, et les résultats CLEVR étaient dominés par la variance. La signification réside dans la faisabilité et la stabilité du processus d'alignement sur des données bruitées, plutôt que dans une amélioration universelle de la compétence descendante à travers tous les domaines.

Le travail conclut que le contrôleur KALE permet à un objectif auxiliaire de faible magnitude (alignement) de rester influent face à une perte dominante (propre) dans un régime de bruit élevé, un mécanisme de contrôle qui peut être applicable au-delà de l'alignement vision-langage.