🤖 machine learning

KODA: Contrastive Representation Comparison and Alignment for Vision-Language Foundation Models

Cet article introduit KODA, un cadre basé sur les noyaux qui identifie et aligne les sous-ensembles d'échantillons structurellement divergents entre les modèles de fondation vision-langage en optimisant la cohérence des structures dans une représentation tout en les supprimant dans une autre, en utilisant des approximations randomisées pour passer à l'échelle sur de grands ensembles de données.

Auteurs originaux : Youqi Wu, Mohammad Jalali, Farzan Farnia

Publié 2026-06-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Youqi Wu, Mohammad Jalali, Farzan Farnia

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez deux critiques d'art différents, appelons-les Critique A et Critique B. Tous deux examinent une immense galerie de photos et leurs descriptions. Ils semblent tous deux s'accorder sur la « vue d'ensemble » de ce qui fait une bonne photo, mais si l'on regarde de plus près, ils organisent la galerie de manières très différentes.

Le Critique A pourrait regrouper toutes les photos de « surf » ensemble, peu importe la météo.
Le Critique B pourrait séparer le « surf sous la pluie » du « surf sous le soleil », mais mélanger les photos de « surf » avec des photos de « ski » parce qu'ils impliquent tous deux de glisser sur quelque chose.

Habituellement, pour voir qui est le meilleur, nous leur demandons simplement de jouer à un jeu (comme un quiz) et nous regardons qui obtient le score le plus élevé. Mais cela ne nous dit pas pourquoi ils sont différents, ni sur quelles photos spécifiques ils ne sont pas d'accord.

Ce document présente un nouvel outil appelé KODA (Kernel Optimization for Discrepancy Analysis). Considérez KODA comme un détective qui trouve les « angles morts » ou les « super-pouvoirs » spécifiques d'un critique par rapport à l'autre.

Comment fonctionne KODA (L'analogie)

Imaginez que vous avez une immense boîte de briques Lego mélangées (les données).

L'objectif : Vous voulez trouver une poignée de briques que le Critique A pense appartenir ensemble dans une tour parfaite, mais que le Critire B considère comme un simple tas désordonné sur le sol.
Le processus : KODA ne se contente pas de regarder toute la boîte. Il utilise une « lampe de poche » mathématique pour scanner les briques. Il demande : « Montrez-moi un groupe de briques que le Critique A adore regrouper, mais que le Critique B ignore ou éparpille complètement. »
Le résultat : KODA pointe un sous-ensemble spécifique de données. Par exemple, il pourrait dire : « Hé, regardez ces photos de joueurs de baseball glissant vers les bases. Le Critique A les voit comme un groupe serré et clair. Le Critique B les voit comme des images aléatoires et sans rapport. »

La « Recette Secrète » (Simplification des aspects techniques)

Le document mentionne des termes mathématiques complexes, mais voici ce qu'ils signifient réellement en langage courant :

Contrastive Embedding Clustering (Regroupement par plongement contrastif) : C'est juste une façon sophistiquée de dire « trouver les différences dans la manière dont les choses sont regroupées ». KODA cherche les « amas » qui existent dans l'esprit d'un modèle mais qui sont absents dans celui de l'autre.
Le Problème d'Optimisation : Imaginez essayer de trouver l'angle parfait pour projeter une lumière. Vous voulez que la lumière soit très brillante sur les choses que le Critique A aime, mais vous avez une règle : la lumière doit être très faible sur les choses que le Critique B aime. KODA résout ce casse-tête mathématique pour trouver cet angle parfait.
Random Fourier Features (L'astuce de vitesse) : Faire ce calcul sur des millions de photos est habituellement comme essayer de compter chaque grain de sable sur une plage un par un — cela prend une éternité. KODA utilise un raccourci intelligent (comme prendre une photo haute résolution de la plage et compter les pixels à la place) pour effectuer les calculs très rapidement sans perdre en précision. Cela lui permet de travailler sur de gigantesques ensembles de données comme MS-COCO.

Qu'ont-ils découvert ?

Les auteurs ont testé KODA sur des modèles d'IA célèbres comme CLIP, BLIP et SigLIP. Voici ce que le « détective » a trouvé :

Des priorités différentes : Même si tous ces modèles sont entraînés pour comprendre les images et le texte, ils organisent le monde différemment.
- Exemple : Un modèle pourrait regrouper les images de « zèbres » de manière très serrée, tandis qu'un autre pourrait mélanger les « zèbres » avec des « chevaux » ou des « chemises à rayures ».
Des informations exploitables : KODA n'a pas seulement dit « ils sont différents ». Il a réellement extrait des listes spécifiques d'images et de légendes.
- Exemple : Il a découvert que BLIP est très doué pour regrouper les images de « personnes faisant du surf » ensemble, tandis que CLIP était un peu plus dispersé sur ce sujet spécifique.
Réparer les modèles : Les auteurs ont montré que si vous prenez le groupe spécifique de photos « désordonnées » sur lequel un modèle a des difficultés, et que vous ré-entraîne ce modèle uniquement sur ces photos, le modèle devient soudainement bien meilleur pour les organiser. C'est comme donner à un élève des exercices supplémentaires uniquement sur les problèmes de mathématiques qu'il a ratés, plutôt que de lui faire refaire tout le manuel.

Pourquoi est-ce important ?

Actuellement, si vous voulez choisir un modèle d'IA, vous regardez un score sur un classement. C'est comme choisir une voiture en se basant uniquement sur sa vitesse de pointe.

KODA vous donne un rapport de mécanicien. Il vous dit : « Cette voiture est rapide, mais sa suspension est étrange sur les routes de gravier. » Il aide les chercheurs à comprendre exactement où et pourquoi les modèles diffèrent, permettant ainsi de corriger des faiblesses spécifiques ou de choisir le bon modèle pour un type de données spécifique, plutôt que de simplement deviner en se basant sur un seul chiffre.

En bref : KODA est un outil qui nous permet de cesser de simplement comparer les modèles d'IA par leurs scores finaux pour commencer à comprendre la « personnalité » unique et les angles morts spécifiques de chaque modèle.

Résumé Technique : KODA – Comparaison et Alignement de Représentations Contrastives pour les Modèles de Fondation Vision-Langage

1. Énoncé du Problème

Les modèles de fondation vision-langage (par exemple, CLIP, SigLIP, BLIP) sont au cœur des systèmes multimodaux modernes, pourtant leurs représentations sont typiquement comparées uniquement via les performances sur des tâches en aval (par exemple, la précision de la recherche ou la classification zero-shot). De telles métriques agrégées ne parviennent pas à expliquer comment différents modèles organisent structurellement les données ou induisent différents regroupements de paires image-texte.

Les méthodes existantes pour la comparaison interprétable des plongements (embeddings), telles que le cadre SPEC, analysent les matrices de différence de noyaux mais n'imposent pas explicitement un objectif asymétrique. Par conséquent, elles peuvent identifier des structures communes aux deux plongements ou des effets agrégés plutôt que d'isoler des sous-ensembles spécifiques d'échantillons qui sont faiblement regroupés sous une représentation mais fortement regroupés sous une autre. Ce document traite de la tâche de Regroupement de Plongements Contrastifs : identifier des sous-ensembles d'échantillons (ou des directions) qui présentent une structure cohérente dans un espace de plongement tout en paraissant diffus ou non structurés dans un espace de plongement de référence.

2. Méthodologie : Cadre KODA

Les auteurs proposent KODA (Kernel Optimization for Discrepancy Analysis), un cadre basé sur les noyaux formulé comme un problème d'optimisation sous contraintes.

2.1. Formulation de l'Optimisation Centrale

Étant donné deux plongements $A$ et $B$ induisant des matrices de similitude de noyau normalisées $K_A$ et $K_B$ sur un ensemble de données de référence $\{x_i\}_{i=1}^n$ , KODA cherche une direction $x \in \mathbb{R}^n$ qui maximise le regroupement sous $K_A$ tout en étant contrainte à être faiblement regroupée sous $K_B$ . Le problème est défini par :

$\begin{aligned} \max_{x \in \mathbb{R}^n} \quad & x^\top K_A x \\ \text{s.t.} \quad & x^\top K_B x \leq \epsilon \\ & \|x\|_2^2 = 1 \end{aligned}$

où $\epsilon > 0$ est un seuil contrôlant le degré de faible regroupement autorisé sous le plongement de référence $B$ .

2.2. Solution Efficace via la Caractérisation Spectrale

Bien que le problème soit non convexe, les auteurs démontrent via les conditions KKT que tout optimiseur $x^*$ satisfait une équation de valeur propre généralisée :
$(K_A - \lambda^* K_B) x^* = \nu^* x^*$
où $\lambda^* \geq 0$ est un multiplicateur de Lagrange. Cela permet à KODA de résoudre le problème via une recherche unidimensionnelle sur $\lambda$ : pour chaque $\lambda$ , calculer le vecteur propre principal de $K_A - \lambda K_B$ et vérifier s'il satisfait la contrainte $x^\top K_B x \leq \epsilon$ .

Pour extraire plusieurs modes de divergence, KODA résout ce problème de manière itérative, en imposant l'orthogonalité par rapport aux directions précédemment trouvées en utilisant une matrice de projection $P = I - UU^\top$ .

2.3. Scalabilité via les Blocs de Covariance et les Caractéristiques Aléatoires

La décomposition en valeurs propres directe de matrices de noyau $n \times n$ est prohibitive pour de grands ensembles de données ( $n \gtrsim 20\,000$ ). KODA traite cela en exploitant des représentations de caractéristiques explicites (par exemple, les fonctions de Fourier aléatoires pour les noyaux invariants par translation).
Si $K_A = \Phi_A \Phi_A^\top$ et $K_B = \Phi_B \Phi_B^\top$ avec des dimensions de caractéristiques $d_1, d_2 \ll n$ , le calcul du vecteur propre pour $K_A - \lambda K_B$ est réduit à un problème de valeur propre de taille $(d_1 + d_2) \times (d_1 + d_2)$ impliquant des blocs de covariance :
$M_\lambda = \begin{bmatrix} \Phi_A^\top \Phi_A & \Phi_A^\top \Phi_B \\ -\lambda \Phi_B^\top \Phi_A & -\lambda \Phi_B^\top \Phi_B \end{bmatrix}$
Cela réduit la complexité de $O(n^2)$ à $O(n(d_1+d_2))$ , permettant l'application à des ensembles de données à grande échelle.

2.4. Extension aux Plongements Multimodaux

Pour les données appariées (ex: image-texte), KODA construit un noyau multimodal unifié en utilisant la formulation du noyau produit :
$k((u, v), (u', v')) = k_x(u, u') \cdot k_t(v, v')$
où $k_x$ et $k_t$ sont des noyaux spécifiques à chaque modalité. La matrice de noyau résultante est le produit de Hadamard des matrices de noyaux unimodaux ( $K = K_x \odot K_t$ ). Pour gérer l'espace de caractéristiques du produit tensoriel (qui croît comme $d_x d_t$ ), KODA utilise des Fonctions de Fourier Aléatoires (RFF) Conjointes. Cela approxime le noyau produit avec une carte de caractéristiques de dimension $2r$ , fournissant des garanties théoriques sur la stabilité des sous-espaces propres principaux par rapport au véritable noyau produit.

3. Contributions Clés

Tâche de Regroupement de Plongements Contrastifs : L'article formalise l'identification de sous-ensembles d'échantillons qui sont fortement regroupés dans un plongement mais faiblement dans un autre comme un problème d'optimisation sous contraintes, distinct de l'analyse de différence globale.
Algorithme KODA : Un cadre d'optimisation basé sur les noyaux qui résout cette tâche via un programme quadratique contraint, admettant une solution efficace grâce à des calculs spectraux structurés.
Implémentation Scalable : Le développement de réductions par blocs de covariance et d'approximations par fonctions de Fourier aléatoires conjointes permet à KODA de passer à l'échelle sur de grands ensembles de données vision-langage sans construction explicite de matrices de noyaux massives.
Directions de Divergence Interprétables : La méthode produit des directions interprétables associées à des sous-ensembles d'échantillons spécifiques et des interactions de modalités, facilitant la curation de données ciblée et l'alignement des modèles.

4. Résultats Expérimentaux

Les auteurs ont évalué KODA sur des ensembles de données unimodaux (ImageNet, FFHQ, AFHQ) et multimodaux (MS-COCO) en utilisant des modèles incluant CLIP, DINOv2, BLIP, OpenCLIP, SigLIP et SigLIP2.

Découverte de Divergences : KODA a identifié avec succès des structures de divergence cohérentes et interprétables. Par exemple, sur FFHQ, il a trouvé des directions où DINOv2 regroupe les échantillons de manière cohérente (ex: attributs faciaux spécifiques) alors que CLIP ne le fait pas. Sur MS-COCO, il a identifié des paires image-texte où BLIP forme des structures conjointes plus claires que CLIP (ex: actions sportives spécifiques comme le baseball ou le surf).
Comparaison avec les Baselines : Dans les contextes unimodaux, KODA a surpassé la baseline SPEC dans la découverte de multiples modes de divergence. Les métriques quantitatives (Quotient de Rayleigh Généralisé) ont montré que les directions de KODA possédaient des scores d'asymétrie nettement plus élevés (ex: ~20x plus forts aux quantiles de contrainte faibles) par rapport à SPEC.
Alignement de Représentation : L'article démontre que les sous-ensembles d'échantillons identifiés par KODA peuvent être utilisés pour l'alignement de plongements contrastifs. Le fine-tuning de CLIP sur des tranches sélectionnées par KODA (où CLIP était faible et DINOv2/BLIP fort) a considérablement amélioré les métriques d'alignement (AMI, NMI, ARI) sur ces tranches spécifiques, rapprochant la géométrie du modèle aligné de celle du modèle cible.
Analyse de Recherche (Retrieval) : Sur MS-COCO, le sous-ensemble sélectionné par KODA a amplifié l'écart de performance entre les modèles (ex: CLIP vs SigLIP), révélant que SigLIP maintient de meilleures performances de recherche sur les tranches de divergence spécifiques où CLIP éprouve des difficultés.

5. Signification et Limites

Signification :
L'article affirme que KODA fournit une méthode non supervisée et fondée pour comparer les modèles de fondation au-delà des métriques de tâches en aval agrégées. En localisant les divergences sur des sous-ensembles d'échantillons spécifiques, il soutient :

L'Interprétabilité : Comprendre où et pourquoi les modèles diffèrent structurellement.
La Sélection de Modèles et le Débogage : Identifier des tranches de données spécifiques où un modèle est moins performant par rapport à une référence.
L'Alignement Ciblé : Utiliser les tranches de divergence découvertes comme données exploitables pour le fine-tuning afin d'aligner les représentations.

Limites :
Les auteurs notent que KODA :

Nécessite un ensemble de données de référence partagé échantillonné à partir d'une distribution sous-jacente.
Se concentre sur la découverte de divergences non supervisées basée sur la géométrie induite par les noyaux, sans exploiter de tâches en aval étiquetées.
Les travaux futurs incluent l'extension du cadre à des ensembles de données non appariés, des notions de divergence supervisées et des garanties statistiques plus fortes pour l'interprétation des clusters.

Le code est disponible publiquement sur https://github.com/yokiwuuu/KODA.