📊 statistics

Scalable and Interpretable Representation Alignment with Ordinal Similarity

Cet article introduit un cadre de similitude ordinale évolutif et interprétable, instancié par des indices de similitude de triplets et de quadruplets, afin de surmonter les limites d'interprétabilité, de robustesse et de scalabilité des métriques d'alignement de représentations existantes.

Auteurs originaux : Diogo Soares, Pankhil Gawade, Andrea Dittadi, Ewa Szczurek

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Diogo Soares, Pankhil Gawade, Andrea Dittadi, Ewa Szczurek

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de juger à quel point deux cartes différentes d'une même ville sont similaires. L'une des cartes est dessinée par un humain, et l'autre par un robot.

Le problème des outils actuels
Actuellement, les scientifiques utilisent des outils pour comparer ces « cartes » (qui sont en réalité des représentations de données complexes à l'intérieur de modèles d'IA). Mais ces outils présentent trois défauts majeurs :

Ils sont déroutants : Les scores qu'ils donnent sont comme un nombre brut sans règle graduée. Un score de 0,7 est-il bon ? Mauvais ? Cela dépend de la taille de la carte ou du type d'encre utilisé, ce qui rend difficile de savoir à quoi ressemble un « bon » résultat.
Ils sont fragiles : Si vous jetez une pierre étrange et géante (une « valeur aberrante » ou outlier) sur la carte, l'outil pourrait hurler que les deux cartes sont complètement différentes, même si 99 % d'entre elles correspondent parfaitement.
Ils sont lents : Pour obtenir un score précis, ces outils doivent souvent mesurer chaque rue et chaque ruelle. Sur une ville immense (un énorme ensemble de données), cela prend une éternité, de sorte que les gens doivent utiliser des raccourcis qui ne sont pas toujours fiables.

La nouvelle solution : l'approche « Ordinale »
Les auteurs de cet article proposent une nouvelle façon de comparer les cartes appelée Similitude Ordinale. Au lieu de mesurer la distance exacte entre deux points (par exemple, « le point A est exactement à 5 milles du point B »), ils ne s'intéressent qu'à l'ordre ou au classement des distances.

Pensez-y de cette manière :

L'ancienne méthode : « Est-ce que A est à 5 milles de B, et est-ce que C est à 10 milles de B ? »
La nouvelle méthode : « Est-ce que A est plus proche de B que ne l'est C ? »

Si la réponse à la seconde question est la même dans les deux cartes, c'est un point d'accord. Ils ne se soucient pas du nombre exact de milles, seulement de l'ordre relatif.

Les deux nouveaux outils : TSI et QSI
L'article introduit deux outils spécifiques pour faire cela :

TSI (Indice de Similitude par Triplet) : Imaginez que vous choisissiez une personne (l'« ancrage ») et deux amis. Vous demandez : « L'ami 1 est-il plus proche de l'Ancrage que l'ami 2 ? »
- Si les deux cartes sont d'accord sur qui est le plus proche, c'est une « victoire ».
- Le TSI compte combien de fois les cartes sont d'accord sur ces questions de type « qui est le plus proche ? ».
- Analogie : C'est comme vérifier si deux personnes sont d'accord sur l'ordre de leurs parfums de glace préférés, peu importe à quel point elles les aiment.
QSI (Indice de Similitude par Quadruplet) : C'est une étape supplémentaire. Imaginez deux paires de personnes. Vous demandez : « Est-ce que la distance entre la paire A est plus petite que la distance entre la paire B ? »
- Cela vérifie si les cartes sont d'accord sur l'échelle des distances entre différents groupes, et pas seulement par rapport à une seule personne.
- Analogie : Cela vérifie si les deux cartes sont d'accord pour dire que « le parc est plus proche de l'école que la bibliothèque ne l'est du stade ».

Pourquoi c'est un changement radical

C'est facile à comprendre : Le score est une probabilité simple. Si vous obtenez un score de 0,5, cela signifie que les cartes sont totalement aléatoires (comme un lancer de pièce). Si vous obtenez 0,8, cela signifie que 80 % du temps, les cartes sont d'accord sur qui est le plus proche. Vous n'avez pas besoin d'un doctorat pour savoir qu'un 0,8 est meilleur qu'un 0,5.
C'est robuste : Si vous jetez une pierre géante (une valeur aberrante) sur la carte, elle ne perturbe qu'une infime fraction des questions de type « qui est le plus proche ? ». Le reste de la carte reste parfait. Le score bouge à peine, donc l'outil ne panique pas.
C'est rapide : Comme l'outil ne s'intéresse qu'à l'ordre, il peut utiliser des astuces mathématiques intelligentes pour deviner la réponse en vérifiant juste un petit échantillon de la ville. Il peut vous donner une réponse hautement précise en quelques secondes, même pour des ensembles de données massifs, sans avoir besoin de mesurer chaque rue.

Ce qu'ils ont prouvé
Les auteurs ont prouvé mathématiquement que :

Ces outils sont robustes : Ils ne casseront pas si les données sont désordonnées.
Ils sont scalables (évolutifs) : Ils fonctionnent rapidement sur de grandes quantités de données.
Ils sont équivalents à vérifier si les « quartiers » sur la carte sont les mêmes. Si les cartes sont d'accord sur qui est le plus proche de qui, elles sont essentiellement la même carte.

Tests en conditions réelles
L'équipe a testé cela sur :

L'entraînement de l'IA : En observant comment la « carte » interne d'une IA change au fur et à mesure qu'elle apprend. Leur outil a montré que la carte s'améliore et devient plus cohérente au fil du temps.
Les modèles multimodaux (comme CLIP) : En vérifiant si une IA comprend qu'une image de chat et le mot « chat » sont similaires. Leur outil a montré que les modèles plus grands et plus intelligents avaient un meilleur alignement, alors que les anciens outils devenaient confus lorsque les modèles changeaient de taille.

En résumé
Cet article donne aux scientifiques une nouvelle règle, fiable et facile à lire, pour mesurer la similitude des modèles d'IA. Au lieu de se perdre dans des nombres complexes et des mesures fragiles, ils peuvent désormais simplement demander : « Ces deux modèles sont-ils d'accord sur qui est plus proche de qui ? » et obtenir une réponse claire et digne de confiance.

Résumé Technique : Alignement de Représentations Scalable et Interprétable par Similarité Ordinale

Énoncé du Problème

L'évaluation de la similarité entre les espaces de représentation est un défi fondamental en apprentissage de représentations, essentiel pour interpréter le comportement des modèles, aligner les systèmes artificiels avec la cognition humaine, et concevoir des modèles de transfert ou génératifs. Cependant, les métriques de similarité existantes souffrent de trois limitations critiques :

Manque d'Interprétabilité : La plupart des métriques produisent des scores bruts sans signification intuitive ni bases de référence cohérentes, ce qui rend difficile la distinction entre un alignement significatif et une similarité fortuite.
Sensibilité aux Valeurs Aberrantes (Outliers) : Les métriques actuelles manquent souvent de robustesse ; un petit nombre de valeurs aberrantes extrêmes peut modifier radicalement les scores de similarité, faisant apparaître des représentations parfaitement alignées comme étant désalignées.
Intraitabilité Computationnelle : Le calcul exact pour de grands ensembles de données est souvent irréalisable en raison d'exigences élevées en mémoire et en temps, forçant le recours à des approximations heuristiques qui manquent de bornes théoriques de correction.

Méthodologie

Les auteurs proposent un passage des métriques reposant sur des valeurs de distance nominale précises vers des métriques mettant l'accent sur des propriétés relationnelles robustes, inspirées par le Positionnement Multidimensionnel Non-métrique (NMDS). L'hypothèse centrale est que la préservation des relations ordinales (l'ordre de rang des distances) capture la structure essentielle nécessaire à l'alignement.

Le document introduit deux métriques primaires basées sur la cohérence ordinale :

Indice de Similarité de Triplet (TSI) : Mesure la cohérence de la similarité relative basée sur des ancres. Il évalue la fraction de triplets $(i, j, k)$ où la relation ordinale « le point $i$ est plus proche de $j$ que de $k$ » est préservée à travers deux espaces de représentation.
Indice de Similarité de Quadruplet (QSI) : Mesure la cohérence de la similarité relative entre des paires disjointes. Il évalue la fraction de quadruplets $(i, j, k, l)$ où la relation « distance $(i, j)$ est inférieure à la distance $(k, l)$ » est préservée.

Fondements Théoriques

Interprétation Probabiliste : Le TSI et le QSI sont définis comme la probabilité qu'une relation ordinale choisie au hasard soit préservée. Cela fournit une signification sémantique directe (par exemple, un TSI de 0,8 implique que 80 % des triplets s'accordent sur l'ordre).
Base de Référence pour la Dissimilarité : Les auteurs prouvent que pour des représentations statistiquement indépendantes, le score attendu converge vers environ $0,5$ (en supposant des ex-æquo négligeables), établissant une base de référence universelle et interprétable pour un alignement aléatoire, indépendamment de la taille du jeu de données ou de la dimensionnalité.
Équivalence de Voisinage : Une équivalence formelle est établie entre un alignement parfait du TSI et la préservation des Voisins les Plus Proches Mutuels (MNN) à toutes les échelles ( $k=1$ à $N-2$ ).
Robustesse : Des bornes théoriques démontrent que le TSI et le QSI sont intrinsèquement robustes aux valeurs aberrantes et aux corruptions. La déviation du score de similarité est bornée par la proportion de points transformés, garantissant que des valeurs aberrantes éparses ne peuvent pas déplacer de manière disproportionnée la métrique.
Axiomes de Métrique : Les distances complémentaires ( $1 - \text{TSI}$ et $1 - \text{QSI}$ ) sont prouvées satisfaire les axiomes d'une métrique appropriée (équivalence, symétrie et inégalité triangulaire).

Efficacité Computationnelle

Bien que des implémentations naïves nécessiteraient des temps en $O(N^3)$ et $O(N^4)$ , les auteurs exploitent les connexions avec le coefficient de corrélation de rang de Kendall pour développer des algorithmes efficaces :

Calcul Exact : Le TSI peut être calculé en $O(N^2 \log N)$ en temps et $O(N)$ en espace ; le QSI en $O(N^2 \log N)$ en temps et $O(N^2)$ en espace.
Approximation Scalable : En tant que statistiques de U bornées, le TSI et le QSI admettent des approximations de Monte Carlo fondées sur des principes. En échantillonnant un petit nombre de triplets ou de quadruplets, les métriques peuvent être estimées avec une erreur additive $\epsilon$ et une confiance $1-\delta$ en un temps indépendant de la taille du jeu de données $N$ .

Principales Contributions

Formulation de la Similarité Ordinale : La formalisation du TSI et du QSI comme des métriques basées sur l'accord des comparaisons de similarité relative et de distance.
Interprétabilité Théorique : Démonstration d'une interprétation probabiliste directe et établissement d'une base de référence stable et universelle ( $\approx 0,5$ ) pour les représentations dissemblables.
Connexion à la Cohérence de Voisinage : Preuve que l'alignement parfait du TSI est équivalent à l'alignement des Voisins les Plus Proches Mutuels conjoints à toutes les échelles.
Robustesse Garantie : Bornes théoriques garantissant la robustesse du TSI et du QSI face aux valeurs aberrantes et aux corruptions, répondant à une fragilité clé des métriques existantes comme la CKA.
Scalabilité Computationnelle : Fourniture d'algorithmes exacts efficaces et d'un schéma d'approximation fondé sur des principes, avec des bornes d'erreur théoriques, permettant l'application à des jeux de données massifs.
Validation Empirique : Validation à travers divers scénarios, incluant le suivi de la convergence des représentations pendant l'entraînement et l'évaluation de l'alignement multimodal dans les modèles CLIP.

Résultats Expérimentaux

Les auteurs valident les métriques proposées à travers plusieurs expériences :

Bases de Référence Cohérentes : Dans des tests avec des représentations statistiquement indépendantes, le TSI et le QSI ont maintenu des scores stables proches de 0,5 malgré la variation des tailles d'échantillons et des dimensions. En revanche, des métriques comme la CKA, la SVCCA et la PWCCA ont montré une grande sensibilité à ces paramètres, produisant parfois des scores d'alignement quasi parfaits pour des données indépendantes.
Robustesse aux Valeurs Aberrantes : Lorsque 2 % des points de données ont été perturbés avec une force croissante, le TSI et le QSI sont restés remarquablement stables, respectant leurs bornes inférieures théoriques. À l'inverse, les métriques basées sur le voisinage (MutualNN, CKNNA) et les métriques basées sur les noyaux (CKA) ont chuté vers des valeurs proches de zéro en raison des effets de "hubness" induits par les valeurs aberrantes.
Qualité de l'Approximation : L'approximation par échantillonnage fondée sur des principes pour le TSI et le QSI a démontré une convergence rapide et monotone avec une déviation négligeable, surpassant nettement les approximations par lots standards utilisées pour d'autres métriques.
Applications Réelles :
- Dynamique d'Entraînement : Le TSI et le QSI ont suivi avec précision la convergence des représentations de Vision Transformer (ViT) pendant l'entraînement sur CIFAR-10, distinguant les modèles entraînés avec la même graine (convergeant vers 1,0) de ceux avec des graines distinctes (convergeant vers un alignement sub-parfait).
- Alignement Multimodal : En évaluant les modèles CLIP de différentes échelles, le TSI et le QSI ont correctement capturé l'augmentation monotone de l'alignement. Notamment, la CKA a présenté un comportement contre-intuitif (une chute du score) lors de la transition vers un modèle ayant une dimension d'embedding différente, soulignant sa sensibilité aux changements de dimensionnalité.

Signification

L'article affirme que le TSI et le QSI fournissent un cadre rigoureux, scalable et théoriquement fondé pour l'alignement de représentations. En privilégiant l'ordre des distances plutôt que les valeurs brutes, ces métriques offrent :

Interprétabilité : Les scores possèdent des significations probabilistes claires et des bases de référence stables, permettant aux praticiens de juger la qualité de l'alignement sans calibration spécifique au cas.
Robustesse : Ils sont théoriquement garantis comme étant peu sensibles aux valeurs aberrantes et aux corruptions éparses, une propriété qui fait défaut à de nombreuses métriques de pointe actuelles.
Scalabilité : La capacité de calculer des valeurs exactes efficacement ou de les approximer avec des bornes d'erreur garanties les rend applicables aux jeux de données modernes à grande échelle là où d'autres méthodes échouent ou nécessitent des heuristiques peu fiables.

Les auteurs concluent que la similarité ordinale permet aux praticiens de mieux comprendre et concevoir des représentations, offrant une alternative fiable aux métriques existantes qui souffrent souvent de problèmes d'interprétabilité, de fragilité et de contraintes computationnelles.