🤖 machine learning

Improving Relative Representations with Learned Anchors and Whitened Inner Products

Cet article propose un cadre robuste pour la communication entre modèles qui améliore les représentations relatives traditionnelles en apprenant des prototypes d'ancres sémantiques et en employant une métrique de similitude sensible à la géométrie, permettant ainsi un transfert d'informations stable et quasi sans perte entre des architectures neuronales hétérogènes.

Auteurs originaux : Oscar Thorsted Svendsen, Nikolaj Holst Jakobsen, Fabian Mager, Hiba Nassar

Publié 2026-06-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Oscar Thorsted Svendsen, Nikolaj Holst Jakobsen, Fabian Mager, Hiba Nassar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez deux traducteurs différents qui parlent la même langue mais utilisent des dictionnaires et des structures de phrases complètement différents. Un traducteur (Modèle A) décrit un « roi » comme une figure haute et dorée, tandis que l'autre (Modèle B) décrit un « roi » comme une figure courte et bleue. Si vous essayez de donner au Modèle B une note écrite par le Modèle A, il ne la comprendra pas car les coordonnées ne correspondent pas.

C'est le problème que les Représentations Relatives tentent de résoudre. Au lieu de forcer le Modèle A et le Modif B à se mettre d'accord sur les coordonnées exactes d'un « roi », ils s'accordent sur un ensemble de points de repère (ancres). Ils disent : « D'accord, peu importe la façon dont vous dessinez la carte, à quelle distance le "roi" se trouve-t-il de la "reine" et du "château" ? » Si les deux modèles s'accordent sur les distances par rapport à ces points de repère, ils peuvent communiquer, même si leurs cartes internes sont totalement différentes.

Cependant, l'ancienne méthode présentait deux défauts majeurs, que ce papier corrige avec un nouveau système appelé PARAM et WIP.

Le problème de l'ancienne méthode

Points de repère aléatoires : L'ancienne méthode choisissait les points de repère en lançant des fléchettes sur une carte. Parfois, vous choisissiez un groupe de fléchettes qui atterrissaient au même endroit (redondance), ou vous manquiez de larges zones de la carte. Cela signifiait que la « traduction » était souvent floue ou perdait des détails importants.
Le mauvais instrument de mesure : L'ancienne méthode utilisait une règle qui ne mesurait que les angles (direction) mais ignorait la distance (magnitude). Imaginez essayer de mesurer une pièce où le sol est étiré de manière inégale. Si vous ne regardez que l'angle d'un coin, vous pourriez penser qu'une petite pièce étirée est la même qu'une grande pièce normale. Cela faisait que la « traduction » se brisait lorsque les modèles étaient très différents l'un de l'autre (comme un petit modèle de langage parlant à un géant).

La nouvelle solution : PARAM et WIP

1. PARAM : Apprendre les meilleurs points de repère

Au lieu de lancer des fléchettes au hasard, les auteurs apprennent à l'ordinateur à apprendre les points de repère parfaits.

L'analogie : Imaginez que vous essayiez de décrire une ville à un ami. Au lieu de choisir des coins de rue au hasard, vous demandez à la ville elle-même : « Où se trouvent les hubs les plus importants et les plus stables qui représentent toute la zone ? »
Comment ça marche : Le système crée des points de repère en faisant la moyenne de groupes de points de données. Cela lisse le bruit (comme moyenner quelques photos tremblantes pour obtenir une image claire). Ces nouveaux points de repère sont des « prototypes sémantiques robustes » : ils sont stables, couvrent uniformément toute la carte et ne sont pas confus par les particularités d'un modèle spécifique.

2. WIP : L'instrument de mesure intelligent

Les auteurs ont remplacé l'ancienne règle « uniquement basée sur l'angle » par un Produit Intérieur Blanchi (WIP - Whitened Inner Product).

L'analogie : Pensez à l'ancienne règle comme un élastique qui s'étire et se contracte selon la personne qui le tient. Si le Modèle A étire l'espace et que le Modèle B l'écrase, l'élastique donnera une mauvaise réponse.
Comment ça marche : La nouvelle règle WIP est « blanchie ». Avant la mesure, elle aplatit mathématiquement l'élastique. Elle corrige l'étirement, l'écrasement et le décalage. Crucialement, elle prête également attention à la force d'un signal (magnitude), et pas seulement à la direction dans laquelle il pointe. Cela permet aux modèles de conserver les détails importants (comme le degré de « confiance » du modèle) que l'ancienne méthode jetait.

Les résultats : Une traduction « sans perte »

Les auteurs ont testé cela en essayant de connecter différents types de modèles d'IA :

Vision : Ils ont connecté un CNN (un type de modèle d'image) avec un Transformer (un modèle d'image différent et plus moderne).
Langage : Ils ont connecté différents modèles de langage (comme des variantes de BERT qui parlent différentes langues : anglais, allemand, français, etc.).
Petit vs Grand : Ils ont même connecté de minuscules modèles de langage à des modèles beaucoup plus grands.

Le résultat :
Par le passé, essayer de recoudre ces modèles ensemble entraînait un désastre (le nouveau modèle devinait de manière aléatoire). Avec PARAM et WIP, les modèles communiquent presque parfaitement.

Ils ont obtenu une stitching zero-shot : Vous pouviez entraîner un outil sur les données du Modèle A et l'utiliser immédiatement sur les données du Modèle B sans réentraînement.
La performance était presque identique à l'utilisation directe du modèle original. C'était comme si la « traduction » était sans perte — aucune information n'a été perdue dans le processus.

Résumé

Ce papier introduit une nouvelle façon de faire communiquer différents modèles d'IA entre eux.

Arrêtez de deviner les points de repère : Apprenez les points de référence les plus stables et les meilleurs (PARAM).
Utilisez un meilleur instrument de mesure : Utilisez un outil de mesure qui prend en compte l'étirement et la contraction des données (WIP).

Le résultat est un système universel « plug-and-play » où vous pouvez remplacer le cerveau (encodeur) d'une IA par un autre, et le reste du système fonctionne parfaitement sans avoir besoin d'être réentraîné.

Résumé Technique : Amélioration des Représentations Relatives par l'Apprentissage d'Ancres et le Produit Intérieur Blanchi

1. Énoncé du Problème

Les modèles neuronaux entraînés de manière indépendante convergent souvent vers des représentations latentes incompatibles en raison de différences de rotation, d'échelle anisotrope et de translation. Cela crée une barrière fondamentale à la construction de systèmes d'IA hautement modulaires où les encodeurs et les décodeurs peuvent être échangés sans réentraînement.

Les Représentations Relatives (RR) abordent ce problème en mappant les plongements (embeddings) absolus vers un espace partagé défini par des similitudes avec un ensemble commun de points d'ancres, plutôt que de s'appuyer sur des coordonnées absolues. Cependant, les implémentations standards de RR souffrent de deux limitations principales :

Échantillonnage Aléatoire des Ancres : Les méthodes traditionnelles utilisent des points de données échantillonnés aléatoirement comme ancres. Cela conduit souvent à une couverture médiocre de la variété (manifold) des données, à de la redondance et à des caractéristiques relatives de faible rang, provoquant une perte d'informations pertinentes pour la tâche.
Similitude Cosinus : La métrique de similitude standard repose uniquement sur les relations angulaires, ignorant l'information de magnitude (qui peut encoder la confiance de la caractéristique) et ne parvenant pas à rendre compte des géométries anisotropes communes dans les architectures modernes comme les Transformers. Elle est également instable sous les transformations affines et près de l'origine.

Ces limitations entraînent un mauvais alignement des espaces et une conservation imparfaite de l'information, empêchant un assemblage (stitching) efficace en zéro-shot entre des modèles hétérogènes.

2. Méthodologie

Les auteurs proposent un cadre robuste comprenant deux composantes clés : PARAM (Représentations d'Ancres Paramétrées via des Matrices Adaptatives) et WIP (Produit Intérieur Blanchi).

2.1 PARAM : Apprendre les Ancres comme des Mélanges Convexes

Au lieu de traiter les ancres comme un sous-ensemble fixe et aléatoire de données, PARAM apprend les ancres comme des mélanges convexes d'un ensemble de support de points de données parallèles.

Mécanisme : Une matrice de mélange partagée $P$ est optimisée pour générer des ancres $A_i$ pour chaque espace d'encodage $i$ via $A_i = P X_{sub}^i$ , où $X_{sub}^i$ est un sous-ensemble de plongements.
Contraintes : $P$ est contrainte d'être stochastique par ligne, garantissant que les ancres restent à l'intérieur de l'enveloppe convexe des données.
Avantages : Cette approche produit un effet de débruitage par moyennage, créant des prototypes sémantiques stables. Elle permet un placement continu des ancres au sein de l'espace latent, évitant les limitations de la sélection discrète de points de données.
Objectifs d'Entraînement : La matrice $P$ $P$ est optimisée à l'aide d'une somme pondérée de pertes :
- Objectifs de l'espace unique : Couverture ( $L_{cov}$ , k-means doux), Orthogonalité ( $L_{orth}$ , pénalisant les ancres corrélées) et Contrôle de la longueur ( $L_{len}$ , contraignant les normes).
- Objectif multi-espace : InfoNCE symétrique ( $L_{symNCE}$ ) pour aligner les coordonnées relatives à travers différents encodeurs en utilisant des échantillons appariés.

2.2 WIP : Produit Intérieur Blanchi

Pour traiter les distorsions géométriques (décalages de moyenne et mise à l'échelle anisotrope) entre les espaces entraînés indépendamment, les auteurs remplacent la similitude cosinus par le Produit Intérieur Blanchi.

Mécanisme : Pour chaque espace d'embedding, la moyenne empirique $\mu_i$ est supprimée, et une transformation de blanchiment symétrique $L_i = (\Sigma_i)^{-1/2}$ est appliquée basée sur la matrice de covariance $\Sigma_i$ .
Formule : La similitude est définie par $s_{WIP}(x, a_r^i) = \langle L_i(x - \mu_i), L_i(a_r^i - \mu_i) \rangle$ .
Avantages : Cette métrique est robuste aux distorsions affines (satisfaisant l'Alignement Inter-Espaces) tout en préservant à la fois les informations angulaires et de magnitude (satisfaisant la Préservation de l'Information), ce qui est crucial pour le signal discriminatif.

3. Contributions Clés

Ancres Apprises (PARAM) : Une méthode pour apprendre les ancres comme des mélanges convexes de données, assurant une couverture sémantique robuste et une stabilité à travers les espaces d'embedding, remplaçant l'échantillonnage aléatoire.
Similitude Sensible à la Géométrie (WIP) : Une métrique de similitude consciente de la covariance qui est invariante aux décalages affines et préserve l'information de magnitude, traitant l'anisotropie des architectures modernes.
Cadre Unifié : Une approche conjointe qui améliore significativement les performances de l'assemblage (stitching) zero-shot à travers des architectures très hétérogènes (ex: CNNs vs Transformers, et différentes échelles de Modèles de Langage).

4. Résultats Expérimentaux

Le cadre a été évalué sur des tâches d'assemblage zero-shot à travers des modalités de vision et de langage, comparant les résultats à une base de référence d'ancres aléatoires avec similitude cosinus.

Classification d'Images (CIFAR-100) : Lors de l'assemblage d'encodeurs basés sur des CNN (RexNet) et des Transformers (ViT), la méthode PARAM-WIP proposée a atteint un transfert quasi sans perte. Par exemple, entraîner un classificateur sur des caractéristiques ViT et le tester sur des caractéristiques RexNet a produit un score F1 de 80,94 % (PARAM Multi) contre 56,67 % pour la base de référence Random-Cosine. Dans de nombreux cas, la performance zero-shot correspondait à la performance absolue de l'espace latent original.
Classification de Texte (MARC) : Sur l'analyse de sentiment translingue (ex: Anglais, Allemand, Français, Espagnol, Chinois), le cadre a systématiquement surpassé la base de référence. Par exemple, assembler l'encodeur français à l'encodeur anglais a donné un F1 de 93,75 % (PARAM Multi) contre 92,06 % (Random-Cosine).
Petits Modèles de Langage (SLM) : Dans une tâche de recherche zero-shot entre des modèles de différentes échelles (GPT-2, TinyLlama, Gemma), la base de référence a montré une extrême instabilité (R@1 $\approx$ 0,5 % - 10 %). En revanche, PARAM-WIP a atteint des scores R@1 compris entre 87 % et 95 % et des scores R@5 proches de 100 %, démontrant un alignement géométrique stable même entre des modèles ayant des dimensions cachées très différentes.
Études d'Ablation : Les résultats ont confirmé que les deux composantes sont nécessaires. Bien que WIP améliore la qualité de la recherche, ses gains de précision sont maximisés lorsqu'il est combiné avec des ancres apprises. Inversement, les ancres aléatoires avec WIP ont souvent sous-performé par rapport aux ancres aléatoires avec la similitude cosinus en raison de la sensibilité au bruit près de l'origine.

5. Signification et Revendications

L'article affirme que la dépendance à l'échantillonnage aléatoire et à la projection angulaire (similitude cosinus) est une limitation fondamentale dans la recherche actuelle sur les représentations relatives, particulièrement pour les familles de modèles hétérogènes.

Robustesse : Le cadre proposé permet un transfert d'information quasi sans perte et une communication zero-shot stable entre des encodeurs qui étaient auparavant incompatibles.
Modularité : En formalisant la relation entre la géométrie latente et les systèmes de coordonnées relatives, ce travail offre une voie pratique vers des architectures d'IA modulaires où les encodeurs et les décodeurs peuvent être interchangés sans réentraînement coûteux.
Compréhension Géométrique : Les résultats suggèrent que la préservation de l'information de magnitude et la prise en compte des distorsions affines sont critiques pour aligner les espaces d'embedding modernes et anisotropes, une exigence que la similitude cosinus standard ne parvient pas à satisfaire.

Les auteurs notent des limites, notamment la dépendance de la capacité de représentation vis-à-vis de la taille du sous-ensemble de support et la nécessité d'une estimation stable de la covariance pour le blanchiment. Ils suggèrent que les travaux futurs pourraient explorer la sélection de sous-ensembles adaptatifs, la parcimonie structurée et les fonctions de similitude non linéaires.