Résumé technique : Alignement de représentations multi-voies

Énoncé du problème

Les réseaux de neurones profonds entraînés de manière indépendante convergent souvent vers des espaces de représentation latente similaires, un phénomène décrit par l'Hypothèse de la Représentation Platonicienne. Bien que les méthodes existantes alignent avec succès des paires de modèles, elles font face à des limitations significatives lorsqu'elles passent à l'échelle pour $M \ge 3$ modèles. Les stratégies par paires actuelles croissent de manière quadratique ($O(M^2)$) en nombre de cartes, nécessitent l'ajustement de $M-1$ nouvelles cartes pour intégrer un seul nouveau modèle, et ne parviennent pas à garantir une cohérence globale. Plus précisément, la composition de cartes par paires (par exemple, mapper $X \to Y$ puis $Y \to Z$) produit souvent des résultats différents d'une carte directe $X \to Z$, rendant l'alignement par paires peu fiable comme référence partagée pour de vastes collections de modèles.

Méthodologie

Le papier propose un cadre pour aligner plusieurs espaces de représentation $\{X_m\}_{m=1}^M$ via un espace de référence « univers » partagé $U$. Cette approche réduit la complexité à $O(M)$ en apprenant une carte unique $\Omega_m$ de chaque modèle vers l'univers, garantissant que la translation entre deux modèles quelconques est unique et indépendante du chemin ($\Omega_{m \leftarrow n} = \Omega_m \Omega_n^\top$).

Les auteurs explorent trois stratégies d'alignement spécifiques :

1. Analyse de Procruste Généralisée (GPA) : Adaptée aux représentations neuronales, la GPA construit un univers orthogonal. Elle cherche un centroïde de consensus $U$ et un ensemble de rotations orthogonales $\{\Omega_m\}$ qui minimisent la dispersion globale. Parce que les cartes sont contraintes au groupe orthogonal $O(d)$, la GPA préserve la géométrie interne (distances et angles) de chaque modèle. Ceci est crucial pour des tâches comme le surpiquage de modèles (model stitching) ou le sondage latent (latent probing), mais peut être sous-optimal pour la recherche (retrieval) où la maximisation de l'accord entre les modèles est privilégiée par rapport à une isométrie stricte.

2. Analyse de Corrélation Canonique Généralisée (GCCA) : La GCCA relâche la contrainte d'orthogonalité, permettant des projections linéaires qui déforment les espaces pour maximiser la corrélation partagée. Bien que la GCCA minimise l'énergie de désaccord par paire et excelle dans les tâches de recherche, elle déforme la géométrie interne des modèles, la rendant moins adaptée aux tâches exigeant une fidélité géométrique.

3. Alignement de Procruste Corrigé par la Géométrie (GCPA) : Pour combler le fossé entre fidélité géométrique et performance de recherche, les auteurs proposent le GCPA. Cette méthode en deux étapes :

   • Étape 1 (Initialisation) : Résout le problème standard de la GPA pour établir un univers orthogonal robuste et des représentations de base.
   • Étape 2 (Correction) : Applique une carte résiduelle légère et partagée $T_\theta$ (un petit MLP) aux coordonnées de l'univers. Cette correction minimise la distance à une direction de consensus par échantillon (la moyenne des vecteurs normalisés à travers tous les modèles) tout en pénalisant strictement l'écart par rapport à la géométrie GPA originale via une pénalité de « confiance ». Cela permet à la méthode de maximiser l'accord (améliorant la recherche) sans abandonner le scaffold géométrique.

Contributions clés

1. Extension à l'alignement multi-voies : Les auteurs étendent l'alignement de représentation orthogonal à trois modèles ou plus en adaptant la GPA au contexte des représentations neuronales, établissant un système de coordonnées partagé qui garantit la cohérence cyclique.
2. Identification des compromis : Le papier démontre empiriquement que si la GPA fournit une référence globale cohérente, supérieure aux cartes par paires pour les tâches géométriques, elle accuse un retard par rapport aux méthodes maximisant l'accord comme la GCCA pour les tâches de recherche.
3. Proposition du GCPA : L'introduction de l'Alignement de Procruste Corrigé par la Géométrie, qui combine un univers orthogonal robuste avec une correction a posteriori pilotée par le consensus. Cela permet d'atteindre des performances de pointe en recherche de n'importe quel modèle vers n'importe quel autre, tout en conservant les avantages pratiques d'un cadre de Procruste partagé.

Résultats expérimentaux

Les auteurs évaluent leurs méthodes sur des benchmarks couvrant le sondage inter-architecture, la traduction multilingue, la ré-identification de personnes par caméra croisée et la recherche multimodale.

• Interopérabilité géométrique : Dans les expériences de « maillon faible » où deux modèles partagent peu de similitudes de surface, un univers multi-voies stabilise mieux l'alignement qu'une carte directe par paire. De plus, l'univers partagé permet une extension efficace ; ajouter un nouveau modèle ne nécessite que l'ajustement d'une seule carte, égalant ou surpassant la nécessité de ré-ajuster l'univers entier ou d'ajuster plusieurs cartes par paires.
• Clustering : Sur le jeu de données MASSIVE, l'alignement standard (GPA, GCCA) n'a pas amélioré la qualité du clustering par rapport aux espaces non alignés. Cependant, le GCPA a considérablement amélioré l'indice Rand ajusté (ARI) et l'information mutuelle normalisée (NMI), indiquant que la correction géométrique regroupe avec succès les éléments sémantiquement similaires.
• Performance de recherche :
  • Traduction multilingue (TED-MULTI) : Le GCPA a surpassé les bases de comparaison par paires, GPA et GCCA pour des nombres variables de langues ($M=3, 5, 10$), améliorant la précision de recherche moyenne et de pire cas.
  • Robustesse au bruit : Sous une corruption de 75 % des correspondances d'entraînement, le GCPA s'est dégradé plus gracieusement que la GCCA et a maintenu une précision absolue plus élevée que la GPA.
  • Ré-identification de personnes (MARKET-1501) : Le GCPA a obtenu la plus haute précision moyenne (mAP) à travers toutes les paires de caméras, surpassant à la fois les isométries strictes (GPA) et les méthodes maximisant l'accord (GCCA).
  • Recherche multimodale (FLICKR8K) : Le GCPA a substantiellement amélioré les cas d'alignement difficiles, tels que la recherche audio-image (ex: HuBERT vers DINOv2), doublant presque les performances par rapport à la GPA. L'analyse montre que le GCPA réduit la distance moyenne cross-modale et augmente l'accord des triplets à haute cohérence.

Signification et affirmations

Le papier affirme que l'alignement multi-voies via un univers partagé est nécessaire pour mettre à l'échelle l'interopérabilité des représentations. La principale signification réside dans la résolution de la tension entre la préservation de la géométrie interne du modèle (essentielle pour le surpiquage) et la maximisation de l'accord entre les modèles (essentielle pour la recherche).

Les auteurs soutiennent que le GCPA synthétise efficacement le meilleur des deux mondes : il utilise l'univers de la GPA comme un scaffold géométrique pour assurer la stabilité et la cohérence, tandis que la correction pilotée par le consensus affine l'alignement pour l'accord sémantique. Cela permet d'obtenir un espace de référence composable et pratique qui atteint des performances de recherche de pointe sans sacrifier l'intégrité structurelle requise pour d'autres tâches en aval. Le travail suggère qu'un tel alignement via un univers partagé peut soutenir l'interopérabilité entre des systèmes entraînés indépendamment, bien qu'il note que cela peut également propager des biais s'il n'est pas géré avec soin.