GSVD for Geometry-Grounded Dataset Comparison: An Alignment Angle Is All You Need

Ce papier propose une nouvelle méthode de comparaison de datasets ancrée dans la géométrie, utilisant la décomposition en valeurs singulières généralisée (GSVD) pour définir un score d'angle interprétable par échantillon qui quantifie la contribution relative de chaque jeu de données à l'explication d'une observation.

L'essentiel

🎨 Le Concept de Base : Comparer des Mondes sans se perdre

Imaginez que vous avez deux immenses bibliothèques de photos.

• La bibliothèque A contient des photos de chats.
• La bibliothèque B contient des photos de chiens.

Habituellement, pour comparer ces deux bibliothèques, les ordinateurs regardent chaque photo individuellement et disent : "Cette photo de chat ressemble à celle-ci, mais pas à celle-là". C'est fastidieux et ça rate souvent le gros tableau.

Les auteurs de cet article proposent une approche différente : la géométrie. Au lieu de comparer photo par photo, ils regardent la "forme" globale de chaque bibliothèque. Ils se demandent : "Si je devais dessiner une ligne droite à travers toutes les photos de chats, et une autre à travers toutes les photos de chiens, comment ces deux lignes s'orientent-elles l'une par rapport à l'autre ?"

🧭 L'Outil Magique : Le "GSVD" (Le Compas Universel)

Pour faire cette comparaison, ils utilisent un outil mathématique puissant appelé GSVD (Décomposition en Valeurs Singulières Généralisée).

L'analogie du Compas :
Imaginez que vous avez deux cartes au trésor différentes (les deux jeux de données). L'une est dessinée par un pirate, l'autre par un explorateur. Leurs repères (nord, sud, est, ouest) ne sont pas les mêmes.
Le GSVD agit comme un compas universel qui superpose les deux cartes sur une seule grille de référence. Il vous dit :

1. Quelles directions sont communes aux deux cartes (ex: "le nord" est le même pour les deux).
2. Quelles directions sont uniques à l'une ou à l'autre (ex: "l'ouest" sur la carte du pirate est en fait "le sud" sur celle de l'explorateur).

📐 L'Angle d'Alignement : Le Score de "Ressemblance"

C'est ici que la magie opère. Une fois les deux bibliothèques alignées sur cette grille commune, l'article introduit un score simple : l'angle d'alignement (θ).

Imaginez que vous tenez une aiguille (une nouvelle photo que vous venez de recevoir). Vous voulez savoir si elle vient de la bibliothèque des chats ou de celle des chiens.

• Si l'angle est proche de 0° : L'aiguille pointe directement vers la bibliothèque des chats. C'est clairement un chat.
• Si l'angle est proche de 90° : L'aiguille pointe directement vers la bibliothèque des chiens. C'est clairement un chien.
• Si l'angle est à 45° : L'aiguille pointe exactement entre les deux. C'est une zone de confusion. Peut-être un chien qui ressemble à un chat, ou une photo floue.

En résumé : Cet angle vous dit, pour chaque image, laquelle des deux "formes" (chats ou chiens) l'explique le mieux.

🧪 L'Expérience : Les Chiffres du MNIST

Pour tester leur idée, les chercheurs ont utilisé un jeu de données célèbre appelé MNIST (des chiffres manuscrits de 0 à 9).

Ils ont pris deux chiffres, par exemple le 1 et le 5.

1. Ils ont créé la "forme" du 1 et la "forme" du 5.
2. Ils ont pris de nouveaux chiffres (le test) et ont mesuré l'angle.

Le résultat ?

• Quand ils ont comparé un 1 et un 5 (très différents), les angles étaient soit très proches de 0, soit très proches de 90. La machine savait immédiatement de quel côté pencher.
• Quand ils ont comparé un 4 et un 9 (qui se ressemblent beaucoup), les angles se sont regroupés autour de 45°. C'était difficile de dire qui était qui, et l'angle a bien reflété cette confusion.

C'est comme si l'angle mesurait la confiance de la machine. Plus l'angle est extrême (0 ou 90), plus la machine est sûre d'elle. Plus il est au milieu (45), plus elle hésite.

🚀 Pourquoi c'est utile ? (Au-delà du simple "Chat ou Chien")

L'article ne propose pas seulement de classer des images, mais de comprendre les données.

1. Diagnostic : Si une image de "chat" obtient un angle de 90° (comme un chien), c'est un signal d'alarme. Peut-être que le chat a une queue qui ressemble à un chien, ou que la photo est mauvaise. L'angle sert de détecteur d'anomalies.
2. Visualisation : Les chercheurs peuvent extraire les "directions extrêmes". Ils peuvent montrer à quoi ressemble le "chat le plus pur" (celui qui est le plus loin de la forme du chien) et le "chien le plus pur". Cela aide à voir ce qui rend les deux groupes différents.
3. Transfert de connaissances : Si vous voulez entraîner une IA sur des données de voitures (source) pour qu'elle reconnaisse des camions (cible), cet angle vous dit quelles voitures ressemblent le plus aux camions et lesquelles sont trop différentes pour être utiles.

💡 En Conclusion

Cet article nous dit : "Ne regardez pas seulement les données, regardez leur forme."

Au lieu de faire des calculs compliqués pour chaque pixel, ils utilisent un angle simple pour dire : "Est-ce que cette chose appartient plus au groupe A, au groupe B, ou est-elle un mélange des deux ?"

C'est une méthode élégante, visuelle et géométrique pour comprendre comment deux ensembles de données se comportent l'un par rapport à l'autre, comme si on mesurait l'angle entre deux boussoles pour savoir si elles pointent dans la même direction.

Résumé technique

1. Problématique

La comparaison de jeux de données est une tâche fondamentale en apprentissage automatique, utilisée pour détecter les décalages de distribution (dataset shift), comparer des représentations apprises par différents modèles ou analyser les similarités entre classes. Cependant, les méthodes modernes comparent souvent les données indirectement (via des distances d'embedding ou des performances de modèles entraînés), ce qui peut masquer la raison géométrique profonde pour laquelle deux jeux de données sont similaires ou différents.

L'article propose une approche fondée sur la géométrie : au lieu de traiter les observations comme des vecteurs arbitraires, il s'agit d'analyser la structure linéaire sous-jacente des espaces de caractéristiques (subspaces) définis par les jeux de données. Le défi consiste à quantifier, pour un échantillon donné, dans quelle mesure il est mieux expliqué par le premier jeu de données ($A$) ou le second ($B$), sans nécessiter de correspondances point-à-point entre les échantillons.

2. Méthodologie

L'approche repose sur trois piliers théoriques : la relation de co-span, la décomposition en valeurs singulières généralisée (GSVD) et un score d'angle d'alignement.

A. Primitive de Relation : Le Co-Span

Au lieu de chercher une correspondance directe entre les échantillons, les auteurs définissent la similarité via une relation linéaire dans un espace ambiant commun $\mathbb{R}^d$. Soient deux matrices de données $A \in \mathbb{R}^{d \times p}$ et $B \in \mathbb{R}^{d \times q}$ (où les colonnes sont des observations). La similarité est caractérisée par la contrainte :
$$Ax = By = z$$
où $z$ est un vecteur ambiant partagé, et $x, y$ sont des coefficients. Cette formulation encode la compatibilité géométrique entre les espaces colonnes de $A$ et $B$ sans exiger d'inversibilité ou de correspondance explicite.

B. Cadre Commun via la GSVD

Pour opérationnaliser cette comparaison, l'article utilise la Décomposition en Valeurs Singulières Généralisée (GSVD). Pour deux matrices $A$ et $B$ de même dimension de ligne, la GSVD fournit une décomposition conjointe :
$$A = HCU, \quad B = HSV$$
avec $C^\top C + S^\top S = I$.

• $H$ : Définit un cadre de référence ambiant commun (base partagée).
• $C$ et $S$ : Matrices diagonales (ou bloc-diagonales) qui quantifient la contribution de chaque direction partagée à $A$ et $B$ respectivement.
• La structure de $(C, S)$ permet de distinguer explicitement les directions spécifiques à A (où $C$ domine), spécifiques à B (où $S$ domine) et les directions partagées (où les magnitudes sont comparables).

C. Le Score d'Angle d'Alignement $\theta(z)$

Le cœur de la méthode est la définition d'un score interprétable pour un échantillon $z$. En projetant $z$ sur le cadre commun $H$ (via $c(z) = H^\dagger z$), on calcule les "coûts" de représentation pondérés par la GSVD :
$$a(z) = \|C^\dagger c(z)\|_2, \quad b(z) = \|S^\dagger c(z)\|_2$$
L'angle d'alignement est alors défini comme :
$$\theta(z) = \arctan\left(\frac{a(z)}{b(z)}\right) \in [0, \pi/2]$$
Interprétation :

• $\theta(z) \approx 0$ : L'échantillon est mieux expliqué par $A$ (coût faible pour $A$, élevé pour $B$).
• $\theta(z) \approx \pi/2$ : L'échantillon est mieux expliqué par $B$.
• $\theta(z) \approx \pi/4$ : L'échantillon réside dans une structure partagée (coûts comparables).

D. Interprétation Informationnelle

L'article établit un lien entre cet angle et la géométrie de l'information. L'angle $\theta(z)$ induit une distribution de Bernoulli a posteriori ($P(A|\theta) = \cos^2\theta$, $P(B|\theta) = \sin^2\theta$). La distance entre les distributions d'angles de deux classes est mesurée par la distance de Fisher-Rao, qui quantifie l'ambiguïté postérieure globale entre les deux jeux de données.

3. Contributions Clés

1. Primitive Géométrique : Introduction de la relation de co-span ($Ax=By=z$) comme outil minimal et fondé sur la géométrie pour comparer des jeux de données sans correspondances.
2. Cadre GSVD Interprétable : Utilisation de la GSVD pour créer un système de coordonnées conjointe qui sépare explicitement les directions partagées des directions spécifiques à chaque jeu de données via les facteurs diagonaux $(C, S)$.
3. Score d'Alignement $\theta(z)$ : Dérivation d'un score angulaire unique, interprétable et par-échantillon, servant de diagnostic géométrique pour déterminer l'appartenance relative d'un échantillon à l'un ou l'autre domaine.
4. Visualisation et Classification : Démonstration que ce score permet non seulement une classification binaire simple (basée sur un seuil $\tau = \pi/4$), mais aussi l'extraction de directions extrêmes (vecteurs représentatifs maximisant/minimisant l'angle) qui visualisent la géométrie intrinsèque des classes.

4. Résultats Expérimentaux

Les auteurs valident leur approche sur le jeu de données MNIST (chiffres manuscrits) et Fashion-MNIST.

• Distributions d'Angles : Pour des paires de chiffres géométriquement distincts (ex: "1" vs "5", "0" vs "7"), les histogrammes des angles $\theta(z)$ sont fortement séparés, concentrés respectivement près de 0 et $\pi/2$. Pour des paires similaires (ex: "4" vs "9"), les histogrammes se chevauchent significativement autour de $\pi/4$, reflétant une géométrie partagée plus forte.
• Direction Extrêmes : Les auteurs reconstruisent visuellement les vecteurs $z_{max}$ et $z_{min}$ (les directions maximisant et minimisant l'angle). Ces images révèlent des motifs caractéristiques (ex: traits nets pour le "4", courbes pour le "9") et des structures hybrides pour les directions partagées, offrant une interprétabilité visuelle directe.
• Mesure de Séparation : La distance de Fisher-Rao calculée entre les histogrammes d'angles correspond aux intuitions visuelles : les paires distinctes ont une grande distance, tandis que les paires similaires ont une petite distance.
• Robustesse : La méthode fonctionne également sur Fashion-MNIST (ex: séparation claire entre T-shirts et Sneakers, chevauchement entre Sneakers et Bottines), confirmant que le score reflète les relations géométriques intrinsèques plutôt que des artefacts de paramètres.

5. Signification et Perspectives

Signification :
Cet article propose un changement de paradigme dans la comparaison de données : passer d'une comparaison basée sur les modèles ou les distances statistiques globales à une analyse géométrique locale et interprétable. Le score $\theta(z)$ offre un diagnostic "boîte blanche" qui explique pourquoi un échantillon est classé dans un domaine plutôt qu'un autre, basé sur la structure linéaire des données.

Limites et Travaux Futurs :

• Complexité : Le calcul de la GSVD est en $O(d^3)$, ce qui peut être un goulot d'étranglement pour de très grandes dimensions, bien que cela ne soit effectué qu'en prétraitement.
• Extensions : Les auteurs suggèrent d'étendre le cadre à plus de deux domaines (multi-way GSVD) et d'appliquer la méthode à des espaces de caractéristiques appris (embeddings de réseaux de neurones profonds), où l'hypothèse de sous-espaces linéaires pourrait être encore plus pertinente.
• Stabilité : Une analyse plus approfondie de la sensibilité du score au bruit, à la troncature des valeurs singulières et au prétraitement des données est nécessaire.

En conclusion, cette méthode fournit un outil puissant pour l'audit de données, la détection de biais et la compréhension de la structure latente partagée entre différents domaines, le tout reposant sur une seule métrique géométrique simple : l'angle d'alignement.