Torus embeddings

Cet article propose d'adapter les cadres d'apprentissage profond pour créer des plongements de données avec une topologie toroïdale inhérente, offrant une stabilité d'entraînement comparable aux méthodes sphériques tout en facilitant leur déploiement efficace sur des dispositifs embarqués via une quantisation naturelle.

L'essentiel

🌍 Le Problème : Des Cartes qui ne correspondent pas à la Terre

Imaginez que vous essayez de créer une carte pour un jeu vidéo géant.
Dans le monde de l'intelligence artificielle (IA), on utilise souvent des "cartes" mathématiques appelées espaces d'embedding. Ces cartes permettent à l'ordinateur de comprendre la différence entre un chat et un chien, ou entre deux oiseaux qui chantent.

Pendant longtemps, les scientifiques ont utilisé deux types de cartes principales :

1. Le plan infini (Espace Euclidien) : Comme une feuille de papier sans fin. C'est pratique, mais si vous vous éloignez trop, tout devient flou et l'ordinateur perd le fil.
2. La sphère (Hypersphère) : Comme un ballon de football géant. Tout est contenu à l'intérieur de la peau du ballon. C'est très stable, mais il y a un gros problème : les ordinateurs n'aiment pas vraiment les ballons.

Pourquoi ? Parce que la plupart des ordinateurs (surtout les petits et économes en énergie, comme ceux dans votre montre connectée ou votre téléphone) sont faits pour compter avec des nombres entiers (0, 1, 2, 3...) qui ont une limite. Quand vous ajoutez 1 à un nombre trop grand, il "déborde" et revient à zéro (comme un compteur de kilométrage qui passe de 999 999 à 000 000).

Le problème, c'est que la surface d'une sphère ne correspond pas bien à ce genre de compteur qui tourne en boucle. C'est comme essayer de dessiner un ballon sur un ruban de métrage : ça ne colle pas, et vous gaspillez de la place.

🍩 La Solution : Le "Donut" (Le Tore)

L'auteur de l'article propose une idée géniale : au lieu d'essayer de forcer l'ordinateur à comprendre un ballon, utilisons une forme qui correspond parfaitement à la façon dont les ordinateurs comptent.

Cette forme, c'est le Tore, ou plus simplement, un donut.

Imaginez un jeu vidéo où votre personnage sort de l'écran par la droite et réapparaît instantanément à gauche. C'est un monde en forme de tore.

• Si vous montez tout en haut, vous réapparaissez tout en bas.
• Si vous allez à droite, vous revenez à gauche.

C'est exactement ce que font les nombres entiers des ordinateurs quand ils "débordent" (overflow). L'auteur dit : "Arrêtons de lutter contre la nature de l'ordinateur. Utilisons cette boucle naturelle !"

🛠️ Comment ça marche ? (Les deux méthodes)

Pour créer ces "donuts" numériques, l'auteur teste deux méthodes pour transformer les données :

1. La méthode "Clifford" (Le miroir déformant) : C'est comme prendre une photo et la projeter sur un donut en utilisant des fonctions trigonométriques (sinus et cosinus). C'est joli, mais un peu instable. Parfois, l'ordinateur fait des erreurs de calcul et la carte devient chaotique.
2. La méthode "L2p" (Le découpage en paires) : C'est la méthode gagnante. Imaginez que vous prenez vos données et que vous les regroupez par deux. Pour chaque paire, vous les forcez à rester à une distance fixe du centre, comme si vous les colliez sur un cercle. En faisant cela pour toutes les paires, vous créez un "super-donut" (un hypertore).

Le résultat ? Cette méthode est aussi stable que la méthode du ballon (sphère), mais elle est beaucoup plus facile à utiliser pour les petits ordinateurs.

📉 Pourquoi c'est important ? (L'efficacité et le "TinyML")

L'objectif ultime de ce papier n'est pas juste de faire de la théorie, mais de rendre l'IA plus écologique et accessible.

• Économie d'énergie : Les gros serveurs (comme ceux de Google) sont puissants mais consomment beaucoup d'électricité. Les petits appareils (TinyML) sont partout, mais ils sont limités.
• Compression : Avec le "donut", on peut réduire la taille des données (les quantifier) sans perdre beaucoup d'information. C'est comme compresser un fichier ZIP. On peut passer d'une image haute définition à une image très petite, et l'IA comprendra toujours aussi bien.
• Vitesse : Comme les données correspondent parfaitement aux nombres entiers des processeurs classiques, les calculs sont plus rapides et ne nécessitent pas de matériel spécial coûteux.

🎯 En résumé

Imaginez que vous voulez envoyer un message secret à un ami qui n'a qu'une vieille calculatrice.

• L'ancienne méthode (Sphère) : Vous lui envoyez un message complexe avec des décimales infinies. Sa calculatrice s'embrouille, arrondit mal, et le message devient incompréhensible.
• La nouvelle méthode (Tore/Donut) : Vous utilisez un code simple basé sur des boucles (0 à 255). Sa calculatrice gère ça nativement, sans effort. Le message arrive intact, même si le canal de communication est très lent.

La conclusion de l'auteur : On n'a pas besoin de construire des usines géantes pour chaque nouvelle IA. On peut entraîner des modèles intelligents qui fonctionnent parfaitement sur n'importe quel appareil, du super-ordinateur à la puce électronique de votre réfrigérateur, simplement en changeant la forme géométrique de nos "cartes" mentales pour qu'elles ressemblent à un donut.

Résumé technique

1. Problématique

L'article aborde un problème fondamental de la représentation des données dans l'apprentissage profond (Deep Learning) : le décalage entre la topologie des espaces d'embedding et la représentation numérique native des ordinateurs.

• Contexte actuel : La plupart des embeddings (représentations vectorielles) sont soit non contraints dans un espace euclidien, soit contraints à une hypersphère (via une normalisation $L_2$). Ces espaces sont optimisés pour des calculs en virgule flottante.
• Le conflit : La représentation numérique la plus fondamentale et la plus efficace sur la majorité des architectures matérielles (CPU généralistes, y compris anciens) est l'entier avec débordement (overflow), c'est-à-dire l'arithmétique modulo. Un vecteur d'entiers avec débordement ne correspond ni à un espace euclidien ni à une hypersphère, mais à la topologie d'un tore (ou hypertore).
• Conséquences :
  • L'utilisation d'espaces hypersphériques sur des entiers nécessite des schémas de quantification complexes (codage-décodage) qui gaspillent la capacité de représentation.
  • Il existe un compromis entre l'efficacité des nouveaux matériels spécialisés (GPU, TPU) et l'évolutivité des plateformes existantes (CPU). Pour le « TinyML » et les déploiements à grande échelle sur des ressources limitées, il est crucial d'avoir des représentations qui s'alignent naturellement avec l'arithmétique des entiers.

2. Méthodologie

L'auteur propose d'inverser le problème : au lieu d'adapter les données à la machine, on choisit un espace topologique (le tore) qui correspond naturellement à la représentation machine de base (entiers modulo).

Approches de formation (Training) :
L'étude explore deux stratégies pour projeter des données d'entrée de dimension $D$ vers un espace de tore, en utilisant l'apprentissage par contraste (SupCon) :

1. Projection de Clifford (TorusC) :

   • Transformation directe des coordonnées via des fonctions trigonométriques : $(x_1, ..., x_D) \to \sqrt{\frac{1}{D}} (\sin x_1, \cos x_1, ..., \sin x_D, \cos x_D)$.
   • Cela double la dimension extrinsèque (de $D$ à $2D$) tout en conservant la dimension intrinsèque.
   • Problème : Cette méthode s'est révélée instable lors de l'entraînement, sujette à la divergence des gradients, car les mises à jour très grandes peuvent « envelopper » l'espace plusieurs fois, créant des instabilités numériques.

2. Normalisation $L_2$ par paires (TorusN) :

   • Une projection alternative où chaque paire de dimensions est normalisée individuellement pour avoir une norme $L_2$ constante : $(x_1, x_2) \to \frac{(x_1, x_2)}{\|(x_1, x_2)\|_2}$.
   • Cela conserve la dimension extrinsèque mais réduit la dimension intrinsèque de moitié ($D/2$).
   • Avantage : Cette méthode est beaucoup plus stable à l'entraînement et comparable à la normalisation hypersphérique standard.

Techniques d'entraînement complémentaires :

• Régularisation KoLeo : Utilisée pour promouvoir une distribution uniforme des points dans l'espace (maximisant l'entropie différentielle), ce qui aide à remplir efficacement l'espace de représentation.
• Clipping des gradients : Essentiel, en particulier pour TorusC, pour éviter que les grandes mises à jour ne causent des instabilités dues à la nature cyclique de l'espace.

Inférence et Quantification :

• L'inférence peut se faire soit dans l'espace de Clifford (pour le calcul de distance cosinus), soit dans l'espace « tore plat » (Flat Torus) via la fonction $\arctan2$.
• La représentation « tore plat » permet un calcul de distance extrêmement efficace sur CPU : la distance sur un tore 1D est simplement $\min(a-b, b-a)$, exploitant le débordement naturel des entiers (wrap-around) sans vérification de débordement explicite.
• Deux méthodes de quantification sont testées :
  • Grille (Grid) : Quantification directe sur les valeurs entières (8-bit, 1-bit).
  • Quantification Produit (PQ) : Méthode de compression avancée utilisant des dictionnaires de centroïdes.

3. Contributions Clés

1. Proposition de l'embedding torique : Introduction d'une nouvelle classe d'embeddings dont la topologie correspond intrinsèquement à l'arithmétique des entiers avec débordement, éliminant le besoin de mappings complexes pour la quantification.
2. Deux méthodes d'implémentation : Description de deux projections (Clifford et $L_2$ par paires) intégrables simplement dans les pipelines Deep Learning standards (PyTorch/TensorFlow) en remplacement de la normalisation $L_2$ standard.
3. Analyse de stabilité : Démonstration que la méthode TorusN (normalisation par paires) offre une stabilité d'entraînement comparable à l'hypersphère, tandis que TorusC nécessite des précautions spécifiques (KoLeo, clipping).
4. Étude de la quantification : Preuve que les embeddings toriques conservent une haute fidélité même sous une quantification extrême (jusqu'à 1 bit), et que la quantification par produit (PQ) fonctionne aussi bien pour les tores que pour les hypersphères.
5. Validation multi-domaines : Tests réussis sur des données d'images (CIFAR-10/100) et de données audio (chant d'oiseaux, benchmark BIRB) en contexte de few-shot learning.

4. Résultats Expérimentaux

• Performance sur CIFAR :

  • Sur CIFAR-10, toutes les configurations (Hypersphère, TorusC, TorusN) performent très bien.
  • Sur CIFAR-100, l'hypersphère reste légèrement supérieure, mais TorusN produit des résultats compétitifs. TorusC est instable aux faibles dimensions.
  • La régularisation KoLeo améliore la distribution des données, avec un effet plus marqué sur les représentations toriques.

• Impact de la Quantification :

  • 8-bit : Impact négligeable sur la précision par rapport aux flottants.
  • 1-bit et PQ haute compression : La performance se dégrade, mais les représentations toriques (TorusN) maintiennent souvent une fidélité supérieure ou égale à l'hypersphère dans les scénarios de très faible débit (low-bitrate), notamment aux faibles dimensions.
  • Contre-intuitivement, la quantification par produit (PQ) fonctionne très bien pour les deux topologies, même si le tore plat est théoriquement mieux adapté à la grille.

• Apprentissage Prototypique (Oiseaux) :

  • Sur le benchmark BIRB (classification few-shot de chants d'oiseaux), les deux topologies (Hypersphère et TorusN) donnent des performances similaires.
  • TorusN excelle spécifiquement aux dimensions plus faibles (16D et 32D), surpassant l'hypersphère dans ces configurations, ce qui est crucial pour le déploiement embarqué.

5. Signification et Conclusion

Cet article remet en question le paradigme dominant de l'hypersphère pour les embeddings, en proposant une alternative alignée sur les contraintes matérielles réelles (CPU, mémoire limitée, TinyML).

• Efficacité Matérielle : Les embeddings toriques offrent une voie directe vers une implémentation efficace sur des processeurs standards sans nécessiter de matériel spécialisé. Le calcul de distance devient trivial et rapide grâce à l'arithmétique modulo native.
• Robustesse : La méthode TorusN (normalisation par paires) est identifiée comme la stratégie optimale, offrant un compromis idéal entre stabilité d'entraînement, performance et compatibilité avec la quantification.
• Avenir du ML : Dans un contexte où l'entraînement de modèles fondationnels est coûteux en énergie, la capacité à distiller ces modèles en représentations compactes et efficaces pour l'inférence sur des dispositifs à faible puissance est cruciale. Les embeddings toriques ouvrent la porte à des implémentations « TinyML » extrêmement simples et performantes, réduisant l'empreinte carbone de l'IA déployée.

En résumé, bien que les embeddings toriques ne surpassent pas systématiquement les hypersphères en précision brute, ils offrent des propriétés de quantification supérieures et une adéquation parfaite avec l'architecture des ordinateurs classiques, les rendant idéaux pour les applications embarquées et à grande échelle.