CliffordNet: All You Need is Geometric Algebra

Le papier présente CliffordNet, une architecture de vision par ordinateur fondée sur l'algèbre géométrique qui remplace les modules heuristiques traditionnels par un produit géométrique unifié, permettant d'atteindre des performances de pointe avec une efficacité paramétrique exceptionnelle.

L'essentiel

Imaginez que vous essayez de comprendre un paysage complexe, comme une forêt ou une ville.

Jusqu'à présent, les ordinateurs (les réseaux de neurones) apprenaient à voir en utilisant deux outils séparés :

1. Un outil pour regarder les détails (comme un microscope).
2. Un outil pour regarder l'ensemble (comme un drone).

Ces deux outils étaient souvent lourds, coûteux en énergie et un peu "bêtes" : ils mélangeaient les informations de manière mécanique, comme si on versait de l'eau dans un seau sans vraiment comprendre la forme du seau.

CliffordNet, c'est une nouvelle approche qui dit : "Pourquoi utiliser deux outils lourds quand on peut en utiliser un seul, plus intelligent, basé sur les lois profondes de la géométrie ?"

Voici l'explication simple, avec des analogies :

1. Le Problème : La "Cuisine" Actuelle

Les architectures actuelles (comme les Transformers) sont comme des chefs qui préparent un plat en deux étapes distinctes :

• D'abord, ils mélangent les ingrédients (les pixels) entre eux.
• Ensuite, ils les transforment avec une machine complexe (le "FFN" ou réseau de neurones à plusieurs couches) pour essayer de comprendre ce qu'ils ont fait.
  C'est efficace, mais c'est lourd. C'est comme utiliser un camion pour aller acheter du pain.

2. La Solution : L'Algèbre Géométrique (Le "Super-Contact")

Les auteurs de CliffordNet ont décidé de revenir aux mathématiques pures. Ils utilisent une vieille idée mathématique appelée Algèbre de Clifford.

Imaginez que chaque pixel d'une image n'est pas juste un chiffre, mais un petit objet vivant avec une direction et une énergie.
Quand deux pixels se rencontrent, ils ne font pas juste une moyenne (comme une simple addition). Ils ont une interaction complexe :

• La partie "Cohérence" (Le point) : Ils se disent "On est pareils ? On va bien ensemble ?" (C'est comme une poignée de main).
• La partie "Structure" (Le coin) : Ils se disent "On est différents ? On forment un angle ?" (C'est comme une poignée de main qui tourne et crée une nouvelle forme, un "tourbillon").

L'analogie clé :
Dans les anciens modèles, si vous touchiez un mur, vous saviez juste "c'est dur".
Dans CliffordNet, si vous touchez un mur, vous savez "c'est dur, c'est vertical, et ça tourne vers la gauche". Vous capturez toute la géométrie de la rencontre en une seule fois.

3. La Magie : Plus besoin du "Camion" (Pas de FFN)

Le résultat le plus surprenant de cette découverte ? On n'a plus besoin de la machine lourde (le FFN) pour transformer les informations.

Pourquoi ? Parce que l'interaction géométrique est si riche et si dense qu'elle fait tout le travail elle-même.

• L'analogie : Imaginez que vous vouliez mélanger de la peinture.
  • Ancienne méthode : Vous versez les couleurs dans un bol, puis vous utilisez un gros robot (le FFN) pour les mélanger.
  • Méthode CliffordNet : Vous utilisez un aimant spécial. Dès que les couleurs se touchent, elles s'organisent parfaitement seules. Le robot devient inutile. Vous pouvez le jeter !

C'est pour cela que le modèle s'appelle "CliffordNet" et qu'il est si petit et rapide. Il est "No-FFN" (Sans Réseau de Neurones à Propagation Avant).

4. Comment ça marche sans être lent ? (Le "Rouleau Compresseur")

Calculer toutes ces interactions géométriques pour chaque pixel pourrait être très lent (comme essayer de parler à tout le monde dans une salle de concert en même temps).

Pour éviter cela, CliffordNet utilise une astuce appelée "Sparse Rolling" (Roulement Sparse).

• L'analogie : Imaginez un tapis roulant dans une usine. Au lieu de faire passer chaque objet devant chaque autre objet (ce qui prendrait des heures), on fait passer l'objet devant quelques voisins spécifiques à des moments précis.
• En faisant glisser (rouler) les informations de manière cyclique, le modèle capture l'essentiel de la géométrie du monde entier, mais très rapidement. C'est comme lire un livre en regardant juste les titres des chapitres, mais grâce à une super-intuition, on comprend toute l'histoire.

5. Les Résultats : Petit mais Costaud

Le papier montre que ce modèle, même avec très peu de paramètres (très petit), bat des modèles géants et lourds sur des tâches de reconnaissance d'images.

• L'analogie : C'est comme si un petit vélo électrique (CliffordNet) arrivait à aller aussi vite, voire plus vite, qu'un camion de pompiers (ResNet) pour livrer un colis, tout en consommant beaucoup moins d'essence.

En Résumé

CliffordNet est une révolution parce qu'il arrête de "bricoler" des architectures complexes. Il dit : "La géométrie contient déjà toute l'information nécessaire. Si on respecte les règles mathématiques de la géométrie (l'algèbre de Clifford), le réseau apprendra tout seul, sans avoir besoin de couches de transformation lourdes."*

C'est une approche qui dit : La géométrie, c'est tout ce dont vous avez besoin.

Résumé technique

1. Problématique et Contexte

Les architectures modernes de vision par ordinateur (des CNN aux Transformers) reposent principalement sur un paradigme de conception heuristique : l'empilement de modules distincts pour le mélange spatial (Attention/Convolution) et le mélange de canaux (FFN/MLP). Cette approche, souvent appelée "MetaFormer", présente plusieurs limites :

• Complexité et Redondance : Les Transformers nécessitent des FFN lourds pour compenser la perte d'information structurelle lors de l'attention scalaire (produit scalaire $q \cdot k$).
• Coût Computationsnel : Les mécanismes d'attention globale ont une complexité quadratique $O(N^2)$, tandis que les modèles linéaires (SSM, Mamba) reposent sur une compression d'état récurrente.
• Perte Topologique : La sérialisation des images (aplatissement en 1D) brise la structure topologique intrinsèque des données visuelles 2D.

L'article remet en question la nécessité de ces modules séparés et propose de revenir aux premiers principes mathématiques pour concevoir une architecture de vision fondée sur l'algèbre pure plutôt que sur l'ingénierie empirique.

2. Méthodologie : CliffordNet (CAN)

Le cœur de la proposition est le CliffordNet (ou CAN), un réseau neuronal dont le mécanisme d'interaction est entièrement dérivé de l'Algèbre Géométrique (Clifford).

A. Le Produit Géométrique Unifié

Au lieu de séparer le mélange spatial et de canal, CliffordNet utilise le Produit Géométrique de Clifford entre deux vecteurs $u$ et $v$ :
$$uv = u \cdot v + u \wedge v$$
Ce produit combine deux composantes géométriques essentielles :

1. Produit Intérieur ($u \cdot v$) : Capture la cohérence, la similarité et l'alignement des caractéristiques (composante scalaire).
2. Produit Extérieur ($u \wedge v$) : Capture la variation structurelle, l'orthogonalité et les relations de plan (bivecteur). Cela permet de détecter les bords et les textures là où le contexte local diverge du centre.

Contrairement aux réseaux classiques qui ne utilisent que la composante scalaire (perte d'information géométrique), CliffordNet préserve l'complétude algébrique en traitant simultanément la similarité et la structure.

B. Évolution des Caractéristiques par Contexte Local

L'évolution des caractéristiques est modélisée comme un processus dynamique continu régi par une équation différentielle :
$$\frac{\partial H}{\partial t} = F(H, C(H))$$
Où $C(H)$ est un champ contextuel. Le modèle propose deux modes de contexte :

• Contexte Local (Différentiel) : Utilise un opérateur de Laplacien (approximé par des convolutions $3\times3$ factorisées) pour capturer les variations structurelles locales.
• Contexte Global : Utilise une moyenne globale pour capturer la cohérence sémantique à longue portée.
  Ces contextes sont combinés via une superposition pondérée, permettant au réseau d'apprendre à la fois les détails fins et la structure globale.

C. Interaction Sparse Rolling (Linéarité $O(N)$)

Pour éviter la complexité quadratique du produit tensoriel complet ($D \times D$), les auteurs introduisent une stratégie d'interaction par défilement sparse (Sparse Rolling).

• Au lieu de calculer toutes les paires de canaux, le modèle applique des décalages cycliques (shifts) $s$ sur les vecteurs de caractéristiques.
• Cela permet d'approximer le produit géométrique complet en ne calculant que des diagonales spécifiques de la matrice d'interaction.
• Complexité : Linéaire par rapport à la longueur de la séquence $N$ et à la dimension des canaux $D$ ($O(N \cdot D \cdot |S|)$).
• Topologie 2D Native : Le modèle opère directement sur des grilles de caractéristiques 2D isotropes, évitant le besoin d'aplatissement (flattening) ou de heuristiques de balayage complexes.

D. L'Architecture "No-FFN"

La découverte la plus surprenante est que l'interaction géométrique est si dense et expressive que les Feed-Forward Networks (FFN) deviennent redondants.

• Le produit géométrique agit comme un approximeur de fonction puissant, intégrant la non-linéarité et le mélange de canaux directement dans l'interaction.
• Le modèle utilise un mécanisme de Résidu Géométrique Gated (GGR) pour stabiliser l'entraînement, mais supprime entièrement le bloc MLP traditionnel.

3. Contributions Clés

1. Unification Mathématique : Refonte de l'interaction des caractéristiques visuelles via l'algèbre de Clifford, unifiant le mélange de canaux et le flux géométrique en une seule opération rigoureuse.
2. Émergence du Global depuis le Local : Démonstration qu'une compréhension globale peut émerger d'interactions locales rigoureuses et algébriquement complètes, sans coût quadratique d'attention globale.
3. Fidélité Topologique Native : Opération directe sur des grilles 2D isotropes, préservant la structure intrinsèque des données visuelles sans sérialisation artificielle.
4. Changement de Paradigme d'Efficacité : Preuve qu'un réseau sans FFN ("No-FFN") peut surpasser les architectures lourdes (ResNet, ViT) avec une fraction des paramètres, établissant une nouvelle frontière de Pareto.

4. Résultats Expérimentaux

Les expériences ont été menées sur CIFAR-100 avec un protocole d'entraînement strict et équitable.

• Performance des Petits Modèles :
  • CliffordNet-Nano (1.4M paramètres) : Atteint 77.82% de précision, surpassant ShuffleNetV2 (74.60%) et ResNet-18 (11.2M paramètres, 76.75%) avec 8 fois moins de paramètres.
  • CliffordNet-Lite (2.6M paramètres) : Atteint 79.05%, établissant un nouvel état de l'art (SOTA) pour les modèles "Tiny", surpassant MobileNetV2 (70.90%) et ViT-Tiny (65.87%).
• Efficacité Paramétrique : Les variantes de CliffordNet surpassent les modèles lourds (ResNet-50, DenseNet-121) avec beaucoup moins de paramètres.
• Analyse des Composantes :
  • La combinaison du produit intérieur (énergie) et du produit extérieur (structure) est supérieure à l'utilisation de l'un ou l'autre seul.
  • Le produit extérieur (bivecteur) seul, bien que dépourvu d'information d'énergie explicite, atteint des performances proches du produit intérieur, soulignant l'importance cruciale de la structure géométrique.

5. Signification et Perspectives

Ce travail suggère un changement fondamental dans la conception des réseaux de neurones profonds :

• De l'Ingénierie à l'Algèbre : Il est possible de concevoir des architectures performantes en s'appuyant sur la complétude mathématique plutôt que sur l'empilement de modules heuristiques.
• Réduction de la Complexité : La redondance des FFN dans les architectures modernes est mise en lumière ; une interaction géométrique dense suffit à capturer les dépendances nécessaires.
• Applications Futures : L'architecture, grâce à sa complexité linéaire stricte, est idéale pour les tâches de prédiction dense (segmentation, détection) sur des images haute résolution. Les auteurs envisagent également d'étendre ces principes à la vision 3D, à l'apprentissage multi-modal et à la simulation de dynamiques physiques (géométrie symplectique).

En résumé, CliffordNet démontre que "la géométrie est tout ce dont on a besoin" pour construire des modèles de vision efficaces, robustes et interprétables, en remplaçant l'ingénierie empirique par des principes algébriques rigoureux.