Encoding Robust Topological Signatures for Hyperdimensional Computing

Ce papier propose un cadre de calcul hyperdimensionnel robuste qui encode des primitives topologiques invariantes à la rotation, à la translation et à l'échelle — spécifiquement les formes extérieures et les trous — dans des hypervecteurs, démontrant une résilience nettement améliorée face aux corruptions au niveau des pixels par rapport aux encodeurs basés sur les pixels et aux CNN compacts standards, tout en maintenant une précision sur des données propres compétitive.

L'essentiel

Imaginez que vous essayez d'enseigner à un ordinateur à reconnaître des chiffres écrits à la main, comme les chiffres sur un morceau de papier. Habituellement, les ordinateurs le font en examinant chaque pixel individuel (les minuscules points qui composent l'image) et en mémorisant exactement à quoi ressemble l'encre.

L'article soutient que cette approche « pixel par pixel » est comparable à essayer de reconnaître un ami en se basant sur le motif exact de ses taches de rousseur sur le visage. Si cet ami met un chapeau, bronze ou se tient sous une lumière différente, l'ordinateur se trompe et échoue. C'est trop fragile.

Les auteurs proposent une nouvelle façon d'enseigner à l'ordinateur, appelée Calcul Hyperdimensionnel (HDC). Au lieu d'examiner les pixels, ils enseignent à l'ordinateur à regarder le squelette de la forme et ses trous.

Voici comment leur méthode fonctionne, décomposée en concepts simples :

1. Le « Détective de Formes » contre le « Photographe de Pixels »

Considérez un modèle standard de vision par ordinateur comme un Photographe de Pixels. Il prend une photo de chaque point. Si vous faites pivoter la photo ou ajoutez du bruit (statique) à l'image, le motif des points change complètement, et le photographe se perd.

La méthode des auteurs agit comme un Détective de Formes. Au lieu de compter les points, le détective pose deux questions simples :

• Quelle est l'outline ? (La grande forme du chiffre).
• Où sont les trous ? (Les espaces vides à l'intérieur de la forme, comme le trou au milieu d'un « 8 » ou en haut d'un « 6 »).

En termes mathématiques, ces « trous » sont appelés primitives topologiques. L'aspect intéressant des trous est qu'ils sont tenaces. Si vous étirez, faites pivoter ou rétrécissez un élastique en forme de « 8 », il aura toujours deux trous. Le nombre de trous ne change pas simplement parce que la forme est devenue vacillante.

2. Construire la « Carte d'Identité »

Pour que cela fonctionne, l'ordinateur crée une « carte d'identité » spéciale (un hypervecteur) pour chaque image. Il le fait en trois étapes :

• Étape A : Le Cadre Extérieur (La Silhouette) :
  L'ordinateur examine le contour principal du chiffre. Pour s'assurer qu'il reconnaît le chiffre qu'il soit incliné ou zoomé, il utilise un outil mathématique appelé moments de Zernike.

  • Analogie : Imaginez prendre une photo d'un bâtiment. Si vous faites pivoter l'appareil photo, le bâtiment semble différent. Mais si vous décrivez le bâtiment par sa « distribution de masse » (le poids des murs à gauche par rapport à droite) plutôt que par l'angle exact du toit, vous pouvez toujours le reconnaître même si l'appareil photo tourne. Cette étape crée une description de la forme extérieure qui reste identique même si vous faites pivoter ou redimensionnez l'image.

• Étape B : Les Trous Intérieurs (La Topologie) :
  L'ordinateur repère les trous à l'intérieur du chiffre. Il mesure la forme du trou et sa position par rapport au bord extérieur.

  • Analogie : Pensez à un beignet. Que le beignet soit grand, petit ou incliné, il a toujours un trou au milieu. L'ordinateur apprend à dire : « Ah, cette forme a un trou au centre », indépendamment de la façon dont les bords du beignet sont désordonnés.

• Étape C : Le « Score de Confiance » (Pondérations de Fiabilité) :
  Parfois, l'image est si sale (bruyante) que l'ordinateur ne peut pas bien voir le contour, mais il peut encore voir les trous. D'autres fois, le contour est clair, mais les trous sont flous.
  Le système apprend à attribuer un « score de confiance » à chaque indice. Si l'image est bruyante, il fait davantage confiance au nombre de trous. Si l'image est claire, il fait davantage confiance au contour. Il combine ces indices en une réponse finale.

3. Pourquoi cela compte : Le Test du « Bruit »

Les auteurs ont testé leur « Détective de Formes » contre le « Photographe de Pixels » standard et un modèle d'apprentissage profond moderne (un CNN compact) en utilisant l'ensemble de données MNIST (chiffres écrits à la main).

Ils n'ont pas seulement testé sur des images propres ; ils ont lancé des « corruptions » sur l'ordinateur :

• Bruit Gaussien : Comme ajouter de la neige télévisuelle à l'image.
• Sel et Poivre : Comme saupoudrer des points noirs et blancs sur le papier.
• Zoom : Rendre le chiffre énorme ou minuscule.
• Découpes : Couvrir une partie du chiffre avec un carré noir.

Les Résultats :

• Le Photographe de Pixels (HDC naïf) : Lorsqu'ils ont ajouté du bruit ou fait pivoter les chiffres, sa précision s'est effondrée. Elle est passée de 95 % de précision sur des images propres à moins de 10 % sur des images bruyantes. C'était comme une personne qui ne reconnaît un ami que par son motif exact de taches de rousseur ; si les taches de rousseur sont couvertes par un chapeau, elle ne sait pas qui c'est.
• Le Modèle d'Apprentissage Profond (CNN) : Il était excellent pour reconnaître des chiffres propres (99 % de précision), mais lorsque du bruit a été ajouté, il s'est également effondré, tombant à un niveau proche du hasard (environ 11 %).
• Le Détective de Formes (HDC guidé par la topologie) : Il est resté solide. Même avec un bruit important ou une rotation, il a maintenu une haute précision (environ 70–88 %). Il n'avait pas besoin d'être réentraîné pour gérer le bruit ; sa méthode d'examen des « trous et contours » était naturellement résistante au désordre.

La Conclusion

L'article affirme qu'en enseignant explicitement à l'ordinateur à regarder les caractéristiques topologiques (comme les trous et la forme globale) plutôt que simplement les pixels bruts, nous pouvons construire une IA beaucoup plus robuste et plus fiable.

C'est la différence entre essayer de mémoriser une photographie spécifique d'un visage et mémoriser le fait que « cette personne a deux yeux et un nez ». Si vous prenez une photo d'eux dans le noir ou sous un angle étrange, la photo change, mais le fait qu'ils aient deux yeux et un nez reste vrai. Cette approche rend l'ordinateur robuste face au « bruit » du monde réel.

Résumé technique

Résumé Technique : Encodage de Signatures Topologiques Robustes pour le Calcul Hyperdimensionnel

Énoncé du Problème
Le calcul hyperdimensionnel (HD) offre une alternative économe en ressources aux réseaux de neurones profonds pour l'apprentissage sur périphérie, caractérisée par une inférence rapide basée sur des prototypes et une compatibilité avec les mises à jour en ligne. Cependant, les encodeurs HD standards, qui reposent sur des représentations naïves basées sur les pixels (liaison de vecteurs de position et d'intensité), présentent une fragilité significative. Comme démontré dans l'introduction de l'article, de petits décalages de distribution — tels que la rotation, le bruit gaussien, le bruit sel-et-poivre ou le zoom — peuvent provoquer des chutes catastrophiques de précision (par exemple, de 95 % à 9 % sur MNIST avec du bruit gaussien). Bien que les systèmes d'apprentissage profond aient largement échangé l'efficacité contre la profondeur, ils restent fragiles face aux perturbations structurées. Le problème central abordé est l'absence d'encodage topologique explicite dans les cadres HD, ce qui limite leur robustesse face aux corruptions qui perturbent les statistiques locales des pixels tout en préservant la structure globale de la forme.

Méthodologie
Les auteurs proposent un cadre « HD guidé par la topologie » qui extrait explicitement des primitives topologiques discrètes à partir de formes binarisées et les encode dans des hypervecteurs de haute dimension. La méthodologie se déroule selon les étapes suivantes :

1. Extraction de Primitives : L'image est traitée pour identifier un multi-ensemble de primitives : le contour extérieur (forme globale) et les trous internes (caractéristiques topologiques).
2. Descripteurs Invariants RTS :
   • Forme Extérieure : Le contour extérieur est normalisé à l'aide d'un repère canonique de Rotation, Translation et Échelle (RTS) dérivé de l'axe principal et du centroïde de la forme. La forme est ensuite décrite à l'aide d'un descripteur de Moment de Zernike à Pyramide Spatiale. Cela combine la distribution globale de la masse (via les magnitudes de Zernike pour l'invariance à la rotation) avec la disposition spatiale locale (via une décomposition en grille) pour capturer à la fois la géométrie globale et les détails structurels grossiers. Un Histogramme de Gradients Orientés (HOG) est également inclus pour capturer les structures de bords locales souvent manquées par les moments globaux.
   • Trous : Pour chaque trou détecté, la méthode calcule :
     • Géométrie Relative : Le centroïde du trou est mappé vers des coordonnées canoniques RTS par rapport au repère de la forme extérieure.
     • Forme Intrinsèque : La frontière du trou est rééchantillonnée et paramétrée. Une signature radiale est calculée, et ses magnitudes de Fourier (excluant la composante continue) sont utilisées comme descripteur de forme invariant à la rotation.
3. Encodage HD :
   • Chaque primitive est mappée vers un hypervecteur bipolaire ($\{-1, +1\}^D$) via une projection aléatoire et une liaison de rôle (en utilisant des vecteurs de rôle spécifiques au type).
   • Les ensembles de trous à cardinalité variable sont agrégés à l'aide d'un regroupement invariant par permutation (somme élémentaire suivie d'un seuillage de signe) pour former un seul hypervecteur d'image.
4. Pondération de Fiabilité : Pour éviter de surpondérer des indices peu fiables, le système apprend des poids de fiabilité non négatifs ($\alpha, \beta$) pour les canaux de Zernike et de trous par rapport au canal HOG. Ces poids sont optimisés sur un ensemble de validation en fusionnant les scores de similarité cosinus provenant des canaux de caractéristiques séparés.
5. Classification : La classification est effectuée par apprentissage de prototypes, où les prototypes de classe sont accumulés à partir des données d'entraînement et mis à jour en ligne.

Contributions Clés

• Encodage Topologique Explicite : L'article introduit la première intégration explicite de primitives topologiques discrètes (spécifiquement les trous et leur géométrie relative) dans le paradigme du calcul HD.
• Descripteurs Stables RTS : Il construit des descripteurs mathématiquement invariants à la rotation, à la translation et à l'échelle par construction, en utilisant des moments de Zernike pour la forme globale et des descripteurs de Fourier pour les formes de trous.
• Robustesse par la Topologie : Le travail démontre que les caractéristiques topologiques (nombre de trous, connectivité, placement relatif) fournissent des informations complémentaires aux caractéristiques basées sur les pixels, en particulier lorsque l'apparence locale est corrompue.
• Apprentissage en Léger et en Ligne : Le cadre conserve l'avantage principal du HD, à savoir un entraînement en ligne léger, permettant aux prototypes de s'adapter sans réentraînement complet.

Résultats
Des expériences ont été menées sur les ensembles de données MNIST et EMNIST sous des corruptions contrôlées (rotation, bruit gaussien, bruit sel-et-poivre, découpage et zoom).

• Vs. HD Naïf : Le HD guidé par la topologie surpasse significativement la base de référence HD naïve basée sur les pixels pour tous les types de corruption. Par exemple, sous un bruit gaussien ($\sigma=0.1$), la précision du HD naïf chute à environ 7 %, tandis que la méthode proposée maintient environ 83 % (avant l'entraînement en ligne) et environ 89 % (après l'entraînement).
• Vs. CNN Compact : Lorsqu'il est comparé à un CNN compact entraîné sur des données propres :
  • Données Propres : Le CNN atteint une précision plus élevée sur les ensembles de données propres (par exemple, 99,1 % sur MNIST contre 97,68 % pour le HD guidé par la topologie).
  • Données Corrompues : Le HD guidé par la topologie démontre une robustesse nettement supérieure. Sous un bruit gaussien ($\sigma=0.1$), le CNN s'effondre vers une performance proche du hasard (~11 %), alors que le HD guidé par la topologie conserve une précision d'environ 89 %. Des tendances similaires sont observées pour le bruit sel-et-poivre et les occlusions par découpage.
  • EMNIST : Sur l'ensemble de données plus complexe des lettres EMNIST, le HD guidé par la topologie surpasse largement le CNN dans des conditions de bruit (par exemple, 57,7 % contre 3,84 % sous un bruit gaussien avant l'entraînement).

Signification et Revendications
L'article revendique que la structure topologique explicite est une voie pratique pour atteindre des représentations HD robustes. La signification réside dans la démonstration que le calcul HD peut atteindre une précision compétitive sur des données propres tout en offrant une « robustesse nettement plus forte » face aux corruptions au niveau des pixels par rapport aux modèles d'apprentissage profond, sans nécessiter d'augmentation de données spécifique aux corruptions. Les auteurs soutiennent qu'en exploitant les propriétés d'invariance inhérentes à la topologie (homéomorphisme), le système peut maintenir la séparabilité des classes même lorsque les statistiques locales des pixels sont sévèrement dégradées.

Limites
Les auteurs reconnaissent que la méthode repose sur la stabilité des étapes initiales de binarisation et d'extraction de primitives. Un bruit sévère ou un faible contraste peut entraîner des frontières fragmentées ou des trous spuriés, ce qui affecte négativement la précision en aval. De plus, les garanties théoriques couvrent les transformations de similarité (RTS) mais ne s'étendent pas aux déformations non rigides, aux effets de perspective ou aux décalages de domaine lourds impliquant un encombrement d'arrière-plan. L'étape de prétraitement (segmentation et extraction de contour) est également notée comme un goulot d'étranglement computationnel potentiel selon l'implémentation.