Encoding Robust Topological Signatures for Hyperdimensional Computing

Questo articolo propone un framework robusto di calcolo iperdimensionale che codifica primitive topologiche invarianti per rotazione, traslazione e scala — in particolare forme esterne e fori — in ipervettori, dimostrando una resilienza significativamente migliorata alle corruzioni a livello di pixel rispetto ai codificatori basati su pixel standard e alle CNN compatte, pur mantenendo un'accuratezza su dati puliti competitiva.

L'essenziale

Immagina di dover insegnare a un computer a riconoscere numeri scritti a mano, come le cifre su un foglio di carta. Di solito, i computer lo fanno esaminando ogni singolo pixel (i minuscoli punti che compongono l'immagine) e memorizzando esattamente come appare l'inchiostro.

Il documento sostiene che questo approccio "pixel per pixel" è come cercare di riconoscere un amico osservando il preciso schema delle lentiggini sul suo viso. Se quell'amico indossa un cappello, si abbronzava o si trova in una luce diversa, il computer si confonde e fallisce. È troppo fragile.

Gli autori propongono un nuovo modo per insegnare al computer, chiamato Computazione Iperdimensionale (HDC). Invece di guardare i pixel, insegnano al computer a osservare lo scheletro della forma e i suoi buchi.

Ecco come funziona il loro metodo, scomposto in concetti semplici:

1. Il "Detective delle Forme" contro il "Fotografo dei Pixel"

Pensa a un modello standard di visione artificiale come a un Fotografo dei Pixel. Scatta una foto di ogni punto. Se ruoti la foto o aggiungi un po' di disturbo statico (rumore) all'immagine, il modello dei punti cambia completamente e il fotografo si perde.

Il metodo degli autori agisce come un Detective delle Forme. Invece di contare i punti, il detective si pone due domande semplici:

• Qual è il contorno? (La grande forma del numero).
• Dove sono i buchi? (Gli spazi vuoti all'interno della forma, come il buco al centro di un "8" o in alto in un "6").

In termini matematici, questi "buchi" sono chiamati primitivi topologici. La cosa interessante dei buchi è che sono ostinati. Se allunghi, ruoti o rimpicciolisci un elastico a forma di "8", avrà comunque due buchi. Il numero di buchi non cambia solo perché la forma è diventata instabile.

2. Costruire la "Carta d'Identità"

Per far funzionare questo sistema, il computer costruisce una speciale "carta d'identità" (un ipervettore) per ogni immagine. Lo fa in tre passaggi:

• Passaggio A: Il Telaio Esterno (La Sagoma):
  Il computer esamina il contorno principale del numero. Per assicurarsi di riconoscere il numero sia che sia inclinato sia che sia ingrandito, utilizza uno strumento matematico chiamato momenti di Zernike.

  • Analogia: Immagina di scattare una foto di un edificio. Se ruoti la fotocamera, l'edificio appare diverso. Ma se descrivi l'edificio in base alla sua "distribuzione di massa" (quanto sono pesanti i muri a sinistra rispetto a destra) piuttosto che all'angolo esatto del tetto, puoi ancora riconoscerlo anche se la fotocamera gira. Questo passaggio crea una descrizione della forma esterna che rimane invariata anche se ruoti o ridimensioni l'immagine.

• Passaggio B: I Buchi Interni (La Topologia):
  Il computer individua i buchi all'interno del numero. Misura la forma del buco e la sua posizione rispetto al bordo esterno.

  • Analogia: Pensa a una ciambella. Che la ciambella sia grande, piccola o inclinata, avrà sempre un buco al centro. Il computer impara a dire: "Ah, questa forma ha un buco al centro", indipendentemente da quanto siano disordinati i bordi della ciambella.

• Passaggio C: Il "Punteggio di Fiducia" (Pesi di Affidabilità):
  A volte l'immagine è così sporca (rumorosa) che il computer non riesce a vedere bene il contorno, ma può ancora vedere i buchi. Altre volte, il contorno è chiaro, ma i buchi sono sfocati.
  Il sistema impara ad assegnare un "punteggio di fiducia" a ogni indizio. Se l'immagine è rumorosa, si fida di più del conteggio dei buchi. Se l'immagine è chiara, si fida di più del contorno. Combina questi indizi in un'unica risposta finale.

3. Perché è Importante: Il Test del "Rumore"

Gli autori hanno testato il loro "Detective delle Forme" contro il classico "Fotografo dei Pixel" e un moderno modello di Deep Learning (una CNN Compatta) utilizzando il dataset MNIST (numeri scritti a mano).

Non hanno testato solo su immagini pulite; hanno lanciato "corruzioni" contro il computer:

• Rumore Gaussiano: Come aggiungere disturbo statico televisivo all'immagine.
• Sale e Pepe: Come spargere puntini neri e bianchi sul foglio.
• Zoom: Rendere il numero enorme o minuscolo.
• Ritagli: Coprire parte del numero con un quadrato nero.

I Risultati:

• Il Fotografo dei Pixel (HDC Ingenuo): Quando hanno aggiunto rumore o ruotato i numeri, la sua accuratezza è crollata. È passata dal 95% di accuratezza sulle immagini pulite a meno del 10% su quelle rumorose. Era come una persona che riconosce un amico solo dal preciso schema delle lentiggini; se le lentiggini sono coperte da un cappello, non sa chi sia.
• Il Modello di Deep Learning (CNN): Era eccellente nel riconoscere numeri puliti (99% di accuratezza), ma quando veniva aggiunto rumore, crollava anch'esso, scendendo a un livello vicino al caso (circa l'11%).
• Il Detective delle Forme (HDC guidato dalla Topologia): È rimasto forte. Anche con molto rumore o rotazione, ha mantenuto un'alta accuratezza (circa 70–88%). Non aveva bisogno di essere riaddestrato per gestire il rumore; il suo metodo di guardare "buchi e contorni" era naturalmente resistente al disordine.

La Conclusione

Il documento afferma che insegnando esplicitamente al computer a osservare le caratteristiche topologiche (come i buchi e la forma complessiva) invece dei soli pixel grezzi, possiamo costruire un'IA molto più robusta e affidabile.

È la differenza tra cercare di memorizzare una specifica fotografia di un viso rispetto a memorizzare il fatto che "questa persona ha due occhi e un naso". Se scatti una foto di loro al buio o da un angolo strano, la foto cambia, ma il fatto che abbiano due occhi e un naso rimane vero. Questo approccio rende il computer robusto contro il "rumore" del mondo reale.

Sommario tecnico

Riepilogo Tecnico: Codifica di Firme Topologiche Robuste per il Calcolo Iperdimensionale

Enunciato del Problema
Il calcolo iperdimensionale (HD) offre un'alternativa efficiente in termini di risorse alle reti neurali profonde per l'apprendimento su dispositivi periferici (edge), caratterizzato da un'inferenza rapida basata su prototipi e compatibilità con aggiornamenti online. Tuttavia, i codificatori HD standard, che si basano su rappresentazioni naive basate sui pixel (legando vettori di posizione e intensità), mostrano una fragilità significativa. Come dimostrato nell'introduzione del documento, piccoli spostamenti di distribuzione—come rotazione, rumore gaussiano, rumore sale e pepe o zoom—possono causare crolli catastrofici dell'accuratezza (ad esempio, dal 95% al 9% su MNIST con rumore gaussiano). Mentre i sistemi di deep learning hanno in gran parte scambiato l'efficienza con la profondità, rimangono fragili di fronte a perturbazioni strutturate. Il problema centrale affrontato è la mancanza di una codifica topologica esplicita nei framework HD, che ne limita la robustezza contro corruzioni che disturbano le statistiche locali dei pixel preservando la struttura della forma globale.

Metodologia
Gli autori propongono un framework "Topology-guided HD" che estrae esplicitamente primitive topologiche discrete da forme binarizzate e le codifica in ipervettori ad alta dimensionalità. La metodologia procede attraverso le seguenti fasi:

1. Estrazione delle Primitive: L'immagine viene elaborata per identificare un multiset di primitive: il contorno esterno (forma globale) e i buchi interni (caratteristiche topologiche).
2. Descrittori Invarianti RTS:
   • Forma Esterna: Il contorno esterno viene normalizzato utilizzando un quadro canonico di Rotazione, Traslazione e Scala (RTS) derivato dall'asse principale e dal baricentro della forma. La forma è quindi descritta utilizzando un descrittore a Momenti di Zernike a Piramide Spaziale. Questo combina la distribuzione globale della massa (tramite le magnitudini di Zernike per l'invarianza alla rotazione) con la disposizione spaziale locale (tramite una decomposizione a griglia) per catturare sia la geometria globale che i dettagli strutturali grossolani. Viene inoltre incluso un Histogram of Oriented Gradients (HOG) per catturare le strutture dei bordi locali spesso trascurate dai momenti globali.
   • Buchi: Per ogni buco rilevato, il metodo calcola:
     • Geometria Relativa: Il baricentro del buco viene mappato in coordinate canoniche RTS rispetto al quadro della forma esterna.
     • Forma Intrinseca: Il confine del buco viene risampelato e parametrizzato. Viene calcolata una firma radiale e le sue magnitudini di Fourier (escludendo la componente DC) sono utilizzate come descrittore di forma invariante alla rotazione.
3. Codifica HD:
   • Ogni primitiva viene mappata in un ipervettore bipolare ($\{-1, +1\}^D$) tramite proiezione randomizzata e binding di ruoli (utilizzando vettori di ruolo specifici per il tipo).
   • Insiemi di buchi a cardinalità variabile vengono aggregati utilizzando un'associazione invariante per permutazione (somma elemento per elemento seguita da una soglia di segno) per formare un singolo ipervettore dell'immagine.
4. Ponderazione dell'Affidabilità: Per evitare di sovrappesare segnali inaffidabili, il sistema impara pesi di affidabilità non negativi ($\alpha, \beta$) per i canali di Zernike e buchi rispetto al canale HOG. Questi pesi sono ottimizzati su un set di validazione fondendo i punteggi di similarità coseno dai singoli canali di caratteristiche.
5. Classificazione: La classificazione viene eseguita tramite apprendimento dei prototipi, dove i prototipi di classe sono accumulati dai dati di addestramento e aggiornati online.

Contributi Chiave

• Codifica Topologica Esplicita: Il documento introduce la prima integrazione esplicita di primitive topologiche discrete (in particolare buchi e la loro geometria relativa) nel paradigma del calcolo HD.
• Descrittori RTS-Stabili: Costruisce descrittori che sono matematicamente invarianti alla rotazione, traslazione e scala per costruzione, utilizzando momenti di Zernike per la forma globale e descrittori di Fourier per le forme dei buchi.
• Robustezza tramite Topologia: Il lavoro dimostra che le caratteristiche topologiche (numero di buchi, connettività, posizionamento relativo) forniscono informazioni complementari alle caratteristiche basate sui pixel, in particolare quando l'aspetto locale è corrotto.
• Apprendimento Online Leggero: Il framework mantiene il vantaggio fondamentale dell'HD di un addestramento online leggero, permettendo ai prototipi di adattarsi senza riaddestramento da zero.

Risultati
Gli esperimenti sono stati condotti sui dataset MNIST ed EMNIST sotto corruzioni controllate (rotazione, rumore gaussiano, rumore sale e pepe, cutout e zoom).

• Vs. HD Naive: L'HD guidato dalla topologia supera significativamente la baseline HD naive basata sui pixel su tutti i tipi di corruzione. Ad esempio, sotto rumore gaussiano ($\sigma=0.1$), l'accuratezza dell'HD naive scende a circa il 7%, mentre il metodo proposto mantiene circa l'83% (prima dell'addestramento online) e circa l'89% (dopo l'addestramento).
• Vs. CNN Compatta: Quando confrontato con una CNN compatta addestrata su dati puliti:
  • Dati Puliti: La CNN raggiunge un'accuratezza superiore su dataset puliti (ad esempio, il 99,1% su MNIST contro il 97,68% per l'HD guidato dalla topologia).
  • Dati Corrotti: L'HD guidato dalla topologia dimostra una robustezza marcatamente superiore. Sotto rumore gaussiano ($\sigma=0.1$), la CNN collassa a prestazioni vicine al caso (~11%), mentre l'HD guidato dalla topologia mantiene un'accuratezza di circa l'89%. Tendenze simili sono osservate per il rumore sale e pepe e le occlusioni cutout.
  • EMNIST: Sul dataset più complesso delle lettere EMNIST, l'HD guidato dalla topologia supera notevolmente la CNN in condizioni di rumore (ad esempio, 57,7% contro 3,84% sotto rumore gaussiano prima dell'addestramento).

Significato e Affermazioni
Il documento afferma che la struttura topologica esplicita è una via pratica per ottenere rappresentazioni HD robuste. Il significato risiede nel dimostrare che il calcolo HD può raggiungere un'accuratezza competitiva su dati puliti offrendo al contempo una "robustezza marcatamente superiore" alle corruzioni a livello di pixel rispetto ai modelli di deep learning, senza richiedere aumentazione dei dati specifica per la corruzione. Gli autori sostengono che, sfruttando le proprietà di invarianza intrinseche alla topologia (omeomorfismo), il sistema può mantenere la separabilità delle classi anche quando le statistiche locali dei pixel sono gravemente degradate.

Limitazioni
Gli autori riconoscono che il metodo dipende dalla stabilità delle fasi iniziali di binarizzazione ed estrazione delle primitive. Rumore severo o basso contrasto possono portare a confini frammentati o buchi spurii, il che impatta negativamente l'accuratezza a valle. Inoltre, le garanzie teoriche coprono le trasformazioni di similarità (RTS) ma non si estendono a deformazioni non rigide, effetti di prospettiva o forti spostamenti di dominio che coinvolgono ingombro di sfondo. La fase di pre-elaborazione (segmentazione ed estrazione del contorno) è inoltre indicata come un potenziale collo di bottiglia computazionale a seconda dell'implementazione.