Torus embeddings

Questo articolo dimostra che è possibile adattare i framework di deep learning per creare embedding con topologia toroidale intrinseca, offrendo un'alternativa stabile e performante agli embedding ipersferici che facilita l'implementazione efficiente su dispositivi embedded (TinyML) grazie alla loro rappresentazione naturale in interi con overflow.

L'essenziale

Il Problema: Mappe che non si adattano alla scatola

Immagina di dover archiviare milioni di foto o registrazioni audio in un enorme magazzino digitale. Per farlo velocemente, i computer trasformano ogni foto o suono in una lista di numeri (una "vettore").

Finora, i ricercatori hanno usato due modi principali per organizzare questi numeri:

1. Lo spazio Euclideo: Come una griglia infinita in tutte le direzioni.
2. La Iper-sfera: Come una palla perfetta e chiusa.

Il problema è che i computer "reali" (specialmente quelli piccoli ed economici come quelli nei tuoi smartphone o nei dispositivi IoT) non amano le palle perfette o gli spazi infiniti. I loro mattoncini fondamentali sono i numeri interi (come 0, 1, 2... fino a 255) che, quando superano il limite, "si resettano" e ricominciano da capo (come un contachilometri che passa da 999 a 000).

Se provi a forzare una "palla" (iper-sfera) dentro una scatola di numeri che si resettano, sprechi spazio e perdi precisione. È come cercare di mettere una sfera di vetro in una scatola di cartone: ci sono spazi vuoti inutilizzati e la sfera potrebbe rompersi.

La Soluzione: Il Toro (o la Ciambella)

L'autore propone di cambiare la forma della nostra "palla". Invece di una sfera, usiamo un Toro (o Iper-toro).
Immagina un tubo di gomma (come una ciambella o un anello di gomma) che si ripiega su se stesso.

• L'analogia del videogioco: Pensa a un vecchio gioco come Pac-Man o Asteroids. Se Pac-Man esce dal lato destro dello schermo, riappare magicamente sul lato sinistro. Se esce dal basso, riappare dall'alto.
• Perché è perfetto per i computer: Questo comportamento "senza bordi" è esattamente quello che fanno i numeri interi dei computer quando "traboccano" (overflow). Non c'è bisogno di calcoli complicati per gestire i bordi: il computer lo fa già di default!

Come funziona la magia?

Il paper descrive due modi per trasformare i dati in questa forma a ciambella:

1. Il metodo "Clifford" (TorusC): È un po' complicato e instabile. Immagina di provare a piegare un foglio di carta in una ciambella usando un metodo che a volte fa strappare la carta. Funziona, ma è difficile da gestire.
2. Il metodo "Normalizzazione a coppie" (TorusN): Questo è il vincitore. Immagina di prendere due numeri alla volta e trasformarli in un angolo su un cerchio. È come se prendessi ogni coppia di coordinate e le "arrotolassi" in un anello.
   • Il risultato: I dati si distribuiscono perfettamente sulla ciambella, sfruttando ogni singolo numero disponibile nel computer senza sprecarne nessuno.

I Vantaggi Pratici

Perché dovremmo preoccuparci di una ciambella invece di una sfera?

1. Efficienza estrema (TinyML): I computer piccoli (quelli che usi per la domotica o i sensori) sono molto bravi a fare calcoli su numeri interi che si resettano (overflow). Usare il toro significa che questi computer possono fare ricerche veloci (trovare foto simili o suoni simili) senza bisogno di potenti processori costosi. È come passare da un'auto da corsa complessa a una bicicletta robusta che va ovunque.
2. Compressione: Poiché la forma si adatta perfettamente ai numeri interi, possiamo comprimere i dati molto di più senza perdere qualità. È come impacchettare i vestiti in una valigia: se la valigia è fatta della stessa forma dei vestiti, ci sta tutto e non c'è aria sprecata.
3. Stabilità: Il metodo "TorusN" si comporta quasi esattamente come le moderne tecniche a sfera, ma è più facile da implementare nei computer di tutti i giorni.

Cosa dicono gli esperimenti?

L'autore ha fatto dei test:

• Su immagini (CIFAR): Il metodo a ciambella ha funzionato quasi quanto quello a sfera, ma è stato più stabile e facile da addestrare.
• Su suoni di uccelli: Anche qui, ha funzionato benissimo, permettendo di riconoscere gli uccelli anche con pochissimi esempi (apprendimento "few-shot").
• Compressione: Quando i dati sono stati compressi al minimo (usando solo 1 o 8 bit), il toro ha mantenuto una qualità sorprendentemente alta, dimostrando di essere il "re" della compressione efficiente.

In sintesi

Immagina che l'Intelligenza Artificiale stia cercando di costruire un archivio universale. Fino ad oggi, ha usato forme geometriche complesse (sfere) che richiedono computer potenti e costosi per essere gestite.

Dan Stowell ci dice: "E se invece usassimo la forma che i computer hanno già, quella che si riavvolge su se stessa come un nastro di Möbius o una ciambella?"

Risultato: otteniamo un'IA che è più leggera, più veloce e che può girare su dispositivi economici (come quelli che potresti avere in casa), senza perdere in intelligenza. È un passo verso un'IA più sostenibile e accessibile a tutti.

Sommario tecnico

Titolo: Torus Embeddings (Embedding su Toro)

Autore: Dan Stowell (Tilburg University & Naturalis Biodiversity Centre)

---

1. Il Problema: Disallineamento Topologico e Rappresentazione Numerica

Il paper affronta un problema fondamentale nell'apprendimento profondo (Deep Learning - DL): la discrepanza tra lo spazio topologico in cui vengono apprese le rappresentazioni (embedding) e il formato numerico nativo dei computer.

• Stato dell'arte: Le rappresentazioni moderne sono spesso vettori di valori continui nello spazio euclideo illimitato o vincolati a una ipersfera (tramite normalizzazione L2). Queste sono ideali per la ricerca basata sulla distanza e per modelli foundation.
• Il limite hardware: La rappresentazione numerica più efficiente e diffusa nei computer (specialmente CPU generiche) è l'intero con overflow (aritmetica modulo). Un vettore di interi con overflow non corrisponde a uno spazio euclideo o sferico, ma alla topologia di un toro (iper-toro).
• Conseguenze: L'uso di ipersfere su hardware a interi richiede schemi di quantizzazione complessi (es. codifica-decodifica) o porta a uno spreco di capacità rappresentativa. Esiste un trade-off tra l'efficienza di hardware specializzato (GPU/TPU) e la scalabilità su piattaforme esistenti e diffuse (CPU), dove gli interi a 8-bit con overflow sono lo standard.

L'obiettivo è quindi creare embedding che abbiano una topologia toroidale intrinseca, allineandosi nativamente con l'aritmetica degli interi dei computer per abilitare implementazioni "TinyML" estremamente efficienti.

---

2. Metodologia

L'autore propone di adattare i framework di deep learning standard per generare rappresentazioni con topologia toroidale, utilizzando due strategie di proiezione diverse per mappare i dati su un ipertoro.

A. Proiezioni Geometriche

Partendo da uno spazio di input non vincolato di dimensione $D$, vengono proposte due proiezioni verso lo spazio del toro:

1. Proiezione di Clifford (TorusC): Estende la mappatura classica $(x, y) \to (\sin x, \cos x, \sin y, \cos y)$. Raddoppia la dimensione estrinseca (da $D$ a $2D$) mantenendo la dimensione intrinseca. Tutti i punti giacciono su un'ipersfera, ma con vincoli aggiuntivi (norma L2 fissa per ogni coppia di dimensioni).
2. Proiezione Normalizzata L2 Pairwise (TorusN): Applica una normalizzazione L2 a coppie di dimensioni $(x_{2i-1}, x_{2i})$. Mappa i dati su un ipertoro mantenendo la dimensione estrinseca $D$, ma riducendo la dimensione intrinseca a $D/2$. Questa è l'approccio preferito per la sua efficienza.

B. Addestramento e Stabilità

• Funzione di Loss: Vengono utilizzati metodi di apprendimento contrastivo (SupCon) basati sulla distanza, poiché le funzioni di attivazione standard (sigmoid/softmax) non sono ben definite su un toro.
• Distanza: Durante l'addestramento, si utilizza la distanza coseno nello spazio di Clifford (che è un sottospazio dell'ipersfera) per evitare la complessità combinatoria del calcolo della geodetica su un toro piatto.
• Stabilizzazione:
  • Regolarizzazione KoLeo: Utilizzata per promuovere una distribuzione uniforme dei dati nello spazio, massimizzando l'uso della capacità rappresentativa.
  • Gradient Clipping: Essenziale, specialmente per TorusC, per prevenire l'instabilità causata da aggiornamenti di gradino molto grandi che, a causa della topologia circolare, potrebbero "avvolgersi" attorno allo spazio più volte, causando divergenze.

C. Inferenza e Quantizzazione

• Conversione: Dopo l'addestramento in spazio Clifford (float), le rappresentazioni possono essere convertite in uno spazio toroidale piatto (flat torus) usando arctan2.
• Efficienza: In formato intero (es. uint8), la distanza minima su un toro può essere calcolata con semplici operazioni di sottrazione che sfruttano l'overflow (wrap-around), eliminando la necessità di controlli di confine complessi.
• Quantizzazione: Si testano sia la quantizzazione a griglia (n-bit) che la Product Quantization (PQ). Il toro piatto è naturalmente adatto alla quantizzazione a griglia.

---

3. Contributi Chiave

1. Integrazione Semplice: Dimostrazione che i framework DL standard possono essere adattati con modifiche minime per creare embedding toroidali.
2. Stabilità del Metodo: Identificazione che la strategia basata sulla normalizzazione pairwise (TorusN) è più stabile e performante rispetto alla proiezione di Clifford (TorusC), specialmente a basse dimensionalità.
3. Analisi della Quantizzazione: Dimostrazione che gli embedding toroidali mantengono un'elevata fedeltà anche sotto quantizzazione estrema (fino a 1-bit), offrendo un percorso diretto per l'implementazione su hardware a risorse limitate.
4. Osservazioni Teoriche: Fornisce insight sul perché le ipersfere sono stabili da addestrare (la normalizzazione L2 agisce come un limitatore naturale degli aggiornamenti di gradiente) e come questo meccanismo possa essere replicato o meno nelle proiezioni toroidali.

---

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre dataset: CIFAR-10/100 (immagini) e BIRB (audio di canti di uccelli, few-shot learning).

• Prestazioni in Floating-Point:

  • Le rappresentazioni toroidali (specialmente TorusN) sono comparabili alle ipersfere standard in termini di accuratezza nella classificazione e nella ricerca per vicinanza (Precision@1).
  • TorusC ha mostrato instabilità a basse dimensionalità senza un forte clipping dei gradienti.
  • La regolarizzazione KoLeo ha migliorato la distribuzione uniforme dei dati, ma ha un effetto dipendente dalla dimensionalità.

• Prestazioni dopo Quantizzazione:

  • 8-bit: L'impatto sulle prestazioni è minimo per entrambi i tipi di embedding.
  • Bassi Bitrate (1-bit, PQ): In scenari di compressione estrema e bassa dimensionalità, TorusN ha spesso superato le ipersfere, sebbene non in tutti i casi.
  • Product Quantization (PQ): Ha funzionato eccezionalmente bene sia per ipersfere che per tori, anche a bitrate molto bassi, smentendo l'ipotesi che il toro piatto fosse necessariamente superiore alla sfera per la quantizzazione a griglia in tutti i contesti. Tuttavia, il toro offre un vantaggio strutturale per l'implementazione hardware.

• Few-Shot Learning (Audio):

  • Su dati audio complessi, le rappresentazioni a dimensionalità più bassa (es. 16D o 32D) hanno mostrato migliori capacità di generalizzazione rispetto a quelle ad alta dimensionalità.
  • TorusN ha ottenuto risultati migliori in configurazioni a bassa dimensionalità (16D e 32D) rispetto all'ipersfera.

---

5. Significato e Implicazioni

Il lavoro di Stowell è significativo per diversi motivi:

1. Efficienza Hardware e Sostenibilità: Propone un approccio che massimizza l'efficienza su hardware generico (CPU) sfruttando l'aritmetica nativa degli interi. Questo è cruciale per il "Permacomputing" e per ridurre l'impronta di carbonio dell'IA, permettendo di eseguire modelli complessi su dispositivi embedded a basso consumo senza hardware specializzato costoso.
2. Semplicità di Implementazione: Offre una via d'uscita dalla complessità delle tecniche di quantizzazione sferica, permettendo di ottenere embedding ad alta fedeltà direttamente mappabili su interi a 8-bit.
3. Paradigma Futuro: Supporta la visione di modelli foundation addestrati una volta e poi distribuiti come rappresentazioni compatte per l'inferenza su larga scala (TinyML).
4. Scoperta Geometrica: Riconosce che gli interi modulo $N$ definiscono naturalmente uno spazio toroidale, suggerendo che l'uso di questa topologia non è solo un trucco di ottimizzazione, ma un allineamento fondamentale con l'architettura dei calcolatori.

In conclusione, sebbene gli embedding toroidali non superino sistematicamente quelli sferici in termini di pura accuratezza in floating-point, offrono un vantaggio decisivo nell'efficienza di implementazione e nella robustezza alla quantizzazione, rendendoli candidati ideali per il futuro dell'IA distribuita ed efficiente.