Robust Hyperbolic Learning with Curvature-Aware Optimization

Riassunto Tecnico: Apprendimento Iperbolico Robusto con Ottimizzazione Consapevole della Curvatura

1. Il Problema (Problem Statement)

L'apprendimento in spazi iperbolici è diventato fondamentale per modellare dati gerarchici (come grafi o alberi) grazie alla capacità della curvatura negativa di rappresentare distanze che crescono esponenzialmente. Tuttavia, l'integrazione di queste geometrie nel Deep Learning presenta tre sfide critiche:

• Instabilità nell'apprendimento della curvatura: Quando la curvatura ($K$) viene trattata come un parametro apprendibile, gli aggiornamenti del gradiente creano inconsistenze geometriche. Se la curvatura cambia ma i parametri iperbolici rimangono ancorati alla vecchia geometria, le operazioni matematiche (come il calcolo della distanza) possono produrre valori non definiti (NaN), causando il crash del modello.
• Overfitting e Generalizzazione: L'elevata capacità rappresentativa degli spazi iperbolici li rende estremamente suscettibili all'overfitting, specialmente in scenari con scarsità di dati.
• Complessità Computazionale: Le operazioni in spazio di Lorentz (iperboloide) sono costose e mancano di implementazioni CUDA ottimizzate, rendendo l'addestramento lento e dispendioso in termini di memoria.

2. Metodologia (Methodology)

Per risolvere queste criticità, gli autori propongono un framework integrato basato su tre pilastri:

A. Schema di Ottimizzazione Consapevole della Curvatura (Curvature-Aware Optimization):
Invece di aggiornare tutti i parametri simultaneamente, gli autori introducono un aggiornamento "scaglionato" (staggered). Quando la curvatura cambia da $K_{t-1}$ a $K_t$, i parametri iperbolici vengono mappati utilizzando una funzione basata sullo spazio tangente all'origine. Questo metodo preserva le distanze relative e gli angoli tra i punti, garantendo che i parametri rimangano matematicamente coerenti con la nuova geometria del manifold senza causare instabilità numerica.

B. Riemannian AdamW:
Gli autori derivano una versione iperbolica dell'ottimizzatore AdamW. La sfida principale era applicare il weight decay (regolarizzazione L2) in uno spazio dove la sottrazione non è definita in modo euclideo. La soluzione proposta utilizza il centroide lorentziano pesato ($\mu^L_\nu$), che permette di regolarizzare i parametri verso l'origine del manifold in modo geometricamente corretto, migliorando la capacità di generalizzazione e contrastando l'overfitting.

C. Funzione di Scaling Flessibile (Maximum Distance Rescaling):
Per evitare che i vettori iperbolici escano dal raggio di precisione numerica (evitando valori NaN dovuti alla precisione in virgola mobile, come in FP16), viene introdotta una funzione di scaling basata su una variante della tanh. Questa funzione permette un controllo fine sulla pendenza e sul valore massimo, mantenendo i vettori entro un raggio di rappresentazione stabile senza i problemi di gradienti non uniformi tipici del clipping tradizionale.

D. Efficienza Computazionale:
Viene introdotto un "trucco" di implementazione per le convoluzioni iperboliche, parametrizzando i pesi in modo da poter utilizzare le implementazioni CUDA standard per le convoluzioni euclidee, riducendo drasticamente i tempi di calcolo.

3. Contributi Chiave (Key Contributions)

1. Nuovo schema di ottimizzazione Riemanniana che stabilizza l'apprendimento della curvatura tramite mappatura nello spazio tangente.
2. Derivazione di Riemannian AdamW per la regolarizzazione diretta dei parametri su manifold di Lorentz.
3. Funzione di rescaling del massimo della distanza per garantire la stabilità numerica anche in precisione ridotta (FP16).
4. Implementazione efficiente di componenti iperbolici (come le convoluzioni) che riducono il footprint di memoria e il tempo di esecuzione.

4. Risultati (Results)

Il framework è stato testato in cinque domini diversi, dimostrando miglioramenti consistenti:

• Metric Learning (LHIER): Miglioramento del Recall@1 (fino al +4.71%) rispetto ai modelli esistenti.
• Classificazione EEG (HyperMAtt): Raggiungimento dello stato dell'arte (SOTA) su dataset piccoli (SSVEP, ERN) e un incremento della velocità di addestramento di circa 42 volte.
• Computer Vision (HCNN+): Superamento dei modelli ibridi in termini di accuratezza, con una riduzione del 48% nell'uso della VRAM e del 66% nel tempo di esecuzione.
• Generazione di Immagini (VAE): Miglioramento dei punteggi FID (minore errore di ricostruzione e generazione) con un uso della memoria 2.5 volte inferiore.
• Graph Embedding: Migliori prestazioni nei compiti di classificazione dei nodi rispetto ai modelli con curvatura fissa o ottimizzatori standard.

5. Significatività (Significance)

Il lavoro è significativo perché colma il divario tra la teoria della geometria iperbolica e la pratica del Deep Learning su larga scala. Dimostra che l'apprendimento iperbolico non deve essere necessariamente lento o instabile; attraverso un'ottimizzazione geometricamente consapevole, è possibile ottenere modelli più robusti, veloci e capaci di generalizzare meglio, rendendo la geometria iperbolica una scelta praticabile per applicazioni industriali e di ricerca avanzata in visione artificiale e analisi di segnali.