Sintesi Tecnica: Reti Convoluzionali di Poincaré Gruppo-Equivarianti

Definizione del Problema

L'apprendimento profondo nello spazio iperbolico ha dimostrato capacità superiori nel mappare dati visivi gerarchici con una distorsione minima. Tuttavia, le attuali reti visive iperboliche, come la Poincaré ResNet, affrontano due criticità fondamentali:

1. Overhead Computazionale: L'ottimizzazione di reti profonde su varietà riemanniane richiede operazioni costose (ad esempio, mappature esponenziali, stime della media di Fréchet) ed è vincolata dai confini rigidi della varietà stessa.
2. Mancanza di Bias Induttivo Strutturale: Le reti iperboliche standard trattano le trasformazioni spaziali (ad esempio, una rotazione di 90 gradi) dello stesso oggetto come concetti gerarchici interamente distinti. Ciò costringe l'ottimizzatore a apprendere rappresentazioni ridondanti per diverse orientazioni, portando a un uso inefficiente dei parametri, alla scomparsa dei segnali e a una scarsa efficienza campionaria.

Le Reti Convoluzionali Gruppo-Equivarianti (G-CNN) nello spazio euclideo risolvono questo problema imponendo prior di simmetria (ad esempio, i gruppi $C_4$ e $D_4$), ma la traduzione diretta di tali meccanismi nello spazio iperbolico è non banale. L'applicazione ingenua del reshaping e della concatenazione di tensori euclidei gonfia artificialmente le magnitudo dei vettori, spingendo le caratteristiche oltre il confine valido della palla di Poincaré e violando i vincoli geometrici.

Metodologia

Gli autori propongono le Equivariant Poincaré ResNets, un framework che integra gruppi di simmetria discreta ($C_4$ rotazioni e $D_4$ rotazioni/riflessioni) direttamente nell'architettura della Poincaré ResNet. Per raggiungere questo obiettivo, hanno ricostruito tre componenti core per soddisfare sia l'algebra di gruppo che la geometria iperbolica:

1. Unflattening di Tensori Geometricamente Sicuro ($\beta$-Scaling)

Nelle reti euclidee, le mappe delle caratteristiche sono spesso appiattite e modellate per separare i canali di gruppo. Nello spazio iperbolico, la concatenazione ingenua viola le norme della varietà.

• Meccanismo: Gli autori introducono uno $\beta$-split inverso geometricamente sicuro.
• Processo:
  1. Mappare il vettore concatenato in uscita dalla Poincaré nello spazio tangente all'origine utilizzando la mappatura logaritmica ($\log_c^0$).
  2. Decouplare le dimensioni nello spazio tangente euclideo.
  3. Ripristinare la magnitudo dei vettori decouplati utilizzando un fattore di scala derivato dalla funzione Beta ($\beta_n$) per correggere la distorsione introdotta durante la concatenazione iniziale.
  4. Proiettare i vettori ripristinati nuovamente nella palla di Poincaré utilizzando la mappatura esponenziale ($\exp_c^0$).
• Obiettivo: Questo assicura che la separazione dei canali spaziali e di gruppo non violi le norme attese della varietà o spinga le caratteristiche oltre il confine.

2. Lifting di Poincaré e Convoluzioni di Gruppo

Le convoluzioni iperboliche standard non possono gestire il routing necessario per l'equivarianza.

• Lifting Convolution: Invece di applicare direttamente complesse trasformazioni di Möbius ai gyro-vettori, gli autori costruiscono bank di filtri simmetrici interamente all'interno dello spazio tangente. Viene appreso un singolo filtro base $w$, e i $|G|$ filtri richiesti vengono generati tramite azioni spaziali deterministiche (rotazioni e flip) applicate a $w$.
• Group Convolution: Per mappare le caratteristiche da $G \to G$, la rete deve instradare le attivazioni verso i canali di orientamento traslati quando l'input si trasforma.
  • Permutazione Regolare a Sinistra: Gli autori codificano questo routing pre-permutando l'asse dell'orientamento dei pesi nello spazio tangente secondo la rappresentazione regolare a sinistra inversa del gruppo.
  • Safe Flattening: Prima di calcolare il prodotto interno iperbolico, il tensore di input viene appiattito utilizzando l'algoritmo nativo di $\beta$-concatenazione per prevenire l'instabilità numerica e la propagazione di NaN.
• Risultato: Un singolo aggiornamento del gradiente al filtro base aggiorna la rappresentazione per tutte le orientazioni spaziali simultaneamente.

3. Normalizzazione Batch a Punto Medio di Orientamento Congiunta

La normalizzazione batch standard calcola le statistiche indipendentemente per ogni canale. In una rete equivariante, questo è catastrofico: se un orientamento rileva una caratteristica forte e un altro no, una normalizzazione indipendente li costringerebbe ad avere medie e varianze identiche, cancellando la conoscenza della rete sulla reale orientazione dell'oggetto.

• Meccanza: Gli autori propongono la Joint-Orientation Poincaré Batch Normalisation.
• Processo: Il tensore di input viene rimodellato per fondere la dimensione di gruppo con le dimensioni spaziali. Un punto medio e una varianza di Poincaré unificati vengono calcolati su questo volume espanso.
• Obiettivo: Tutti i canali di orientamento vengono traslati e scalati dallo stesso scalare della varietà, preservando le differenze di magnitudo relativa tra le diverse orientazioni e mantenendo una stretta equivalenza.

Risultati Chiave

L'architettura proposta è stata valutata sul dataset CIFAR-10 utilizzando un backbone Poincaré ResNet-20, con un protocolo rigoroso che omette l'augmentation spaziale dei dati per isolare il bias induttivo architettonico.

• Performance di Classificazione: La D4-Equivariant Poincaré ResNet ha raggiunto l'88,77% di accuratezza Top-1. Ciò rappresenta un miglioramento assoluto dell'11,9% rispetto alla baseline Poincaré standard (76,87%) e supera la ResNet-20 euclidea standard (78,26%).
• Efficienza Campionaria: Nei regimi di dati scarsi (1% e 5% dei dati di addestramento), le reti Poincaré standard sono degradate severamente (26,92% e 33,79%). Il modello D4-Equivariant ha mantenuto il 63,77% di accuratezza con solo il 10% dei dati, dimostrando una capacità di generalizzazione vastamente superiore.
• Convergenza: I modelli equivarianti sono convergiti al picco di accuratezza in meno epoche rispetto alle reti Poincaré standard, mitigando l'overhead computazionale.
• Rilevamento Out-of-Distribution (OOD): I modelli equivarianti hanno preservato e leggermente migliorato la robustezza OOD inerente alla geometria iperbolica (ad esempio, un AUROC di 83,17 su SVHN rispetto a 80,72 per la Poincaré standard).
• Verifica dell'Equivarianza: Gli autori hanno misurato l'Errore di Relativa Equivarianza ($\Delta_{eq}$). Le convoluzioni iperboliche standard hanno fallito il test ($\Delta_{eq} \approx 1,0$), mentre le proposte convoluzioni di Lifting e di Gruppo hanno ottenuto errori limitati alla precisione di macchina ($\Delta_{eq} \approx 10^{-7}$), confermando matematicamente la preservazione delle simmetrie.

Significato e Rivendicazioni

Il paper sostiene di presentare il primo framework per integrare l'equi-varianza di gruppo discreto stretta ($C_4$ e $D_4$) direttamente nelle architetture convoluzionali iperboliche.

• Passo Fondamentale: Il lavoro stabilisce un passo fondamentale verso modelli visivi iperbolici altamente efficienti e geometricamente fondati, riuscendo a decouplare le orientazioni di gruppo senza violare i vincoli della varietà.
• Riduzione dello Spazio di Ottimizzazione: Integrando l'equivarianza, lo spazio di ottimizzazione è drasticamente ridotto, accelerando la convergenza e migliorando l'efficienza campionaria.
• Integrità Geometrica: I meccanismi proposti ( $\beta$-scaling sicuro, permutazioni regolari a sinistra e normalizzazione congiunta) assicurano collettivamente che le simmetrie spaziali discrete siano esplicitamente mantenute, rispettando al contempo i vincoli geometrici non euclidei della palla di Poincaré.

Gli autori osservano che, sebbene l'approccio offra significativi vantaggi strutturali, eredita l'overhead computazionale delle reti iperboliche profonde ed è attualmente limitato ai gruppi di simmetria discreti ($C_4$, $D_4$), non alle trasformazioni continue come $SO(2)$. Il lavoro futuro suggerisce di esplorare gruppi continui e la scalabilità verso dataset più ampi.