Learning Tangent Bundles and Characteristic Classes with Autoencoder Atlases

Sintesi Tecnica: Apprendimento di Fasci Tangenti e Classi Caratteristiche con Atlanti di Autoencoder

Enunciato del Problema
L'apprendimento di varietà (manifold learning) mira a recuperare rappresentazioni a bassa dimensionalità di dati ad alta dimensionalità che riflettano la geometria sottostante. Il paradigma dominante si basa su embedding euclidei globali (ad esempio tramite autoencoder, Isomap o mappe di diffusione). Tuttavia, questo approccio incontra ostacoli topologici fondamentali: le varietà con topologia non banale (come il piano proiettivo reale $\mathbb{R}P^2$ o la bottiglia di Klein) non possono essere immerse in uno spazio euclideo a bassa dimensionalità senza auto-intersezioni o perdita di struttura. Inoltre, anche quando gli embedding esistono, le coordinate euclidee standard non codificano invarianti differenziali-topologici come il fascio tangente, le funzioni di transizione o le classi caratteristiche, che sono essenziali per distinguere le varietà orientabili da quelle non orientabili. I metodi esistenti per stimare la dimensione intrinseca o gli spazi tangenti non risolvono il problema più profondo di rappresentare varietà in cui le coordinate globali sono topologicamente vietate.

Metodologia
Gli autori propongono un framework che sposta la prospettiva dal considerare gli autoencoder come produttori di un singolo embedding globale al trattare una collezione di coppie encoder-decoder addestrate localmente come un atlante appreso sulla varietà dei dati.

1. Atlanti di Autoencoder: Invece di una singola mappa, il metodo impiega una collezione di carte $\mathcal{A} = \{(U_i, E_i, D_i)\}$, dove $U_i$ sono insiemi aperti che ricoprono la varietà $M$, $E_i$ sono encoder che mappano in uno spazio latente $\mathbb{R}^d$, e $D_i$ sono decoder.
2. Mappe di Transizione e Cocicli: Per carte sovrapposte $U_i \cap U_j$, le mappe di transizione sono definite come $T_{ji} = E_j \circ D_i$. L'analisi teorica dimostra che la coerenza nella ricostruzione ($D_i \circ E_i \approx \text{Id}$) induce canonicamente queste mappe di transizione a soddisfare la condizione di cociclo ($T_{ki} = T_{kj} \circ T_{ji}$) sulle sovrapposizioni triple.
3. Linearizzazione e Fasci Vettoriali: Linearizzando le mappe di transizione non lineari, gli autori costruiscono funzioni di transizione lineari $g_{ji}(x) = d(T_{ji})_{E_i(x)}$. Queste funzioni soddisfano la condizione di cociclo per i fasci vettoriali, permettendo la costruzione di un fascio tangente appreso $T_\mathcal{A}$ su $M$. Quando la dimensione latente corrisponde alla dimensione intrinseca e l'atlante è liscio, $T_\mathcal{A}$ è isomorfo al vero fascio tangente $TM$.
4. Rilevamento dell'Orientabilità tramite Classi di Stiefel-Whitney: La prima classe di Stiefel-Whitney $w_1(T_\mathcal{A}) \in H^1(M; \mathbb{Z}/2)$, che rileva l'orientabilità, è calcolata direttamente dall'atlante appreso. Nello specifico, il segno del determinante jacobiano delle mappe di transizione, $\omega_{ji}(x) = \text{sign}(\det g_{ji}(x))$, forma un 1-cociclo di Čech. La varietà è orientabile se e solo se questo cociclo è un cobordo (ovvero, se possono essere assegnati segni coerenti alle carte tali che $\omega_{ji} = \nu_j \cdot \nu_i$).
5. Stabilità sotto Approssimazione: Riconoscendo che le reti neurali raggiungono solo una ricostruzione approssimata, il documento sviluppa una teoria della stabilità. Dimostra che il cociclo di segno rimane un valido cociclo di Čech sotto limiti espliciti sull'errore di ricostruzione ($\epsilon$) e sull'errore differenziale ($\eta$), a condizione che i Jacobiani di transizione rimangano non degeneri ($\delta > 0$). Un raffinamento chiave (Teorema 4.12) mostra che la stabilità vale localmente sui "triangoli del nervo" anche se i limiti globali sono violati, a condizione che una carta "cattiva" possa essere re-indicizzata in una posizione in cui il suo errore di ricostruzione non influisce sulla condizione di cociclo.
6. Vincoli sul Numero di Carte: Il documento stabilisce che il numero minimo di carte richiesto è determinato dal tipo di ricoprimento della varietà (la cardinalità minima di un buon ricoprimento), piuttosto che dalla struttura del fascio tangente. Classi caratteristiche non banali ostacolano le rappresentazioni a carta singola, ma un fascio tangente banale non garantisce che una singola carta sia sufficiente per varietà compatte.

Contributi Chiave

1. Formalizzazione degli Atlanti di Autoencoder: Gli autori formalizzano il concetto di atlante di autoencoder, dimostrando che la coerenza nella ricostruzione implica la condizione di cociclo per le mappe di transizione e permettendo la costruzione di un fascio vettoriale appreso.
2. Rilevamento Algoritmico dell'Orientabilità: Forniscono un criterio algoritmico diretto per rilevare l'orientabilità calcolando la prima classe di Stiefel-Whitney dai segni dei determinanti jacobiani delle transizioni apprese. Questo riduce il problema al controllo se un cociclo di segno è un cobordo (equivalente alla 2-colorazione del grafo del nervo).
3. Teoria della Stabilità per Atlanti Approssimati: Il documento dimostra che gli invarianti topologici derivati dall'atlante sono stabili sotto la ricostruzione approssimata intrinseca all'addestramento delle reti neurali. Ciò include un teorema di stabilità globale e un teorema locale più forte "per terzina" che spiega il rilevamento riuscito anche quando i limiti globali di errore sono violati.
4. Limiti Inferiori Topologici: Il lavoro identifica il tipo di ricoprimento della varietà come il limite inferiore fondamentale sul numero di carte di autoencoder richieste, collegando la complessità architetturale del modello direttamente alla topologia dei dati.
5. Progettazione della Funzione di Perdita: Gli autori dimostrano che la regolarizzazione esplicita del cociclo è inutile; la minimizzazione della sola perdita di ricostruzione è sufficiente a portare l'errore di cociclo a zero, poiché l'errore di cociclo è limitato dall'errore di ricostruzione della carta intermedia in una terzina.

Risultati Sperimentali
Il framework è stato validato su quattro dataset con orientabilità nota:

• Sfera 2 ($S^2$): Una varietà orientabile. Il metodo ha rilevato correttamente l'orientabilità (test del cobordo superato) utilizzando un atlante a 4 carte.
• Fascia di Möbius: Una varietà non orientabile con sovrapposizioni sconnesse. Il metodo ha rilevato correttamente la non orientabilità (test del cobordo fallito) utilizzando un atlante a 2 carte, identificando il cambio di segno attraverso le due componenti di sovrapposizione.
• Bottiglia di Klein: Una varietà non orientabile in $\mathbb{R}^4$. Utilizzando un atlante a 8 carte, il metodo ha rilevato correttamente la non orientabilità nelle prove convergenti. Gli esperimenti hanno evidenziato l'utilità del teorema di stabilità locale, che ha permesso il rilevamento anche quando una carta violava il limite globale dell'errore differenziale ($\eta < 1$).
• $\mathbb{R}P^2$ (Toppe di Linee): Una varietà non orientabile rappresentata come immagini a 100 dimensioni. Nonostante l'alta codimensione e grandi errori differenziali sul lato latente ($\eta_{lat} \gg 1$), il metodo ha rilevato correttamente la non orientabilità in 4 casi su 5, suggerendo che l'errore ristretto al tangente (che governa la teoria) è rimasto controllato nonostante il fallimento del proxy ad alta dimensionalità.

In tutte le prove convergenti (17 su 20 esecuzioni totali), il test del cobordo ha raggiunto un'accuratezza del 100% nel rilevare la corretta classe di orientabilità.

Significato
Il documento afferma di colmare il divario tra l'apprendimento di varietà moderno e la topologia differenziale classica. Trattando le rappresentazioni apprese come atlanti, gli autori dimostrano che le reti neurali possono essere utilizzate per calcolare invarianti differenziali-topologici (in particolare la prima classe di Stiefel-Whitney) direttamente dai dati. Questo fornisce una solida fondazione teorica per comprendere perché le architetture a più carte sono necessarie per dati topologicamente non banali e offre un metodo pratico e algoritmico per rilevare l'orientabilità senza richiedere calcoli topologici espliciti durante l'addestramento. Il lavoro suggerisce che l'"ostacolo" agli embedding globali non è un fallimento dell'algoritmo di apprendimento, ma una caratteristica della topologia dei dati, che può essere catturata e analizzata fedelmente attraverso la lente dei fasci vettoriali e delle classi caratteristiche.