Riepilogo Tecnico: Apprendimento Geometrico Profondo Coerente tramite Fasci di Hilbert e Fasci Cellulari

1. Enunciato del Problema

L'apprendimento profondo moderno incontra sempre più segnali che sono a dimensione infinita (ad esempio, serie temporali, distribuzioni di probabilità, operatori) e definiti su domini irregolari (ad esempio, varietà, grafi). Sebbene l'Apprendimento Geometrico Profondo (GDL) abbia generalizzato con successo le Reti Neurali Convoluzionali (CNN) a domini non euclidei come grafi e varietà, i framework esistenti assumono prevalentemente fibre a dimensione finita (ad esempio, valori scalari o vettori finiti in ogni punto).

Manca una teoria dell'apprendimento unificata per segnali a dimensione infinita supportati su varietà. Nello specifico, i metodi attuali non possono gestire nativamente segnali in cui i dati in ogni punto $x \in M$ risiedono nel proprio spazio di Hilbert a dimensione infinita $E_x$. Inoltre, non esiste una fondazione teorica rigorosa che colleghi le approssimazioni discrete di tali strutture ai loro corrispettivi continui, lasciando un vuoto nelle garanzie di coerenza per l'apprendimento su questi tipi di dati complessi.

2. Metodologia

Gli autori propongono un framework chiamato HilbNets, che unifica e generalizza gli approcci esistenti di apprendimento geometrico attraverso la lente dei Fasci di Hilbert e dei Fasci Cellulari.

2.1 Framework Continuo: Fasci di Hilbert e Laplaciani di Connessione

• Fasci di Hilbert: Gli autori modellano i dati come una sezione $S$ di un fascio di Hilbert $E$ su una varietà base $M$. A differenza dei fasci banali in cui le fibre sono copie identiche di $\mathbb{R}^n$, qui ogni fibra $E_x$ è uno spazio di Hilbert separabile (possibilmente a dimensione infinita).
• Connessione e Trasporto Parallelo: Per confrontare segnali tra fibre diverse (che mancano di un'identificazione canonica), il framework impiega una connessione $\nabla$. Ciò induce mappe di trasporto parallelo $P_{x \to y}: E_x \to E_y$ lungo percorsi sulla varietà, permettendo un confronto coerente di dati a dimensione infinita.
• Convoluzione tramite Laplaciano di Connessione: L'operatore convoluzionale fondamentale è il Laplaciano di connessione $\Delta_\nabla = \nabla^* \nabla$. Questo operatore generalizza l'operatore di Laplace-Beltrami (per campi scalari) e il Laplaciano di connessione per fasci tangenti.
• Filtri: I filtri sono definiti utilizzando il calcolo funzionale di Borel. Un filtro $g$ viene applicato all'operatore autoaggiunto $\Delta_\nabla$ tramite $g(\Delta_\nabla)$, permettendo il filtraggio spettrale di segnali a dimensione infinita senza richiedere uno spettro discreto.
• HilbNets: Un HilbNet è un'architettura profonda composta da strati di questi filtri per fasci di Hilbert seguiti da non linearità puntuali $\sigma$.

2.2 Discretizzazione: Campionamento in Due Stadi

Poiché gli HilbNets continui non sono direttamente implementabili, gli autori introducono una procedura di discretizzazione in due stadi per derivare HilbNets Discretizzati:

1. Campionamento della Varietà (Discretizzazione Spaziale):

   • Il campionamento di $n$ punti $X_n$ dalla varietà $M$ induce un Fascio Cellulare di Hilbert $\mathcal{F}^t_n$.
   • Questa struttura assegna uno spazio di Hilbert (la fibra) a ogni nodo e spigolo.
   • L'accoppiamento spigolo-per-spigolo è definito tramite mappe di restrizione derivate dagli operatori di trasporto parallelo e da un peso di kernel Gaussiano $k^t_{ij} = e^{-d_M(x_i, x_j)^2 / 4t}$.
   • Il Laplaciano del Fascio di Hilbert $\Delta_{\mathcal{F}^t_n}$ è costruito a partire da queste mappe di restrizione.

2. Campionamento del Segnale (Discretizzazione della Fibra):

   • I segnali a dimensione infinita nelle fibre sono proiettati su un sottospazio a dimensione finita di dimensione $d$ utilizzando una base ortogonale (ad esempio, base di Fourier per serie temporali).
   • Ciò produce un Fascio di Rete $\mathcal{F}^t_{n,d}$ con steli a dimensione finita ($\mathbb{R}^d$).
   • Il risultante Laplaciano del Fascio di Rete $\Delta_{\mathcal{F}^t_{n,d}}$ è una matrice a blocchi in cui i blocchi rappresentano le mappe di trasporto parallelo discretizzate.
   • L'HilbNet (n, d) implementabile è definito come una Rete Neurale a Fasci che opera su questa struttura finita.

3. Contributi Chiave

1. Framework Convoluzionale per Fasci di Hilbert: Il documento definisce un'operazione di convoluzione principiale per segnali a dimensione infinita su varietà utilizzando il Laplaciano di connessione e il calcolo funzionale di Borel, estendendo il GDL oltre le fibre a dimensione finita.
2. Fasci Cellulari di Hilbert: Gli autori stabiliscono il primo legame rigoroso tra fasci di Hilbert e Fasci Cellulari di Hilbert, mostrando che il campionamento di una varietà induce una struttura a fascio che cattura sia la geometria della varietà base sia le regole di accoppiamento delle fibre del fascio.
3. Garanzie di Convergenza (Nucleo Teorico):
   • Teorema 1 (Convergenza del Laplaciano del Fascio): Dimostra che, all'aumentare della densità di campionamento $n \to \infty$, il Laplaciano del Fascio di Hilbert converge in probabilità al sottostante Laplaciano di connessione. Questa è una generalizzazione del risultato seminale di Belkin & Niyogi [14] (Laplaciano del Grafo $\to$ Laplaciano della Varietà) al contesto dei fasci a dimensione infinita.
   • Teorema 2 (Convergenza a Rango Finito): Dimostra che il Laplaciano completamente discretizzato (implementabile) converge all'operatore continuo all'aumentare sia della densità di campionamento della varietà ($n$) sia della densità di campionamento del segnale ($d$).
4. Coerenza e Trasferibilità:
   • Corollario 2.1: Stabilisce che l'output degli HilbNets Discretizzati converge all'HilbNet continuo nell'Errore Quadratico Medio (MSE) all'aumentare delle densità di campionamento.
   • Corollario 2.2 (Trasferibilità): Dimostra che gli HilbNets Discretizzati sono trasferibili tra diversi campionamenti dello stesso fascio sottostante. L'output dell'architettura è coerente indipendentemente dalla specifica nuvola di punti campionata, fornendo garanzie di coerenza nella risoluzione.

4. Risultati Sperimentali

Il framework è validato su due compiti:

• Recupero di Trasporto Sintetico:

  • Configurazione: Un fascio statistico su Gaussiane centrate (utilizzando la metrica di Otto-Wasserstein) in cui il trasporto parallelo ground-truth (connessione di Levi-Civita) è noto.
  • Risultato: Il modello recupera con successo i veri operatori di trasporto parallelo. La parametrizzazione "Libera $O(d)$" recupera il ground truth con precisione numerica ($\approx 1.6 \times 10^{-7}$), mentre le classi ristrette (ad esempio, circolanti) convergono ai loro limiti di proiezione analitica, confermando che la classe di ipotesi vincola l'apprendimento in modo prevedibile.

• Previsione del Traffico Reale (METR-LA e PEMS-BAY):

  • Configurazione: Previsione delle velocità del traffico in cui i nodi sono sensori e le fibre sono serie temporali. Il framework impara mappe di trasporto spigolo-per-spigolo per allineare i pattern temporali prima del filtraggio.
  • Baseline: Confrontato contro MLP (solo fibra), baseline Spazio-Temporali su Grafi e GCN standard (trasporto identità congelato).
  • Risultato: L'apprendimento di trasporti non banali supera costantemente l'identità congelata (GCN) a tutte le finestre di previsione. La variante Libera $O(T)$ raggiunge la migliore accuratezza, mentre la variante Circolare offre prestazioni competitive con significativamente meno parametri (circa 1/10), dimostrando il valore di bias induttivi strutturati e motivati fisicamente.

5. Significato e Affermazioni

Il documento afferma che gli HilbNets forniscono un framework unificato e generale per l'apprendimento geometrico profondo che eleva i metodi classici basati sul Laplaciano a contesti con segnali a dimensione infinita.

• Impatto Teorico: Il contributo principale è l'estensione del teorema di convergenza di Belkin & Niyogi [14] ai fasci di Hilbert. Ciò fornisce la base teorica per l'apprendimento basato sul Laplaciano su dati a dimensione infinita, giustificando l'uso di approssimazioni discrete a fascio per problemi di fascio continui.
• Impatto Pratico: Il framework permette l'integrazione principiale di priori geometrici specifici del dominio (tramite la scelta della connessione e del trasporto) nelle architetture di apprendimento profondo. Ciò è particolarmente vantaggioso in regimi a pochi dati o quando i dati hanno vincoli strutturali intrinseci (ad esempio, allineamento di serie temporali, geometria distribuzionale).
• Generalità: Gli autori notano che molte architetture esistenti (CNN, GNN, Reti Neurali a Fasci, CNN Equivarianti) possono essere viste come istanze specifiche di HilbNets con scelte particolari di fasci e connessioni. Pertanto, i risultati di convergenza e trasferibilità derivati qui potenzialmente si estendono a una vasta classe di metodi esistenti di apprendimento geometrico.

Il documento conclude che questo lavoro amplia la portata dell'apprendimento geometrico fornendo un approccio coerente e teoricamente fondato per l'apprendimento su varietà in cui i segnali vivono nei propri spazi di Hilbert.