Encoding the Euler Characteristic Transform

Sintesi Tecnica: Codifica della Trasformata della Caratteristica di Eulero

Definizione del Problema
La Trasformata della Caratteristica di Eulero (ECT) è un descrittore di forma iniettivo e potente che aggrega le Curve della Caratteristica di Eulero (ECC) calcolate attraverso molteplici direzioni di campionamento. Sebbene la DECT (Differentiable ECT) abbia abilitato l'apprendimento end-to-end, un collo di bottiglia critico rimane nel modo in cui l'ECT viene codificata per le reti neurali. Convenzionalmente, le ECC vengono discretizzate su una griglia fissa di soglie di altezza ($H$) per ogni direzione ($D$), risultando in una matrice $D \times H$. Questa discretizzazione introduce un iperparametro di risoluzione ($H$) che deve essere sintonizzato per ogni dataset, creando un compromesso tra espressività e costo computazionale. Inoltre, la discretizzazione uniforme impone la stessa risoluzione sia alle regioni a rapida variazione che a quelle piatte, nonostante tutta l'informazione topologica in una ECC sia intrinsecamente attribuita ai vertici del complesso cellulare sottostante.

Metodologia
Gli autori propongono una codifica continua dell'ECT che elimina la necessità di una griglia di discretizzazione. Invece di campionare la funzione ECC a altezze fisse, il metodo registra la variazione netta della caratteristica di Eulero ($\Delta\chi$) attribuita a ciascun vertice $v$ per una data direzione $w_i$.

• Tokenizzazione: Per un complesso cellulare con $N$ vertici e una direzione $w_i$, l'altezza di filtraggio per ogni cella è determinata dal suo "vertice responsabile" (il vertice con la proiezione massima). La variazione netta $\Delta\chi(v, w_i)$ è calcolata sommando i contributi con segno di tutte le celle che entrano nella filtratura alla soglia definita da quel vertice. I vertici con variazione netta nulla vengono scartati, producendo una sequenza sparsa di token $\{( \langle v, w_i \rangle, \Delta\chi(v, w_i) )\}$.
• Encoder ECC: Un piccolo encoder transformer elabora queste sequenze di token per ogni direzione, mappando la sequenza a lunghezza variabile in un vettore di caratteristiche a lunghezza fissa ($d_{out}$). Questo sostituisce la tradizionale matrice discretizzata con una matrice di caratteristiche $D \times d_{out}$.
• Architetture di Rappresentazione: Lo studio valuta sei diverse architetture per elaborare la matrice ECT risultante, che spaziano da baseline strutturalmente agnostiche a modelli equivarianti:
  1. Rete Feedforward: Appiattisce la matrice; nessun bias induttivo strutturale.
  2. Deep Sets: Tratta le direzioni come un insieme non ordinato (invarianza per permutazione).
  3. Convoluzione 2D: Tratta la matrice come un'immagine; utilizza il padding circolare lungo l'asse della direzione per preservare l'equivarianza rotazionale.
  4. Convoluzione 1D: Applica convoluzioni lungo l'asse della direzione con padding circolare.
  5. Convoluzione Complessa 1D: Rappresenta le ECC nel dominio complesso per preservare intrinsecamente l'equivarianza rotazionale tramite codifica di fase.
  6. Ibrida: Combina convoluzioni 1D con strati completamente connessi.

Contributi Chiave

1. Rappresentazione ECT Continua: Introduzione di una codifica continua, esatta e parsimoniosa che non richiede una griglia, registrando i cambiamenti topologici ai vertici anziché campionare i valori della funzione. Ciò rimuove l'iperparametro di risoluzione ed è intrinsecamente differenziabile.
2. Studio Sistematico delle Architetture: Una valutazione esaustiva di sei architetture neurali che coprono diversi bias induttivi (da agnostici rispetto alla struttura a equivarianti alla rotazione) per determinare come aggregare al meglio le informazioni direzionali.
3. Benchmarking Empirico: Valutazione su sei benchmark di classificazione che coprono diversi tipi di dati: nuvole di punti, grafi, complessi cubici e mesh (sia 2D che 3D).

Risultati

• Impatto della Codifica: La codifica continua ha migliorato l'accuratezza della classificazione su cinque dei sei dataset rispetto alla migliore codifica discreta. I guadagni più significativi sono stati osservati sul dataset Letter-high (+0.120) e SwissBuildings (+0.094).
• Tokenizzazione vs Capacità: Esperimenti di controllo hanno dimostrato che i guadagni di prestazione derivano dalla tokenizzazione stessa piuttosto che dalla capacità aggiunta del transformer. Applicare un transformer all'ECT discretizzata non ha prodotto miglioramenti consistenti.
• Interazione tra Architetture: La scelta dell'architettura di rappresentazione è stata meno importante della scelta della codifica. Tuttavia, sono state osservate interazioni:
  • Sotto la codifica continua, la semplice rete feedforward è stata la componente con le prestazioni migliori su cinque dei sei dataset.
  • Sotto la codifica discreta, la rete feedforward è risultata instabile (ad esempio, collassando su SwissBuildings), mentre le architetture convoluzionali (specificamente 1D e Ibride) si sono dimostrate più robuste.
  • La codifica continua ha fornito un input più "apprendibile", restringendo il divario di prestazioni tra la rete feedforward e i modelli convoluzionali.
• Equivarianza: Sebbene le architetture rotazionalmente equivarianti (Convoluzione 1D/Complessa) siano state progettate per preservare la simmetria, la rete feedforward ha spesso superato le altre su dataset con orientamenti canonici (come le derivate di Fashion-MNIST), suggerendo che l'equivarianza rigorosa non è sempre il bias induttivo ottimale per tutti i compiti.

Significatività
L'articolo sostiene che il metodo di codifica dell'ECT sia un fattore più critico per le prestazioni a valle rispetto alla specifica architettura neurale utilizzata per elaborarlo. Passando da una rappresentazione discretizzata basata su griglia a una tokenizzazione continua basata sui vertici, gli autori ottengono un'accuratezza superiore e una maggiore stabilità di addestramento senza fare affidamento su complesse architetture equivarianti per la maggior parte dei compiti. La codifica continua evita efficacemente la sintonizzazione degli iperparametri associata alla risoluzione della griglia, offrendo una rappresentazione esatta della trasformata topologica naturalmente adatta all'elaborazione neurale. Il lavoro suggerisce che per i descrittori di forma globali, la fedeltà della rappresentazione dell'input (la codifica) prevale sulla complessità dei bias induttivi del modello.