Sintesi Tecnica: Divergenza Simmetrica e Similarità Normalizzata: Un Framework Topologico Unificato per l'Analisi delle Rappresentazioni

Definizione del Problema

L'Analisi dei Dati Topologici (TDA) offre una prospettiva intrinseca per confrontare le rappresentazioni delle reti neurali, tuttavia gli esistenti metodi macroscopici affrontano limitazioni significative. Nello specifico, il framework della Divergenza della Topologia della Rappresentazione (RTD) e le sue varianti soffrono di due problemi critici:

1. Incompletezza Teorica e Asimmetria: La "simmetrica" RTD comunemente utilizzata è definita come una media bruta di due valori direzionali ($RTD(w, \tilde{w})$ e $RTD(\tilde{w}, w)$). Questi valori possono differire drasticamente senza una chiara spiegazione teorica dell'asimmetria. Inoltre, la variante duale, Max-RTD, proposta per arricchire l'informazione del gradiente, manca di una relazione teorica pienamente caratterizzata con la RTD.
2. Mancanza di Normalizzazione: La RTD e la RTD-lite producono punteggi positivi illimitati che dipendono fortemente dalla dimensione del campione e dalle scale di distanza intrinseche. Ciò rende inaffidabile e difficile da interpretare il benchmarking tra diversi scenari (ad esempio, confrontare diversi modelli, layer o dataset). I tentativi esistenti di riscalare le distanze (ad esempio, usando il 0.9-quantile) sono euristici e insufficienti per contesti eterogenei.

Queste limitazioni ostacolano la capacità di eseguire sia una diagnosi strutturale fine, sia una valutazione robusta e standardizzata delle rappresentazioni neurali.

Metodologia

Gli autori propongono un toolkit topologico unificato composto da due componenti complementari: la Divergenza della Topologia della Rappresentaione Simmetrica (SRTD) per la diagnosi strutturale e la Similarità Topologica Normalizzata (NTS) per la valutazione standardizzata.

1. Divergenza della Topologia della Rappresentazione Simmetrica (SRTD)

Per affrontare l'asimmetria e i vuoti teorici nella famiglia RTD, gli autori introducono la SRTD.

• Concetto: Invece di mediare due divergenze direzionali, la SRTD misura direttamente la discrepanza topologica tra l'unione e l'intersezione delle filtrature di Vietoris-Rips di due nuvole di punti.
• Costruzione: Utilizza una matrice ausiliaria simmetrica ($M_{sym}$) costruita dal minimo elemento per elemento ($min(w, \tilde{w})$) e dal massimo ($max(w, \tilde{w})$) delle matrici di distanza. La divergenza è definita come la somma delle lunghezze dei barcode derivate dall'omologia persistente di questo grafo ausiliario.
• Unificazione Teorica: La SRTD fornisce un framework unificato in cui le misure asimmetriche (RTD e Max-RTD) si decompongono in una grande componente simmetrica condivisa (SRTD) e componenti "private" più piccole, uniche per le singole filtrature.
• Efficienza (SRTD-lite): Seguendo l'approccio RTD-lite, gli autori definiscono la SRTD-lite, che approssima la piena divergenza topologica utilizzando i pesi dell'Albero Ricoprente Minimo (MST). È definita come la differenza tra i pesi MST di $max(w, \tilde{w})$ e $min(w, \tilde{w})$.
• Proprietà Chiave: Gli autori dimostrano che, per la versione lite, $Max\text{-}RTD\text{-}lite + RTD\text{-}lite = SRTD\text{-}lite$, stabilendo un ordinamento gerarchico rigoroso in cui la SRTD-lite funge da misura mediana bilanciata.

2. Similarità Topologica Normalizzata (NTS)

Per abilitare un benchmarking robusto tra scenari, gli autori propongono la NTS, una metrica limitata tra -1 e 1.

• Motivazione: A differenza delle misure di divergenza che sommano le lunghezze dei barcode (sensibili agli outlier e alla scala), la NTS si concentra sulla correlazione di rango dell'ordine di fusione gerarchica.
• Meccanismo:
  • Identifica l'insieme di "coppie core" definite dall'unione degli archi negli MST di entrambe le rappresentazioni.
  • Calcola la correlazione di rango di Spearman tra i tempi di fusione (o le distanze degli archi) di queste coppie core nelle due rappresentazioni.
  • Sono definite due varianti: NTS-E (basata sulle distanze degli archi) e NTS-M (basata sui tempi di fusione).
• Proprietà: La NTS è invariante rispetto alla scala e robusta alle variazioni della dimensione del campione. Cattura la struttura topologica confrontando l'ordine in cui i componenti connessi si fondono, piuttosto che l'entità assoluta delle distanze.

Contributi Chiave

1. Completamento del Framework RTD: L'introduzione della SRTD risolve l'asimmetria teorica delle precedenti varianti RTD. Consolida l'informazione diagnostica in una singola firma cross-barcode simmetrica, offrendo un obiettivo di ottimizzazione più efficiente senza l'overhead dei calcoli direzionali duali.
2. Introduzione di NTS: La proposta di NTS supera la natura illimitata delle divergenze topologiche. Sfruttando la normalizzazione basata sul rango, fornisce un punteggio di similarità standardizzato che è confrontabile tra diversi dataset, architetture di modelli e pipeline sperimentali.
3. Caratterizzazione Teorica: Il paper stabilisce rigorose relazioni matematiche tra RTD, Max-RTD e SRTD utilizzando coni di mappatura e sequenze esatte lunghe in omologia, chiarendo il ruolo di Max-RTD e l'origine dell'asimmetria.
4. Algoritmi Efficienti: Gli autori forniscono varianti leggere (SRTD-lite e NTS-E) che operano in tempo $O(n^2(\alpha_{uf}(n) + d))$, rendendoli scalabili per l'analisi delle rappresentazioni su larga scala.

Risultati Sperimentali

Il toolkit è stato valutato attraverso setting di deep learning sintetici e reali:

• Spostamenti Gerarchici Sintetici: In esperimenti che coinvolgono cluster Gaussiani ed embedding UMAP, NTS e le famiglie SRTD hanno catturato correttamente l'aumento della dissimilarità strutturale. Al contrario, CKA è stata ampiamente insensibile a questi cambiamenti, e RTD-lite ha prodotto trend invertiti anomali, evidenziando la necessità della componente $max(w, \tilde{w})$ e della normalizzazione.
• Analisi per Livelli di CNN: Su una TinyCNN addestrata su CIFAR-10, NTS e CKA hanno mostrato paesaggi di similarità quasi diagonali coerenti e interpretabili (la similarità decade con la profondità). Tuttavia, la famiglia RTD non normalizzata non è riuscita a recuperare questo trend monotonico, producendo heatmap irregolari. Crucialmente, le misure topologiche (NTS e SRTD-lite) hanno rilevato una netta transizione strutturale al livello di pooling finale — uno shift funzionale mancato dai baseline geometrici come CKA.
• Analisi di Large Language Models (LLM): Applicato a famiglie di LLM (Qwen, InternLM, Baichuan, Llama) su dataset TruthfulQA e ToxiGen:
  • Intra-Modello: NTS ha rivelato "impronte digitali" gerarchiche coerenti all'interno delle famiglie di modelli, mentre CKA spesso produceva heatmap sature o inconsistenti a causa della saturazione della distanza.
  • Inter-Modello: NTS ha fornito una visione più nitida e discriminante delle relazioni tra i modelli rispetto a CKA, che soffriva di saturazione del punteggio (clustering vicino a 1.0).
  • Caso di Distillazione: In un caso di studio su DeepSeek-R1-Ds (distillato da Qwen2.5-Math), CKA ha prodotto un basso punteggio di similarità fallendo nel riflettere la linea di discendenza, mentre NTS ha identificato con successo un'alta similarità strutturale, suggerendo che gli ordini di fusione topologica sono più robusti agli shift geometrici indotti dalla distillazione.

Significato e Rivendicazioni

Il paper sostiene di offrire una prospettiva rigorosa e consapevole della topologia che integra le misure geometriche esistenti come CKA.

• Per la Diagnosi: SRTD e SRTD-lite forniscono prove fini e interpretabili delle discrepanze strutturali e fungono da termini di perdita efficaci per l'ottimizzazione (ad esempio, negli autoencoder), raggiungendo prestazioni state-of-the-art all'interno della classe RTD con maggiore efficienza.
• Per il Benchmarking: NTS offre una metrica affidabile e invariante rispetto alla scala per confrontare le rappresentazioni attraverso setting eterogenei, superando i problemi di interpretabilità delle divergenze non normalizzate.
• Limitazioni: Gli autori notano che NTS è attualmente una misura di sola analisi e non è differenziabile, impedendo il suo uso diretto nell'ottimizzazione del modello. Il lavoro futuro suggerisce lo sviluppo di una formulazione differenziabile. Inoltre, le varianti leggere si basano principalmente su feature di dimensione 0, scambiando l'insight topologico di ordine superiore con la scalabilità.

Questo lavoro si posiziona come un passo fondamentale verso la comprensione delle rappresentazioni neurali attraverso una lente topologica unificata, colmando il divario tra la diagnosi strutturale fine e la valutazione standardizzata e robusta.