Riepilogo Tecnico: Oltre l'Allineamento delle Attivazioni: La Geometria della Sensibilità Neurale

Enunciato del Problema

Le misure di allineamento delle attivazioni, come l'Analisi di Similarità Rappresentazionale (RSA), l'Analisi delle Correlazioni Canoniche (CCA) e l'Allineamento del Kernel Centrato (CKA), sono strumenti standard per confrontare le rappresentazioni neurali biologiche e artificiali. Questi metodi quantificano principalmente la similarità geometrica nei pattern di attività evocati dagli stimoli. Tuttavia, esiste una limitazione critica: l'accordo a livello di letture globali non determina come un sistema utilizza le prove locali degli stimoli. Le rappresentazioni possono allinearsi nello spazio delle attivazioni, ma differire significativamente nella loro sensibilità a piccole perturbazioni. Inoltre, le misure di similarità basate sulle attivazioni non sono invarianti rispetto a semplici trasformazioni a posteriori (ad esempio, traslazioni di sottoinsiemi fissi seguite da una centratura globale della media), che possono alterare i punteggi di similarità senza modificare il processo di codifica sottostante. Sebbene siano state proposte prospettive basate sui decoder e approcci di geometria locale per affrontare questo problema, spesso non specificano come le informazioni debbano essere aggregate attraverso gli stimoli o quale riepilogo a livello di dataset sia sufficiente per caratterizzare i compiti di discriminazione.

Metodologia

Gli autori propongono un framework basato sull'informazione localmente decodificabile, focalizzandosi sulla capacità di una rappresentazione di discriminare piccole perturbazioni all'interno di un sottospazio di coordinate degli stimoli specificato, in presenza di rumore.

1. Compiti di Perturbazione Locale e Geometria di Fisher

Il framework tratta una rappresentazione neurale come una mappa differenziabile $f: \mathbb{R}^d \to \mathbb{R}^m$. La sensibilità locale è caratterizzata dalla metrica di pullback $M_f(x) = J_f(x)^\top J_f(x)$, dove $J_f$ è lo Jacobiano.

• Definizione del Compito: Un compito di discriminazione locale consiste nel distinguere tra uno stimolo $s$ e uno stimolo perturbato $s + \eta$, data un'attività di popolazione rumorosa. La discriminabilità al quadrato $d'^2$ è governata dalla metrica di Fisher $I_{f,\psi}(s) = J_{hf}(s)^\top \Sigma^{-1} J_{hf}(s)$, dove $\Sigma$ è la covarianza del rumore.
• Riepilogo a Livello di Dataset: Per passare dalla sensibilità puntuale a un confronto a livello di rappresentazione, gli autori definiscono una Famiglia di Compiti Locali di Secondo Momento Proiettati. Fissando una famiglia di coordinate (parametrizzata da $\psi$) e un sottospazio di perturbazione (definito da una matrice ortonormale $P$), essi mediando la metrica di Fisher locale sulla distribuzione degli stimoli.
• L'Operatore: Il riepilogo minimo e completo a livello di dataset per questa famiglia è l'Operatore di Fisher Atteso Proiettato:
  $$F_{f,\psi,P,\Sigma} := \mathbb{E}_{s \sim \nu} [P^\top J_{hf}(s)^\top \Sigma^{-1} J_{hf}(s) P]$$
  Nel caso di rumore isotropo, questo si riduce alla Metrica di Pullback Attesa Proiettata $G_{f,\psi,P}$. Questo operatore caratterizza completamente la discriminabilità attesa per qualsiasi famiglia di perturbazioni di secondo momento definita da $P$.

2. Decomposizione: Guadagno e Forma

Gli autori decompongono l'operatore di riepilogo in:

• Guadagno ($\gamma$): La sensibilità totale attesa (traccia dell'operatore).
• Forma ($\hat{G}$): L'allocazione direzionale della sensibilità (operatore normalizzato per la traccia).
  Questo permette il confronto delle rappresentazioni basato sulla sensibilità totale rispetto alle direzioni specifiche nello spazio degli stimoli che esse amplificano o sopprimono.

3. Metrica di Confronto: S-RAS

Per confrontare questi riepiloghi definiti positivi (SPD), gli autori impiegano la Metrica Riemanniana Invariante per Affinità (AIRM) sulla varietà delle matrici SPD. Essi definiscono il Punteggio di Allineamento Riemanniano Spettrale (S-RAS):
$$S\text{-}RAS_P(f, g) = \exp\left[ -\frac{1}{\sqrt{k}} d_{AIRM}(\tilde{G}_{f,P}, \tilde{G}_{g,P}) \right]$$
dove $\tilde{G}$ è un sollevamento SPD scalato per la traccia utilizzato per la regolarizzazione. L'analisi teorica mostra che S-RAS fornisce un certificato moltiplicativo uniforme sulla famiglia di valori di compito sollevati, limitando il disaccordo nella discriminabilità attesa tra due rappresentazioni.

Contributi Chiave

1. Formalizzazione della Discriminazione Locale: Il lavoro definisce compiti di discriminazione di perturbazioni locali di secondo momento e identifica l'operatore di Fisher/pullback atteso proiettato come il riepilogo minimo e completo a livello di dataset per questi compiti.
2. Metrica S-RAS: Introduce un metodo di confronto consapevole della geometria (S-RAS) utilizzando la distanza spettrale logaritmica sulle matrici SPD, fornendo un punteggio di similarità normalizzato per la dimensione con garanzie teoriche sui limiti dei valori di compito.
3. Validazione Empirica: Il framework è stato validato su sistemi artificiali e biologici, dimostrando utilità nella corrispondenza tra livelli, sonde trasferibili, analisi di addestramento robusto e dati biologici.

Risultati Sperimentali

1. Corrispondenza tra Livelli (Reti Artificiali)

Utilizzando CNN Tiny10 addestrate indipendentemente, gli autori hanno testato se S-RAS potesse recuperare la corrispondenza attesa tra i livelli.

• Risultati: S-RAS ha ottenuto una corrispondenza significativa (85,3% di accuratezza a $K=768$ con perturbazioni casuali; 93,8% con PCA sbiancata), avvicinandosi alle prestazioni di forti baseline di attivazione come CKA lineare (94,4%).
• Confronto: S-RAS ha superato i controlli di geometria locale puntuale (AIRM puntuale e baseline in stile MSA), indicando che l'aggregazione degli operatori attesi della famiglia di compiti è superiore alla media delle discrepanze metriche puntuali.

2. Sonde Condizionate alla Classe Trasferibili

Gli autori hanno testato se i contrasti di sensibilità potessero essere esternalizzati in perturbazioni finite che generalizzano a immagini e modelli tenuti da parte.

• Risultati: Le sonde derivate dai contrasti di sensibilità condizionati alla classe (confrontando ResNet-18 e Small ViT) hanno prodotto una separazione delle immagini tenute da parte significativamente maggiore (1,10) rispetto ai controlli di contrasto casuale (0,43), sensibilità aggregata (0,31) e permutazione delle etichette (0,03). Ciò suggerisce che il metodo cattura strutture di prove locali condivise che si trasferiscono tra modelli.

3. Dissociazioni nell'Addestramento Robusto

Utilizzando banche ResNet-18 addestrate con ERM, PGD, TRADES e MART, gli autori hanno esaminato se il framework potesse distinguere i regimi di addestramento.

• Risultati: Le sonde derivate dal contrasto hanno separato con successo i modelli standard dai modelli robusti (PGD, TRADES, MART) su immagini tenute da parte. Il metodo ha anche rivelato differenze sottili tra gli obiettivi di addestramento robusto (ad esempio, separando PGD da TRADES), mostrando che le sonde sono sensibili a cambiamenti specifici nell'uso delle prove locali piuttosto che solo alle differenze di regime.

4. Applicazione Biologica (Allen Brain Observatory)

Il framework è stato applicato ai dati della corteccia visiva del topo utilizzando griglie statiche con coordinate $(\theta, \rho, \phi)$.

• Risultati: Nel matching di identità tra aree, il riepilogo Fisher Completo sensibile al rumore ha raggiunto un'accuratezza top-1 del 0,458, superando significativamente CKA (0,288) e la geometria ingenua. Nel benchmark più difficile VISp-depth, Fisher Completo (0,466) è rimasto competitivo con CKA (0,483).
• Insight: I risultati indicano che la struttura della sensibilità biologica dipende sia dalla sensibilità totale sensibile al rumore sia dall'allocazione direzionale. La scelta della famiglia di coordinate degli stimoli (ad esempio, $\rho + \phi$ rispetto all'insieme completo) impatta significativamente le prestazioni di matching, evidenziando la natura "relativa alla famiglia" della metrica.

Significato e Affermazioni

Il lavoro afferma che i confronti basati sulle attivazioni sono più informativi per l'organizzazione evocata dagli stimoli o per la struttura di lettura a valle, ma sono insufficienti per determinare se le rappresentazioni si basino sulle stesse prove locali degli stimoli. Il framework proposto offre una prospettiva complementare chiedendo se due rappresentazioni rendano discriminabili, in media, le stesse piccole direzioni degli stimoli.

Le affermazioni chiave includono:

• Similarità Relativa alla Famiglia: L'accordo è definito rispetto a una specifica famiglia di perturbazioni; le rappresentazioni possono allinearsi sotto una famiglia ma non sotto un'altra.
• Robustezza alle Trasformazioni: Poiché il metodo si basa sugli Jacobiani piuttosto che su nuvole di punti di attivazione, è insensibile agli spostamenti a posteriori costanti rispetto allo stimolo (ad esempio, centratura globale della media), affrontando una limitazione nota di CKA.
• Utilità Empirica: Il framework recupera con successo la corrispondenza tra livelli, genera sonde diagnostiche trasferibili, rivela dissociazioni nell'addestramento robusto e scopre sensibilità dipendente dalla famiglia nei dati biologici.

Gli autori mantengono un tono modesto, notando che il framework è locale, a livello di dataset e basato sul secondo momento. Non cattura ottimi condizionati all'immagine, effetti di ordine superiore o comportamenti fortemente non lineari di perturbazioni finite. Concludono che sono necessari benchmark più ampi per determinare quando la geometria della sensibilità a livello di dataset fornisca insight scientifici distintivi rispetto ai metodi esistenti.