Is Class Signal Clustered or Routed in Task-Induced Implicit Neural Representation Weight Spaces?

Sintesi Tecnica: Il Segnale di Classe è Clusterizzato o Instradato negli Spazi dei Pesanti delle Rappresentazioni Neurali Implicite Indotte dal Compito?

Enunciato del Problema
Le Rappresentazioni Neurali Implicite (INR) codificano le immagini come parametri (pesi) di reti neurali, trasformando la classificazione delle immagini in un problema di classificabilità nello spazio dei pesi. Un'ipotesi geometrica prevalente suggerisce che il feedback del classificatore dovrebbe organizzare i pesi specifici dell'immagine in cluster distinti e allineati alla classe all'interno di uno spazio di coordinate condiviso (specificamente, una coordinata residua rispetto a un'inizializzazione condivisa). Se ciò fosse vero, le proprietà geometriche grezze di questi pesi (ad esempio, la coerenza del vicino più prossimo, la struttura spettrale) dovrebbero correlarsi direttamente con l'accuratezza della classificazione. Questo articolo indaga se i pesi delle INR indotti dal compito siano intrinsecamente "clusterizzati" per classe nella loro geometria nativa o se la classificabilità sia invece "instradata" attraverso il meccanismo di lettura a valle.

Metodologia
Gli autori utilizzano il framework Meta Weight Transformer (MWT), che meta-impara un'inizializzazione condivisa SIREN (Sinusoidal Representation Network) e un programma di aggiornamento interno. In questo regime, le SIREN specifiche per immagine vengono adattate tramite pochi passi di gradiente da un'ancora condivisa $\theta$, producendo una coordinata residua $\Delta_x = \phi_x - \theta$. Un lettore addestrato classifica quindi questi pesi.

Lo studio confronta due ipotesi in competizione:

1. Ipotesi Clusterizzata: Le informazioni di classe sono scritte direttamente nella coordinata ancorata. Pertanto, le diagnosi geometriche esposte (coerenza del vicino più prossimo, riepiloghi dei componenti, statistiche spettrali) dovrebbero tracciare in modo monotono l'accuratezza del lettore addestrato. La pressione di clustering supervisionata (ad esempio, Center Loss) dovrebbe migliorare sia la geometria locale che le prestazioni del lettore.
2. Ipotesi Instradata: Le informazioni di classe esistono nei pesi ma non sono disposte come semplici cluster metrici nella coordinata grezza. Invece, il lettore costruisce una geometria allineata alla classe attraverso le interazioni dei token. La classificabilità dipende da canali specifici e instradati all'interno dei token di peso aumentati piuttosto che dalla struttura geometrica globale.

Gli autori impiegano una serie di diagnosi e interventi:

• Divario Geometria vs. Accuratezza: Misurano la geometria della coordinata esposta (ad esempio, coerenza di classe 5-NN) rispetto all'accuratezza Top-1 del lettore addestrato sotto diverse pressioni di addestramento (clusterizzata vs. non clusterizzata).
• Diagnosi del Flusso dei Token: Tracciano i vicini coerenti con la classe dall'input del lettore attraverso i blocchi trasformatori successivi per identificare dove la struttura di classe diventa leggibile.
• Interventi Causali: Mirano a coordinate specifiche all'interno del token aumentato, in particolare all'voce di bias SIREN ($b$), per verificare se funge da percorso di lettura causale.
• Controlli di Risposta Funzionale: Confrontano il lettore di pesi con un "lettore di risposta funzionale" che classifica basandosi su uscite SIREN sparse senza accedere ai pesi, per escludere la possibilità che il lettore sfrutti semplicemente la funzione realizzata piuttosto che la geometria dei pesi.

Risultati Chiave

1. Il Divario Geometria-Classificabilità: La geometria della coordinata grezza esposta non predice in modo affidabile l'accuratezza del lettore addestrato. Crucialmente, applicare una "pressione di cluster" (perdite di compattezza supervisionate) migliora la coerenza del vicinato locale (ad esempio, l'accuratezza 5-NN aumenta) ma diminuisce l'accuratezza Top-1 del lettore addestrato. Questo disaccoppiamento smentisce l'idea che il clustering geometrico grezzo sia il principale motore della classificabilità.
2. Costruzione della Geometria da parte del Lettore: I vicinaggi allineati alla classe non sono presenti all'input del lettore. Le diagnosi del flusso dei token mostrano che la coerenza di classe del vicino più prossimo aumenta significativamente solo negli stati tardivi del lettore (ad esempio, blocco $h^{(9)}$), indicando che il lettore costruisce attivamente rappresentazioni allineate alla classe piuttosto che ereditarle dalla coordinata di input.
3. Il Percorso della Colonna di Bias: Gli autori identificano la coordinata di bias SIREN ($b$) all'interno del token aumentato come un percorso di lettura causale e compatto. Gli interventi che neutralizzano o mescolano la coordinata $b$ causano cali significativi nell'accuratezza (13,5–20,3 punti percentuali), mentre interventi corrispondenti sulle coordinate di peso ($W$) hanno effetti trascurabili. Il percorso di bias dipende dal campione ed è distinto dagli spostamenti posizionali appresi.
4. Interventi Non Additivi: Gli interventi che mirano al meccanismo di instradamento (ad esempio, lettori di percorso di bias espliciti, instradamento di adattamento stocastico) spesso superano la linea di base, ma i loro guadagni non si compongono in modo additivo. Ciò suggerisce che i guadagni dipendono dallo stato specifico del lettore e dall'interazione dei percorsi, piuttosto che essere miglioramenti modulari indipendenti.
5. Limitazioni della Risposta Funzionale: Un lettore che utilizza solo risposte funzionali sparse (senza accesso ai pesi) non riesce a riprodurre la classificazione dell'emittente ottenuta dal lettore di pesi, confermando che il lettore di pesi si basa su strutture specifiche dei token di peso (come il percorso di bias) piuttosto che semplicemente sull'output della funzione.

Contributi Chiave

1. Formulazione Clusterizzata-vs-Instradata: Il paper stabilisce una distinzione formale tra la classificabilità come proprietà geometrica ereditata dei pesi e come proprietà costruita dell'elaborazione dei token del lettore.
2. Divario Geometria-Classificabilità: Dimostra che la struttura della coordinata esposta (anche quando costretta a essere compatta) non spiega il comportamento del lettore addestrato, sfidando l'assunzione che l'apprendimento nello spazio dei pesi si basi sulla geometria metrica grezza.
3. Spiegazione dell'Instradamento del Lettore: Localizza un meccanismo specifico e visibile al lettore (la colonna di bias SIREN) che agisce come un percorso causale a bassa dimensionalità per i segnali di classe, validato attraverso interventi mirati e controlli.

Significato e Affermazioni
Il paper conclude che negli spazi globali dei pesi SIREN indotti dal compito, i segnali di classe sono instradati piuttosto che clusterizzati. Gli autori sostengono che la struttura di classe utilizzabile non è una proprietà intrinseca dei vicinaggi metrici grezzi o di sonde superficiali nella coordinata nativa. Invece, il lettore addestrato costruisce una geometria allineata alla classe attraverso interazioni tardive dei token, utilizzando canali specifici come la voce di bias SIREN come percorsi di lettura causali.

Il significato risiede nello spostare il focus dell'apprendimento nello spazio dei pesi dalla ricerca di cluster geometrici grezzi alla comprensione dei meccanismi di lettura. I risultati suggeriscono che gli interventi dovrebbero mirare ai percorsi di instradamento e agli stati del lettore che rendono utilizzabili le informazioni di classe, piuttosto che tentare di imporre una compattezza geometrica grezza nelle coordinate dei pesi. Gli autori rimangono modesti, notando che le loro affermazioni sono specifiche al regime MWT e agli spazi globali SIREN indotti dal compito, e non si generalizzano necessariamente a tutte le architetture INR o alle geometrie degli spazi quoziente.