Riepilogo Tecnico: Cosa Codificano gli INR di Cohort e Dove Congelarli

Enunciato del Problema

Le Rappresentazioni Neurali Implicite (INR) sono perceptron multistrato (MLP) basati su coordinate che apprendono approssimazioni funzionali continue di segnali. Un limite primario delle INR standard è che ogni rete adatta un singolo segnale da zero, con caratteristiche finemente sintonizzate sulla morfologia specifica di quel segnale. Ciò comporta elevati costi di ottimizzazione per segnale. Lavori recenti, in particolare STRAINER, tentano di mitigare ciò addestrando una "cohort" di INR che condividono i primi strati dell'encoder, mantenendo decodificatori specifici per segnale. L'encoder condiviso viene quindi utilizzato come inizializzazione per nuovi segnali.

Tuttavia, rimangono due domande critiche senza risposta riguardo a questo paradigma di transfer learning:

1. Quali strati dell'encoder condiviso trasportano effettivamente rappresentazioni trasferibili?
2. Cosa codificano quegli strati specifici?

I protocolli STRAINER attuali aggiornano ogni strato durante il fitting a tempo di test, impedendo l'isolamento della trasferibilità per strato. Inoltre, mentre nel transfer learning per visione e linguaggio le caratteristiche trasferibili sono spesso localizzate negli strati intermedi, non è chiaro se ciò valga per le INR, specialmente considerando che backbones dominanti come SIREN e MLP con caratteristiche di Fourier (FFMLP) codificano le posizioni delle coordinate attraverso meccanismi fondamentalmente diversi.

Metodologia

Gli autori propongono un approccio diagnostico a due fronti per analizzare le INR addestrate su cohort su tre dataset (CelebA-HQ, OASIS-MRI, Kodak) utilizzando due backbones (SIREN e FFMLP).

1. Localizzazione delle Rappresentazioni Trasferibili tramite Rango Stabile dei Pesi

Per identificare quali strati trasferiscono meglio, gli autori introducono un protocollo di sweep di congelamento a tempo di test. Invece di aggiornare tutti gli strati, congelano l'encoder fino a una profondità specifica $\tau$ e reinizializzano gli strati rimanenti e la testa del decoder. Valutano le prestazioni (PSNR) di nuovi segnali su tutte le possibili profondità di congelamento.

Per prevedere a priori la profondità di congelamento ottimale, utilizzano il rango stabile dei pesi ($sr(W_\ell)$) degli strati dell'encoder addestrati. A differenza del rango delle attivazioni, che dipende dalla distribuzione specifica dell'input, il rango stabile dei pesi è una proprietà intrinseca dei pesi appresi, che misura la dimensionalità efficace del sottospazio generato dalla matrice dei pesi. L'ipotesi è che lo strato con il più alto rango stabile dei pesi rappresenti lo strato di "embedding delle coordinate", che apprende le informazioni strutturali più riutilizzabili all'interno della cohort.

2. Caratterizzazione delle Rappresentazioni Codificate tramite Autoencoder Sparsi (SAE)

Per determinare cosa codificano gli strati trasferibili, gli autori applicano Autoencoder Sparsi (SAE) alle attivazioni nascoste degli encoder addestrati. Gli SAE decompongono le attivazioni dense in un dizionario sovradimensionato di "atomi" sparsi.

• Architettura: Un SAE TopK con $n=4096$ atomi e sparsità $k=32$ viene adattato alle attivazioni di ogni strato nascosto.
• Diagnostica:
  • Mappe degli Atomi: Visualizzazione dei pattern di attivazione spaziale degli atomi attraverso il dominio delle coordinate.
  • Ablazioni a Singolo Atomo: Rimozione sistematica di singoli atomi (azzerando il loro contributo) per misurare l'impatto causale sulla ricostruzione finale del segnale (calo del PSNR).

Risultati Chiave

1. La Profondità Ottimale di Congelamento Coincide con il Picco del Rango Stabile dei Pesi

Gli esperimenti rivelano che la profondità di congelamento ottimale $\tau^\star$ si allinea costantemente con lo strato che esibisce il picco del rango stabile dei pesi nell'encoder addestrato su cohort.

• SIREN: La profondità di congelamento ottimale è $\tau^\star = 1$. Il primo strato addestrabile ($W_1$) agisce come un embedding posizionale emergente, raggiungendo il rango di peso più alto.
• FFMLP: La profondità di congelamento ottimale è $\tau^\star = 0$. Poiché FFMLP utilizza una proiezione di Fourier fissa prima del primo strato addestrabile, l'embedding avviene esternamente e il primo strato addestrabile ($W_0$) opera su questo input ad alto rango.
• Prestazioni: Congelare a questa profondità specifica eguaglia o migliora significativamente la ricetta STRAINER standard (che aggiorna tutti gli strati). Notabilmente, sul dataset ad alta risoluzione Kodak, il protocollo di congelamento produce guadagni di +3.1 dB per SIREN e +1.3 dB per FFMLP in media, poiché previene che il modello sprechi il budget limitato di ottimizzazione a tempo di test nel riapprendere l'embedding delle coordinate.

2. Dizionario Qualitativamente Diverso: Localizzazione vs Memorizzazione

Nonostante raggiungano una qualità di adattamento alla cohort comparabile, SIREN e FFMLP apprendono rappresentazioni interne fondamentalmente diverse:

• SIREN (Localizzato): Gli atomi SAE sono spazialmente localizzati, che piastrellano il piano delle coordinate. Ogni atomo si attiva in una regione confinata indipendente dal contenuto specifico della cohort. Ciò suggerisce che SIREN apprende un codice posizionale indipendente dal contenuto.
• FFMLP (Che Copre l'Immagine/Memorizzato): Gli atomi sono che coprono l'immagine e diffusi. Tracciano i contorni dei segnali della cohort memorizzati (ad esempio, caratteristiche facciali in CelebA, anatomia cerebrale in OASIS). Il dizionario si concentra su pochi atomi ad alta magnitudine che coprono grandi porzioni dell'immagine.

3. Validazione Causale tramite Ablazione

Le ablazioni a singolo atomo confermano il ruolo causale di questi dizionari:

• SIREN: Ablare un singolo atomo causa cali di PSNR (2–3 dB) confinati strettamente alla regione spaziale in cui quell'atomo si attiva. Gli altri atomi compensano per il resto dell'immagine.
• FFMLP: Ablare un singolo atomo causa un degrado globale, con cali di PSNR fino a 10.6 dB su tutta l'immagine. Ciò indica che FFMLP si affida a pochi "super-atomi" per ricostruire la struttura globale del segnale, memorizzando efficacemente il contenuto della cohort.

Significato e Affermazioni

Il paper afferma di fornire il primo resoconto meccanicistico di ciò che viene trasferito nelle INR addestrate su cohort.

• Strumento Diagnostico: La metrica del rango stabile dei pesi offre un metodo calcolabile e privo di dati target per identificare la profondità ottimale dello strato trasferibile, eliminando la necessità di sweep degli iperparametri.
• Interpretabilità: Decomponendo le attivazioni INR in atomi sparsi, gli autori trasformano le attivazioni "scatola nera" in atomi del dizionario ispezionabili, rivelando che SIREN codifica una struttura posizionale riutilizzabile mentre FFMLP codifica contenuti memorizzati.
• Insight Architettonico: I risultati suggeriscono che la scelta architettonica (SIREN vs FFMLP) determina se la rete apprende prior strutturali generalizzabili o si adatta eccessivamente ai segnali della cohort memorizzati.
• Direzione Futura: Questi strumenti aprono una strada verso la caratterizzazione delle codifiche INR e la progettazione di architetture specificamente per la generalizzazione piuttosto che per la memorizzazione.

Gli autori notano limitazioni, tra cui il fatto che l'analisi è attualmente ristretta ai backbones SIREN e FFMLP e non caratterizza ancora il significato semantico dei singoli atomi (ad esempio, bordi, colori) o esplora la guida delle ricostruzioni oltre le ablazioni a singolo atomo.