A Unifying Framework for Concept-Based Representational Similarity

Sintesi Tecnica: Un Framework Unificante per la Similitudine di Rappresentazione Basata su Concetti

Definizione del Problema

I moderni modelli di deep learning mostrano spesso sorprendenti similitudini strutturali nelle loro rappresentazioni interne, suggerendo decomposizioni di concetti sottostanti condivise tra architetture, inizializzazioni e modalità. Tuttavia, la nozione di "allineamento dei concetti" rimane scarsamente definita. La letteratura esistente utilizza la stessa terminologia per ottimizzare obiettivi differenti, oscurando quali proprietà specifiche vengano effettivamente allineate. Inoltre, non è chiaro se l'ottimizzazione di un obiettivo di allineamento (ad esempio, la traslazione) recuperi in modo affidabile altri (ad esempio, la coerenza concettuale), o se obiettivi puramente non supervisionati, di tipo distribuzionale, possano recuperare un allineamento significativo a livello di istanza. Il paper sostiene che gli attuali metodi manchino di un framework rigoroso per distinguere tra l'allineamento delle rappresentazioni rispetto all'allineamento dei concetti, e tra l'allineamento per istanza rispetto a quello distribuzionale.

Metodologia: Un Framework Unificante

Gli autori propongono un framework formale che decompone l'allineamento dei concetti lungo due assi:

1. Cosa viene allineato: Rappresentazioni (traslazione) vs. Concetti (coerenza concettuale).
2. Livello di allineamento: Per istanza (punti dati specifici) vs. Distribuzionale (proprietà statistiche dei dati).

Questa decomposizione genera quattro proprietà fondamentali:

• Traslazione per istanza ($P_{tr}$): La capacità di mappare una rappresentazione dal sistema $i$ al sistema $j$ ($(\psi^{-1}_j \circ \psi_i)(x_i) = x_j$).
• Coerenza concettuale per istanza ($P_{cont}$): La capacità di entrambi i sistemi di recuperare la stessa vista compressa di uno spazio concettuale condiviso ($\psi_i(x_i) = \psi_j(x_j)$).
• Traslazione distribuzionale ($P^{dist}_{tr}$): La misura pushforward della traslazione corrisponde alla distribuzione target.
• Coerenza concettuale distribuzionale ($P^{dist}_{cont}$): Le misure pushforward degli spazi concettuali corrispondono.

Il framework operazionalizza queste proprietà come termini di regolarizzazione nella funzione di perdita (loss) di addestramento degli Sparse Autoencoders (SAE). Gli autori analizzano le relazioni teoriche tra queste proprietà, notando che, sebbene la traslazione e la coerenza concettuale siano teoricamente equivalenti sotto rigidi assunti di iniettività e ricostruzione, tali condizioni spesso falliscono nella pratica.

Per valutare queste proprietà, gli autori introducono InterVenchA, un benchmark diagnostico che estende SAEBench. Esso separa la valutazione in:

• Qualità di Estrazione ($M_{extract}$): Quanto bene l'SAE ricostruisce e disentra le feature all'interno di un singolo dominio.
• Qualità di Traslazione ($M_{tr}$): Quanto bene i concetti appresi in un dominio si trasferiscono per ricostruire un altro (indipendentemente dalla coerenza).
• Coerenza Concettuale ($M_{cont}$): Quanto bene lo stesso insieme di concetti cattura informazioni rilevanti per il compito attraverso diversi domini (indipendentemente dalla traslazione).

Soluzione Proposta: Coupled Sparse Autoencoder (CoSAE)

Sulla base del riscontro che nessun singolo obiettivo è sufficiente, gli autori propongono CoSAE, un framework SAE modulare che impone congiuntamente obiettivi di allineamento complementari. CoSAE combina:

• Perdita di ricostruzione ($L_{dcy}$).
• Perdita di traslazione per istanza ($L_{tr}$) su un piccolo sottoinsieme di dati accoppiati.
• Perdita di coerenza concettuale per istanza ($L_{cont}$) sullo stesso set di dati accoppiati.
• Perdite di allineamento distribuzionale ($L^{dist}_{tr}$ e $L^{dist}_{cont}$) sull'intero dataset.

Crucialmente, il metodo si affida all'"ancoraggio" (anchoring) degli obiettivi distribuzionali con una quantità minima di dati accoppiati (anche solo lo 0,1% del dataset) per risolvere l'indeterminabilità del problema di trasporto.

Risultati Chiave

Attraverso esperimenti su dati sintetici, modelli di visione (ViT, DinoV2, SigLIP) e codificatori multimodali (CLIP, OpenCLIP), gli autori dimostrano:

1. Fallimento delle Equivalenze: Le equivalenze comunemente assunte tra gli obiettivi di allineamento non valgono nella pratica.

   • L'ottimizzazione della traslazione non recupera in modo affidabile la coerenza concettuale, e viceversa.
   • La coerenza ciclica (spesso usata come surrogato della traslazione in contesti senza coppie) non è un proxy fedele dell'allineamento; un'alta coerenza ciclica può coesistere con un scarso allineamento.
   • Gli obiettivi puramente distribuzionali falliscono nel recuperare l'allineamento a livello di istanza a causa dell'indeterminabilità del problema di trasporto.

2. Necessità di Ottimizzazione Multi-Obiettivo: Un forte allineamento emerge solo quando traslazione e coerenza concettuale vengono regolarizzate esplicitamente insieme.

   • In embedding reali, ottimizzare solo $L_{tr}$ migliora la traslazione ma non la coerenza; ottimizzare solo $L_{cont}$ migliora la coerenza ma degrada la qualità di estrazione.
   • Solo la combinazione di entrambi produce punteggi elevati in entrambi i parametri.

3. Efficacia della Supervisione Scarsa: La strategia di "ancoraggio" è altamente efficace. L'uso di appena 1 coppia corrispondente su 1.000 per ancorare gli obiettivi distribuzionali permette a CoSAE di recuperare un forte allineamento a livello di istanza, eguagliando o superando le prestazioni di modelli addestrati con supervisione completa per istanza.

4. Prestazioni: CoSAE supera i metodi allo stato dell'arte, inclusi Crosscoders, Universal SAEs (USAEs) e SAE-Aligned (SAE-A), in tutti i parametri di allineamento ($M_{tr}$ e $M_{cont}$). Notevolmente, i Crosscoders, che impongono la coerenza tramite vincoli architettonici (sommando i codici), non riescono a mantenere encoder indipendenti robusti, mentre CoSAE mantiene encoder individuali solidi.

5. Utilità Downstream: L'allineamento appreso da CoSAE supporta prestazioni competitive di zero-shot transfer (ad esempio, classificazione ImageNet) comparabili ai metodi che utilizzano proiettori densi, nonostante CoSAE si basi su sparse autoencoders.

Significato e Rivendicazioni

Il paper sostiene che l'allineamento dei concetti sia fondamentalmente un problema multi-obiettivo che non può essere catturato da un singolo obiettivo surrogato. Gli autori argomentano che:

• I metodi esistenti spesso confondono concetti distinti, portando a interpretazioni ambigue di "allineamento".
• Una definizione rigorosa che distingua tra allineamento di rappresentazione vs. concetti e tra livelli di istanza vs. distribuzionali è necessaria per il progresso.
• La più forte prestazione pratica non deriva dall'ottimizzazione perfetta di un singolo obiettivo, ma dalla combinazione di regolarizzatori complementari con una supervisione minima.

Gli autori posizionano CoSAE non solo come un nuovo modello, ma come una conseguenza costruttiva di una comprensione teorica più chiara dell'allineamento. Enfatizzano che un allineamento significativo richiede il rispetto della struttura del problema sia nella valutazione che nel design del metodo, allontanandosi dai metriche a punteggio singolo verso una famiglia di obiettivi accoppiati.

Limitazioni Riconosciute:

• Il framework si concentra sulla struttura condivisa e non modella esplicitamente caratteristiche idiosincratiche o specifiche del dominio oltre l'auto-ricostruzione.
• La valutazione si basa su metriche proxy piuttosto che su concetti di verità fondamentale (ground-truth), il che significa che l'allineamento semantico e il trasferimento funzionale potrebbero non sempre coincidere.
• L'obiettivo combinato introduce una sensibilità agli iperparametri.
• La validazione empirica è limitata a specifiche architetture e dataset, sebbene il framework sia inteso come generalizzabile.