A Unifying Framework for Concept-Based Representational Similarity

Technische Samenvatting: Een Verenigend Kader voor Conceptuele Representatieve Gelijkenis

Probleemstelling

Moderne deep learning-modellen vertonen vaak opvallende structurele gelijkenissen in hun interne representaties, wat duidt op gedeelde onderliggende conceptuele decomposities over architecturen, initialisaties en modaliteiten heen. Echter, het begrip "conceptuele uitlijning" (concept alignment) blijft slecht gedefinieerd. Bestaande literatuur gebruikt dezelfde terminologie om verschillende doelstellingen te optimaliseren, waardoor het onduidelijk blijft welke specifieke eigenschappen daadwerkelijk worden uitgelijnd. Bovendien is het onduidelijk of het optimaliseren van één uitlijningsobjectief (bijv. translatie) betrouwbaar andere objectieven (bijv. conceptconsistentie) herstelt, of dat puur ongesuperviseerde, distributionele objectieven betekenisvolle instantie-niveau uitlijning kunnen herstellen. Het artikel betoogt dat huidige methoden een rigoureus kader missen om onderscheid te maken tussen het uitlijnen van representaties versus het uitlijnen van concepten, en tussen instantie-niveau versus distributioneel uitlijning.

Methodologie: Een Verenigend Kader

De auteurs stellen een formeel kader voor dat conceptuele uitlijning ontleedt langs twee assen:

1. Wat wordt uitgelijnd: Representaties (translatie) versus Concepten (conceptconsistentie).
2. Niveau van uitlijning: Instantie-niveau (specifieke datapunten) versus Distributioneel (statistische eigenschappen van de data).

Deze decompositie levert vier fundamentele eigenschappen op:

• Instantie-niveau Translatie ($P_{tr}$): Het vermogen om een representatie van systeem $i$ naar systeem $j$ te mappen ($(\psi^{-1}_j \circ \psi_i)(x_i) = x_j$).
• Instantie-niveau Conceptconsistentie ($P_{cont}$): Het vermogen van beide systemen om dezelfde gecomprimeerde weergave van een gedeelde conceptruimte te herstellen ($\psi_i(x_i) = \psi_j(x_j)$).
• Distributionele Translatie ($P^{dist}_{tr}$): De pushforward-maat van de translatie komt overeen met de doelverdeling.
• Distributionele Conceptconsistentie ($P^{dist}_{cont}$): De pushforward-maten van de conceptruimtes komen overeen.

Het kader operationaliseert deze eigenschappen als regularisatietermen in de trainingsverliesfunctie van Sparse Autoencoders (SAEs). De auteurs analyseren de theoretische relaties tussen deze eigenschappen en merken op dat hoewel translatie en conceptconsistentie theoretisch equivalent zijn onder strikte injectiviteit en reconstructie-aannames, deze condities in de praktijk vaak niet standhouden.

Om deze eigenschappen te evalueren, introduceren de auteurs InterVenchA, een diagnostische benchmark die SAEBench uitbreidt. Het splitst de evaluatie op in:

• Extractiekwaliteit ($M_{extract}$): Hoe goed de SAE de reconstructie en ontwarring (disentanglement) van features binnen een enkel domein uitvoert.
• Translatiekwaliteit ($M_{tr}$): Hoe goed concepten die in één domein zijn geleerd, overdragen naar de reconstructie van een ander domein (onafhankelijk van consistentie).
• Conceptconsistentie ($M_{cont}$): Hoe goed dezelfde set concepten relevante informatie over verschillende domeinen heen vastlegt (onafhankelijk van translatie).

Voorgestelde Oplossing: Coupled Sparse Autoencoder (CoSAE)

Op basis van de bevinding dat geen enkel objectief volstaat, stellen de auteurs CoSAE voor, een modulair SAE-raamwerk dat complementaire uitlijningsobjectieven gezamenlijk afdwingt. CoSAE combineert:

• Reconstructieverlies ($L_{dcy}$).
• Instantie-niveau translatieverlies ($L_{tr}$) op een kleine subset van gepaarde data.
• Instantie-niveau conceptconsistentieverlies ($L_{cont}$) op dezelfde gepaarde data.
• Distributionele uitlijningsobjectieven ($L^{dist}_{tr}$ en $L^{dist}_{cont}$) op de volledige dataset.

Cruciaal is dat de methode vertrouwt op "verankering" (anchoring) van distributionele objectieven met een minimale hoeveelheid gepaarde data (slechts 0,1% van de dataset) om de onidentificeerbaarheid van het transportprobleem op te lossen.

Belangrijkste Resultaten

Door experimenten op synthetische data, visiemodellen (ViT, DinoV2, SigLIP) en multimodale encoders (CLIP, OpenCLIP) demonstreren de auteurs:

1. Het Falen van Equivalenties: Veelvoorkomende aangenomen equivalenties tussen uitlijningsobjectieven houden in de praktijk geen stand.

   • Het optimaliseren van translatie herstelt niet betrouwbaar conceptconsistentie, en vice versa.
   • Cycle consistency (vaak gebruikt als surrogaat voor translatie in settings zonder paren) is geen getrouwe proxy voor uitlijning; een hoge cycle consistency kan naast een slechte uitlijning bestaan.
   • Zuiver distributionele objectieven falen in het herstellen van uitlijning op instantieniveau vanwege de onidentificeerbaarheid van het transportprobleem.

2. Noodzaak van Multi-Objective Optimalisatie: Sterke uitlijning ontstaat alleen wanneer translatie en conceptconsistentie expliciet samen worden geregulariseerd.

   • In echte embeddings leidt het optimaliseren van $L_{tr}$ alleen tot verbeterde translatie maar niet tot consistentie; het optimaliseren van $L_{cont}$ alleen leidt tot verbeterde consistentie maar verslechtert de extractiekwaliteit.
   • Alleen de combinatie van beide levert hoge scores op voor beide metrieken.

3. Effectiviteit van Schaarse Supervisie: De "verankeringsstrategie" is zeer effectief. Het gebruik van slechts 1 op de 1.000 gematchte paren om distributionele objectieven te verankeren, stelt CoSAE in staat om sterke uitlijning op instantieniveau te herstellen, waarbij de prestaties van modellen die getraind zijn met volledige instantie-niveau supervisie evenaren of overtreffen.

4. Prestaties: CoSAE presteert beter dan state-of-the-art methoden, inclusief Crosscoders, Universal SAEs (USAEs) en SAE-Aligned (SAE-A), over alle uitlijningsmetrieken ($M_{tr}$ en $M_{cont}$). Opvallend genoeg falen Crosscoders, die consistentie afdwingen via architecturale beperkingen (het sommeren van codes), erin om sterke standalone encoders te behouden, terwijl CoSAE robuuste individuele encoders behoudt.

5. Downstream Nut: De door CoSAE geleerde uitlijning ondersteunt competitieve zero-shot transfer prestaties (bijv. ImageNet classificatie) die vergelijkbaar zijn met methoden die dichte projectoren gebruiken, ondanks het feit dat CoSAE op sparse autoencoders vertrouwt.

Betekenis en Claims

Het artikel claimt dat conceptuele uitlijning fundamenteel een multi-objective probleem is dat niet door een enkel surrogaat-objectief kan worden gevangen. De auteurs stellen dat:

• Bestaande methoden vaak verschillende eigenschappen verwarren, wat leidt tot ambigue interpretaties van "uitlijning".
• Een rigoureuze definitie die onderscheid maakt tussen representatie- versus conceptuele uitlijning en tussen instantie- versus distributionele niveaus noodzakelijk is voor vooruitgang.
• De sterkste praktische prestaties niet voortkomen uit het perfect optimaliseren van één objectief, maar uit het combineren van complementaire regularisaties met minimale supervisie.

De auteurs positioneren CoSAE niet alleen als een nieuw model, maar als een constructief gevolg van een helderder theoretisch begrip van uitlijning. Ze benadrukken dat betekenisvolle uitlijning vereist dat de structuur van het probleem gerespecteerd wordt in zowel evaluatie als methodeontwerp, waarbij de focus verschuift van single-score metrieken naar een gekoppelde familie van objectieven.

Erkende Beperkingen:

• Het kader richt zich op gedeelde structuur en modelleert niet expliciet idiosyncratische of domeinspecifieke features buiten zelf-reconstructie.
• Evaluatie vertrouwt op proxy-metrieken in plaats van grondwaarheid-concepten, wat betekent dat semantische uitlijning en functionele transfer niet altijd samenvallen.
• Het gecombineerde objectief introduceert hyperparametergevoeligheid.
• Empirische validatie is beperkt tot specifieke architecturen en datasets, hoewel het kader bedoeld is om generaliseerbaar te zijn.