Technische Samenvatting: Het Overbruggen van Functionele en Representatieve Gelijkenis via Bruikbare Informatie

Probleemstelling

Het vakgebied van deep learning is sterk afhankelijk van het vergelijken van interne neurale representaties om te begrijpen hoe verschillende systemen informatie verwerken, kennis overdragen en structuren organiseren. De literatuur mist echter momenteel een unifyend kader om "gelijkenis" tussen representaties te definiëren en te meten. Bestaande benaderingen zijn doorgaans opgesplitst in twee losjes gedefinieerde categorieën:

1. Functionele Gelijkenis: Beoordelen of representaties dezelfde downstream-gedragingen ondersteunen (bijvoorbeeld via model stitching of lineaire probes).
2. Representatieve Gelijkenis: Beoordelen of representaties invoerinformatie op dezelfde structurele manier coderen (bijvoorbeeld via CKA, RSA of Procrustes-analyse).

Deze concepten zijn geïsoleerd bestudeerd, wat heeft geleid tot een kloof tussen functionele methoden (die zich richten op taakprestaties) en geometrische metrieken (die zich richten op uitlijning in de kenmerkruimte). Bovendien ontbreekt het standaardmetrieken vaak aan een rigoureuze theoretische onderbouwing met betrekking tot welke informatie daadwerkelijk wordt vergeleken of hoe de capaciteit van de waarnemer (het voorspellende model) de meting beïnvloedt.

Methodologie

De auteurs stellen een unifyend kader voor dat is gebaseerd op de Theorie van Bruikbare Informatie (Xu et al., 2020). Deze theorie beperkt de informatiestroom tot een specifieke "voorspellende familie" $\mathcal{V}$, waarbij wordt erkend dat niet alle statistische afhankelijkheid in een representatie exploiteerbaar is door een downstream-model met beperkte capaciteit.

Theoretisch Kader

Het artikel herdefinieert gelijkenis door de lens van voorwaardelijke wederzijdse informatie en Markov-deken:

• Functionele Gelijkenis: Twee representaties $Z_1$ en $Z_2$ zijn functioneel gelijk met betrekking tot een taak $Y$ als ze wederzijdse Markov-dekens vormen. Dit impliceert $I(Y; Z_2 | Z_1) = I(Y; Z_1; Z_2) = 0$. De auteurs formaliseren Model Stitching als een mechanisme om dit te schatten: als $Z_1$ kan worden "gesticht" in $Z_2$ zonder verlies aan prestaties, bevat $Z_1$ alle taakrelevante informatie van $Z_2$. Cruciaal is dat zij bewijzen dat deze relatie inherent asymmetrisch is; robuuste functionele gelijkenis vereist bidirectioneel stichten.
• Representatieve Gelijkenis: Gedefinieerd als functionele gelijkenis waarbij de taak $Y$ de invoer $X$ zelf is ($I(X; Z_2 | Z_1) = 0$). Dit impliceert dat de representaties identieke informatie over de invoer bevatten.
• Hiërarchie van Granulariteit: De auteurs stellen een monotoon verband vast: gelijkenis op een complexe taak garandeert gelijkenis op elke grovere afgeleide taak. Bijgevolg is representatieve gelijkenis (het reconstrueren van de invoer) de sterkste voorwaarde, die functionele gelijkenis garandeert voor alle afgeleide taken.

Empirische Methodologie

Om deze theoretische claims te valideren, voerden de auteurs een grootschalige empirische studie uit met:

• Schaal: 58 getrainde modellen over 14 verschillende architecturen (waaronder Lineair, CNN's zoals ResNet, DenseNet, ShuffleNet en MobileNet) en 6 datasets (MNIST, CIFAR-10/100, SVHN, Tiny-ImageNet, ImageNet).
• Vergelijkingen: 12.459 verschillende laag-tot-laag vergelijkingen.
• Stitching-families: De studie gebruikte drie specifieke families van stitchers (voorspellende families $\mathcal{V}$) om de impact van expressiviteit te testen:
  1. Affien: Onbeperkte lineaire kaarten.
  2. Orthogonaal + Isotrope Schaling: Procrustes-achtige beperkingen.
  3. Orthogonaal: Strikte rotatiebeperkingen.
• Metrieken: De auteurs vergeleken standaardmetrieken (CKA, RSA, SVCCA) met hun voorgestelde scores gebaseerd op bruikbare informatie (genormaliseerde reconstructiefout).

Belangrijkste Bijdragen

1. Unifyend Kader via Bruikbare Informatie: Het artikel koppelt model stitching theoretisch aan bruikbare voorwaardelijke wederzijdse informatie. Het toont aan dat functionele gelijkenis geen absolute eigenschap is, maar wordt gedefinieerd in relatie tot de capaciteit van de voorspellende familie $\mathcal{V}$.
2. Hertolking van Standaardmetrieken: De auteurs tonen empirisch en theoretisch aan dat standaard geometrische metrieken (CKA, RSA, Procrustes) geen willekeurige maten zijn, maar specifieke schatters van bruikbare informatie onder specifieke beperkingen (bijvoorbeeld orthogonale transformaties).
3. De Hiërarchie van Gelijkenis:
   • Asymmetrie: Zij bewijzen dat stichten inherent asymmetrisch is; een enkele directionele stitcher is onvoldoende om functionele gelijkenis te claimen.
   • Voldoende versus Noodzakelijk: Zij tonen aan dat representatieve gelijkenis een voldoende maar niet noodzakelijke voorwaarde is voor functionele gelijkenis. Representaties kunnen functioneel gelijk zijn (dezelfde taak oplossen) terwijl ze representatief verschillend zijn (verschillende storende variabelen coderen).
   • Taakgranulariteit: Zij stellen vast dat representatieve gelijkenis (invoerreconstructie) de limiet is van maximale granulariteit, en functionele gelijkenis garandeert voor alle grovere taken.

Experimentele Resultaten

• Asymmetrie van Stichten: Analyse van 12.459 paren onthulde een zwaarstaartige verdeling van nauwkeurigheidsverschillen tussen voorwaartse en omgekeerde stitchers, wat bevestigt dat functionele gelijkenis vaak asymmetrisch is. Eén representatie bevat vaak de informatie van een andere zonder dat het omgekeerde waar is.
• Monotonie van Representatieve Gelijkenis: De studie valideerde dat scores voor representatieve gelijkenis toenemen naarmate de voorspellende familie expressiever wordt. Representaties die onder rigide Procrustes-beperkingen (Orthogonaal) verschillend lijken, lijken vaak bijna identiek onder expressievere Affiene transformaties.
• Alignering van Metrieken: Standaardmetrieken toonden een sterke correlatie met de voorgestelde scores voor bruikbare informatie. Specifiek liepen CKA ($R^2=0,937$) en RSA ($R^2=0,912$) nauw overeen met de representatieve gelijkenis afgeleid van Orthogonale + Schaling stitchers, wat de hypothese ondersteunt dat deze metrieken fungeren als proxies voor bruikbare informatie onder specifieke transformatiegroepen.
• Validatie van Hiërarchie: Met behulp van CIFAR-100 (fijne klassen versus grove superklassen) bevestigden de auteurs dat functionele gelijkenis op een grove taak consistent een bovengrens vormt voor gelijkenis op de fijne taak.
• Voldoende van Representatieve Gelijkenis: Naarmate representatieve gelijkenis naar 1,0 naderde, convergeerde de kans op functionele gelijkenis naar 1,0. Echter, werd hoge functionele gelijkenis vaak waargenomen zelfs bij lage representatieve gelijkenis, wat bevestigt dat representatieve gelijkenis geen noodzakelijke voorwaarde is.

Betekenis en Claims

Het artikel claimt de kloof tussen functionele en representatieve gelijkenis te overbruggen door beide te gronden in de theorie van bruikbare informatie. De auteurs betogen dat gelijkenis geen intrinsieke eigenschap is van de representaties alleen, maar relatief is tot de computationele beperkingen van de voorspellende familie die wordt gebruikt om ze te vergelijken.

Door deze concepten te unifyen, biedt het artikel een rigoureuze theoretische rechtvaardiging voor waarom standaardmetrieken werken en onder welke voorwaarden ze falen. Het verschuift het paradigma van het zoeken naar een "universele" gelijkenismetriek naar het expliciet definiëren van de voorspellende familie $\mathcal{V}$ die bepaalt wat "gelijk" betekent voor een specifieke toepassing. Het werk concludeert dat hoewel representatieve gelijkenis functionele gelijkenis garandeert voor alle taken, het omgekeerde niet waar is, wat benadrukt dat modellen identieke taakprestaties kunnen bereiken via fundamenteel verschillende interne representaties.