A framework for analyzing concept representations in neural models

Technische Samenvatting: Een Kader voor het Analyseren van Conceptrepresentaties in Neuronale Modellen

Probleemstelling
Het begrijpen van hoe neurale modellen menselijk interpreteerbare concepten representeren, blijft een aanzienlijke uitdaging in AI en cognitiewetenschap. Hoewel eerder werk heeft vastgesteld dat veel concepten (bijvoorbeeld geslacht, tijd, fonetische klassen) worden weergegeven als lineaire richtingen of laagdimensionale deelruimten binnen hoogdimensionale representatieruimten, bestaat er geen unifyend kader voor het evalueren van deze claims. Verschillende studies vertrouwen op uiteenlopende aannames en methoden: "probing"-studies focussen op of concepten decodeerbaar zijn vanuit een deelruimte, terwijl "concept-erasure"-studies focussen op of concepten kunnen worden verwijderd zonder andere informatie te beschadigen. Cruciaal is dat deze benaderingen vaak verschillende methoden gebruiken om deelruimten te identificeren zonder systematische vergelijking, wat leidt tot mogelijk tegenstrijdige conclusies over de structuur van conceptrepresentaties.

Methodologie
De auteurs stellen een unifyend kader voor om conceptrepresentaties te karakteriseren langs twee primaire assen: bevattingsvermogen (containment) en ontkoppeling (disentanglement).

1. Definities:

   • Concept-deelruimte ($X_Y$): Een lineaire deelruimte opgespannen door basis-elementen die bedoeld zijn om een concept $Y$ te representeren.
   • Bevattingsvermogen: Meet of informatie over $Y$ volledig is opgesloten binnen $X_Y$ en afwezig is in zijn complement ($X^c_Y$). Dit wordt geoperationaliseerd via:
     • Behoud: Nauwkeurigheid van het voorspellen van $Y$ vanuit $X_Y$.
     • Lekkage: Nauwkeurigheid van het voorspellen van $Y$ vanuit $X^c_Y$.
   • Ontkoppeling: Meet de isolatie van $X_Y$ van een tweede concept $Y'$. Dit wordt geoperationaliseerd via:
     • Zuiverheid: Foutpercentage van het voorspellen van $Y'$ vanuit $X_Y$ (een lage fout impliceert slechte zuiverheid).
     • Interferentie: Foutpercentage van het voorspellen van $Y'$ vanuit $X^c_Y$ na het wissen van $X_Y$ (een hoge fout impliceert hoge interferentie).

2. Schatters:
   Het kader evalueert vijf toezicht-gebaseerde conceptschatters om te bepalen hoe de keuze van de methode deze metrieken beïnvloedt:

   • Multinomiale Logistische Regressie (MLR)
   • Lineaire Discriminantie Analyse (LDA)
   • Centroid Hoofdkomponenten Analyse (CPCA)
   • Covariantie van inputrepresentatie en concepten (COV)
   • LEACE (Lineair Concept-wissen)
   • Basislijn: Willekeurige Projectie (RAND)

3. Experimentele Opstelling:
   Om een rigoureuze evaluatie van generalisatie te waarborgen, partitioneren de auteurs de data in drie disjuncte sets: space-train (voor het schatten van de deelruimte), probe-train (voor het trainen van probing-classifiers) en test (voor evaluatie). Dit staat in contrast met eerder werk dat vaak overlappende sets gebruikt, wat kunstmatig nul lekkage kan garanderen.

   Experimenten werden uitgevoerd op:

   • Tekst: BERT-representaties met geslachts- en beroepsconcepten (Short Biography dataset).
   • Spraak: HuBERT-representaties met fonetische categorieën (phones) en sprekeridentiteit (LibriSpeech).

Belangrijkste Resultaten

• Niet-Uniekheid van Deelruimten: In BERT-experimenten vonden verschillende schatters (MLR versus LEACE) verschillende deelruimten met hoog behoud maar sterk uiteenlopende lekkage. Dit demonstreert dat concept-deelruimten niet uniek bepaald zijn; hoog behoud garandeert niet dat een deelruimte de enige of beste representatie van een concept is.
• Invloed van de Schatter: De keuze van de schatter verandert de scores voor bevattingsvermogen en ontkoppeling aanzienlijk.
  • LEACE: Presteerde overall het beste, met deelruimten die sterk behoud en lage lekkage toonden op gezien data. Het vertoonde echter significante lekkage op onzichtbare data, wat de "geen-lekkage"-garantie uitdaagt bij generalisatie.
  • MLR/LDA: Bereikten optimaal behoud maar leden onder hoge lekkage, wat aangeeft dat substantiële conceptinformatie buiten de geschatte deelruimte bestaat.
• Vondsten in het Spraakdomein (HuBERT):
  • Phone-informatie: Phone-deelruimten bleken zowel goed opgesloten als ontkoppeld van sprekerinformatie.
  • Sprekerinformatie: Spreker-deelruimten waren moeilijk op te sluiten in een compacte deelruimte. Hoewel sprekerinformatie ontkoppeld was van phones (het wissen van de spreker-deelruimte schaadde phone-herkenning niet), vereiste het bereiken van hoog behoud voor sprekers grote aantallen dimensies en sprekers.
  • Generalisatie: Spreker-deelruimten geschat op een kleine set sprekers generaliseerden niet naar onzichtbare sprekers, wat slecht bevattingsvermogen toonde. Het vergroten van het aantal trainingsprekers en de dimensies van de deelruimte verbeterde het bevattingsvermogen, maar degradeerde uiteindelijk de zuiverheid (toenemende lekkage van phone-informatie naar spreker-deelruimten).

Betekenis en Claims
Het artikel claimt een noodzakelijke formalisering te bieden voor het analyseren van conceptrepresentaties, verdergaand dan evaluaties met één enkele metriek. De primaire bijdragen zijn:

1. Een Unifyend Kader: Het verduidelijkt de aannames achter verschillende onderzoekslijnen door vier complementaire metrieken te definiëren (behoud, lekkage, zuiverheid, interferentie) die zowel individuele conceptrepresentatie als inter-conceptrelaties vangen.
2. Methodologisch Bewustzijn: Het benadrukt dat conclusies over conceptstructuur zwaar afhankelijk zijn van de keuze van de deelruimteschatter. De auteurs betogen dat het vertrouwen op een enkele schatter (bijvoorbeeld één die alleen geoptimaliseerd is voor behoud) kan leiden tot onvolledige of misleidende structurele analyses.
3. Empirische Inzichten: Het kader onthult dat hoewel sommige concepten (zoals geslacht in BERT of phones in HuBERT) robuuste lineaire representaties hebben, anderen (zoals sprekeridentiteit) moeilijk te vangen zijn in compacte, generaliseerbare lineaire deelruimten.
4. Beperkingen van Huidig Wissen: De studie demonstreert dat zelfs state-of-the-art wismethoden zoals LEACE moeite hebben om te generaliseren naar onzichtbare data, wat suggereert dat "geen-lekkage"-garanties op trainingsdata niet uitbreiden naar de bredere representatieruimte.

De auteurs concluderen dat hun kader een rigoureuzere basis biedt voor toekomstig werk in het interpreteren en controleren van neurale modellen, met name door de nadruk te leggen op de noodzaak om zowel te evalueren wat zich binnen een concept-deelruimte bevindt als wat er buiten blijft.