Technische Samenvatting: Het leren van coherente representaties: Een topologische benadering van interpreteerbaarheid

Probleemstelling

Diepe neurale netwerken (DNN's) leren vaak representaties waarbij individuele latente kenmerken een gebrek aan interpreteerbare betekenis hebben. Hoewel classificatietraining succesvol de klassen-manifolds scheidt in de latente ruimte, garandeert dit niet dat individuele neuronen overeenkomen met menselijk begrijpelijke concepten. In ongesuperviseerde omgevingen zoals auto-encoders wordt dit probleem verergerd: zonder klassenlabels om de scheiding te sturen, kunnen netwerken representaties leren waarbij semantisch gerelateerde monsters verspreid liggen, en individuele kenmerken activeren op gedisconnecteerde, incoherente deelverzamelingen van de datamanifold.

Bestaande regularisatietechnieken, zoals sparsity (L1), stimuleren kenmerken om op weinig monsters te activeren, maar falen in het waarborgen dat die monsters geometrisch gerelateerd zijn. Een sparse kenmerk kan nog steeds vuren op verspreide regio's van de datamanifold. Daartegenover staat dat biologische neurale circuits (bijv. grid cells en head direction cells) interpreteerbaarheid bereiken door lokaliteit: neuronen reageren op aaneengesloten regio's van de toestandsruimte. Dit artikel stelt dat lokaliteit een ontwerpprincipe is voor interpreteerbare neurale codes en streeft ernaar dit principe te formaliseren om het op kunstmatige neurale netwerken op te leggen.

Methodologie

1. Theoretisch Kader: Coherente Matrices

De auteurs introduceren coherentie, een geometrische eigenschap geïnspireerd door neurale codering en gegrond in topologische data-analyse (TDA). Ze modelleren de latente ruimte van een netwerk met niet-negatieve activaties als een niet-negatieve matrix $M$, waarbij rijen monsters vertegenwoordigen en kolommen kenmerken.

Een matrix wordt gedefinieerd als $\epsilon$-coherent als deze aan twee voorwaarden voldoet:

1. $\epsilon$-lokaliteit: Elke rij (monster) heeft aandacht voor een geometrisch geclusterde set kolommen (kenmerken), en vice versa. Dit wordt gekwantificeerd met behulp van Fréchet-variantie. Specifiek moeten de barycentrische afbeeldingen $\phi$ (die een monster afbeeldt op het gewogen gemiddelde van kenmerken) en $\psi$ (die een kenmerk afbeeldt op het gewogen gemiddelde van monsters) een lage variantie hebben ten opzichte van de werkelijke kenmerken/monsters.
2. $\epsilon$-dekking: Elk monster wordt goed beschreven door een kenmerk, en elk kenmerk is nodig door een monster. Dit zorgt ervoor dat geen deel van de ruimte onbedekt of redundant blijft.

Topologische Garantie:
Het artikel bewijst dat als een matrix $\epsilon$-coherent is en de barycentrische afbeeldingen Lipschitz-continu zijn, de Vietoris-Rips filtraties van de monsters en kenmerken $\epsilon^{1/2}$-interleaved zijn. Dit impliceert dat de monsterruimte en de kenmerkruimte compatibele topologische structuren delen. Als de data bijvoorbeeld op een cirkel ligt, moeten coherente kenmerken die cirkel verdelen in aaneengesloten bogen, waardoor de kenmerkruimte de topologie van de monsterruimte weerspiegelt.

2. De COH Objectieffunctie

Om coherentie tijdens de training af te dwingen, leiden de auteurs COH af, een differentieerbare verliesfunctie gebaseerd op Fréchet-variantie.

• Normalisatie: De methode gebruikt gekwadrateerde L1-normalisatie om rijen en kolommen te behandelen als kansverdelingen.
• Verliescomponenten: De verliesfunctie straft de variantie (lokaliteit) en de dekking (covering) af voor zowel rijen als kolommen.
• Implementatie: Het objectief kan worden toegevoegd aan elke architectuur met niet-negatieve activaties (bijv. met behulp van Softplus). Het berekent barycentrische afbeeldingen en hun varianties, waarbij de top-$k$ slechtste gevallen worden samengevoegd om robuustheid tegen uitschieters te garanderen.

Belangrijkste Bijdragen

1. Definitie van Coherentie: De auteurs definiëren formeel $\epsilon$-coherentie voor niet-negatieve matrices, waarbij ze een link leggen naar de interleaving van Vietoris-Rips filtraties. Dit biedt een theoretische garantie dat de latente monsterruimte en de latente kenmerkruimte compatibele topologieën delen.
2. Differentieerbaar Objectief (COH): Ze introduceren COH, een praktische verliesfunctie die lokalisatie- en dekkingseisen afdwingt. In tegen tegenstelling tot sparsity, dat het aantal activaties begrenst, begrenst COH de geometrische connectiviteit van activaties.
3. Empirische Validatie: De methode wordt gevalideerd in drie verschillende settings:
   • Synthetische Data: Het herstellen van de topologie van disjuncte cirkels.
   • Rotated MNIST: Het leren van interpreteerbare kenmerken voor geroteerde cijfers.
   • Taalmodellen: Het toepassen van coherentie op BERT token-embeddings om interpreteerbare kenmerken te verkrijgen die uitgelijnd zijn met menselijk begrijpelijke categorieën.

Experimentele Resultaten

Synthetische en Rotated MNIST Auto-encoders

• Topologieherstel: In het "Two Circles" speeltysteem faalden standaard auto-encoders en door L1-regularisatie geregulariseerde modellen erin om een kenmerkruimte met de juiste circulaire topologie te produceren. Alleen het COH-model herstelde de verwachte disjuncte circulaire topologie in zowel de monsterruimte als de kenmerkruimte.
• Enkel Cijfer (Rotated MNIST): Voor een enkel geroteerd cijfer (6), bereikte COH 100% getunede kenmerken (kenmerken die activeren op coherente bogen van rotatie), vergeleken met 63% voor L1. COH-kenmerken waren minder sparse maar aanzienlijk meer interpreteerbaar met betrekking tot de rotatiehoek.
• Dubbel Cijfer (Rotated MNIST): In een complexere setting met twee cijfers produceerde COH consistent coherente latente ruimtes. Hoewel de interpreteerbaarheidsmetrieken (zoals zuiverheid/purity) varieerden tussen verschillende seeds vanwege het bestaan van meerdere geldige coherente oplossingen (bijv. gescheiden cirkels versus samengevoegde cirkels), bleven de coherentiemetrieken (Lokaliteit en Dekking) stabiel. Het combineren van COH met L1-sparsity leidde het model succesvol naar een gedisentangled oplossing met betrouwbare klassenscheiding.

BERT Token Embeddings

• Opzet: Een klein BERT-model werd getraind met niet-negatieve token-embeddings (via Softplus) en het COH-objectief.
• Interpreteerbaarheid:
  • Overlap: Kenmerken in het COH-model vertoonden een significant hogere overlap met de nearest-neighbor token-omgevingen van een standaard (gesigneerd) BERT-model (Gemiddelde Overlap: 0,45 vs. 0,22 voor Softplus-alleen).
  • Menselijk Begrijpelijke Categorieën: Gebruikmakend van een LLM (Claude Opus) om de interpreteerbaarheid te beoordelen, werden 87,6 van de 256 kenmerken in het COH-model als interpreteerbaar beschouwd, vergeleken met 0 voor de Softplus-alleen baseline.
  • Geïdentificeerde Categorieën: COH-kenmerken kwamen overeen met specifieke semantische categorieën, waaronder jaartallen, verwantschapstermen, plaatsnamen, eenheden van meting, afzwakkende bijwoorden (hedging adverbs), directionele voorzetsels en specifieke typen werkwoorden (bijv. beweging, cognitie, verleden tijd).

Betekenis en Claims

Het artikel beweert een rigoureus kader te bieden voor het koppelen van latente monsters en latente kenmerken, zodat zij een compatibele topologie delen. De betekenis ligt in de verschuiving van de focus van de interpreteerbaarheid van individuele kenmerken naar de interpreteerbaarheid van de kenmerkruimte als geheel.

• Geometrische Garantie: Het werk demonstreert dat het afdwingen van geometrische connectiviteit (coherentie) leidt tot kenmerken die niet alleen sparse zijn, maar ook structureel uitgelijnd zijn met de datamanifold.
• Complementariteit: De auteurs merken op dat coherentie complementair is aan andere objectieven; bijvoorbeeld kan sparsity worden gebruikt om te kiezen tussen meerdere geldige coherente oplossingen zonder de geometrische garantie op te offeren.
• Beperkingen: De auteurs erkennen bescheiden dat de Lipschitz-aanname op barycentrische afbeeldingen empirisch wordt geverifieerd in plaats van afgedwongen. Ze merken ook op dat de methode niet controleert welke specifieke coherente oplossing wordt gevonden in complexe multi-class settings (bijv. of cijfers samensmelten of scheiden), hoewel het garandeert dat de oplossing coherent is.

Het werk verbindt topologische data-analyse, neurowetenschappen en representatie-leren, waarbij het zowel een theoretische basis (via Dowker-dualiteit analogen en interleaving) als een praktisch instrument biedt voor het leren van interpreteerbare latente ruimtes zonder expliciet toezicht.