Critical Percolation as a Synthetic Data Model for Interpretability

Technische Samenvatting: Kritische Percolatie als een Synthetisch Datamodel voor Interpreteerbaarheid

Probleemstelling
Diepe neurale netwerken leren kenmerken die de hiërarchische, multi-schaalstructuur van natuurlijke data weerspiegelen. Echter, de synthetische datasets die momenteel worden gebruikt om methoden voor mechanistische interpreteerbaarheid te evalueren, missen vaak deze realistische structuur, wat hun nut als 'toy models' beperkt. Bestaande synthetische modellen kunnen weliswaar eigenschappen zoals ijltheid (sparsity) of hiërarchie in isolatie vastleggen, maar falen in het verenigen van eigenschappen zoals power-law statistieken, lage intrinsieke dimensionaliteit en zelfgelijkenis die aanwezig zijn in de distributies van natuurlijke data. Bovendien impliceert de "vloek van de dimensionaliteit" dat natuurlijke data over een hoge mate van structuur moet beschikken om efficiënt leerbaar te zijn. Huidig onderzoek naar interpreteerbaarheid, met name met betrekking tot Sparse Autoencoders (SAE's), observeert fenomenen zoals feature splitting en absorptie, wat suggereert dat geleerde kenmerken een complexe hiërarchische organisatie bezitten die eenvoudige ijle modellen niet volledig kunnen vatten. Er is behoefte aan een principieel, analytisch hanteerbaar datamodel dat deze structurele eigenschappen incorporeert om te dienen als een realistische testomgeving voor interpreteerbaarheidsonderzoek.

Methodologie
De auteurs introduceren een familie van synthetische datasets gebaseerd op kritische mean-field percolatietheorie. Het model wordt geconstrueerd via de volgende componenten:

1. Datageneratie via Percolatie:

   • Ruimte: Datapunten worden getrokken uit een hoogdimensionale hyperkubische rooster ($\Lambda \subset \mathbb{R}^d$).
   • Kritikaliteit: Locaties worden bezet met een waarschijnlijkheid $p = p_c$ (de kritische drempelwaarde), wat ervoor zorgt dat het systeem zich in een kritiek regime bevindt waar clusters fractale eigenschappen en power-law grootteverdelingen vertonen ($n_s \propto s^{-5/2}$).
   • Mean-Field Aanname: De dimensie $d$ wordt verondersteld voldoende groot te zijn ($d \gg 6$) zodat het rooster zich gedraagt als een Bethe-rooster (een boom), waardoor het model analytisch hanteerbaar is.
   • Geometrie: De resulterende clusters zijn ijle, laagdimensionale fractals met een intrinsieke dimensie $D=4$.

2. Hiërarchische Target Generatie:

   • Targets worden gegenereerd door latente variabelen die georganiseerd zijn in een binaire boomstructuur (een "latent forest").
   • Naarmate verbindingen tussen aangrenzende bezette locaties worden geactiveerd, voegen zij clusters samen. Een nieuwe latente variabele wordt geïntroduceerd bij elke samenvoeging, die fungeert als de ouder van de latente variabelen van de samengevoegde subclusters.
   • De targetwaarde $y_x$ voor een datapunt $x$ is een lineaire functie van de latente variabelen langs het pad van het blad (het punt) naar de wortel van de boom van zijn cluster, genormaliseerd door de diepte.

3. Het Cyclische Coalescent Algoritme:

   • Het direct simuleren van percolatie op hoogdimensionale roosters is computationeel duur en levert niet expliciet een hiërarchische decompositie op.
   • De auteurs maken gebruik van een wiskundige equivalentie tussen kritische mean-field percolatieclusters, uniforme willekeurige gelabelde bomen en het additieve coalescent proces.
   • Zij stellen een cyclisch coalescent algoritme voor dat gelijktijdig een willekeurige boom en de bijbehorende hiërarchische decompositie samplet. Door knopen in een willekeurige cyclische volgorde te plaatsen en iteratief een knoop met zijn opvolger samen te voegen, genereert het algoritme een uniforme willekeurige boom en de bijbehorende hiërarchie in bijna lineaire tijd, $O(n \alpha(n))$, waarbij $\alpha$ de inverse Ackermann-functie is.

4. Experimentele Opzet:

   • Twee datasets werden gegenereerd: een "one-cluster" dataset ($2 \times 10^5$ punten) en een "multi-cluster" dataset ($2 \times 10^6$ punten, gefilterd op clustergrootte $\ge 500$).
   • Een residueel Multi-Layer Perceptron (MLP), ontworpen om een transformer feed-forward blok te imiteren, werd getraind op deze datasets.
   • Probing Experimenten: Lineaire probes werden getraind om de grondwaarheid (ground-truth) latente variabelen te decoderen uit de activaties van het neurale netwerk (input, verborgen lagen en de residuele stroom).

Belangrijkste Bijdragen

1. Een Principieel Synthetisch Datamodel: Het artikel introduceert een datamodel dat ijltheid, taxonomische hiërarchie, power-law statistieken, lage intrinsieke dimensionaliteit en zelfgelijkenis verenigt, afgeleid van kritische percolatietheorie.
2. Analytische Hanteerbaarheid: Het model steunt op bekende kritische exponenten (bijv. $\tau=5/2$, $D=4$) en vereist geen hyperparameter-tuning om deze statistische eigenschappen vast te leggen.
3. Efficiënt Sampling Algoritme: De auteurs hebben het cyclische coalescent algoritme ontwikkeld en de correctheid ervan bewezen, waardoor het genereren van synthetische hiërarchische percolatie-datasets op willekeurige schaal in bijna lineaire tijd mogelijk is.
4. Empirische Validatie: De studie toont aan dat de grondwaarheid latente variabelen lineair decodeerbaar zijn uit de activaties van het neurale netwerk, wat de bruikbaarheid van het model voor interpreteerbaarheidsonderzoek valideert.

Resultaten

• Modelprestaties: De getrainde MLP behaalde prestaties die vergelijkbaar zijn met een 1-nearest-neighbor (1NN) baseline en presteerde significant beter dan Ridge regressie, wat de nonlineariteit en leerbaarheid van de taak bevestigt.
• Lineaire Decodeerbaarheid: Probing-experimenten toonden aan dat de grondwaarheid latente variabelen lineair representeerbaar zijn in de activaties van het netwerk.
  • Probes getraind op de activaties van de verborgen lagen behaalden consistent een lagere Mean Squared Error (MSE) dan probes getraind op de ruwe input.
  • Het verschil in probe-prestaties ten opzichte van de ruwe input nam af naarmate de "Figure of Merit" (FOM) — gedefinieerd als de ratio van de grootte van de latente variabele tot de vierkantswortel van de clustergrootte — toenam.
• Power-Law Trends: De MSE per latente variabele vertoonde een power-law trend als functie van de FOM, wat suggereert dat de statistische belangrijkheid van een latente variabele (bepaald door de grootte en de context van de cluster) een betere voorspeller is voor decodeerbaarheid dan enkel de diepte in de hiërarchie.
• Laagspecifieke Structuur: Er werd geen duidelijke progressie per laag waargenomen; de probe MSE was vergelijkbaar over alle MLP-blokken. Dit suggereert dat het netwerk de hiërarchie niet noodzakelijkerwijs laag-voor-laag opbouwt in een interpreteerbare wijze, of dat de hiërarchie anders wordt gerepresenteerd dan in compositionele modellen.

Betekenis en Claims
Het artikel stelt dat kritische percolatie een geprincieerd testbed biedt voor interpreteerbaarheidsonderzoek. Door een dataset aan te bieden met bekende grondwaarheid hiërarchische latente variabelen en realistische structurele eigenschappen (ijltheid, power laws, fractals), stelt het onderzoekers in staat om:

• Interpreteerbaarheidstools (zoals SAE's) te valideren en te verbeteren tegenover een bekende grondwaarheid.
• Te onderzoeken of SAE-pathologieën (feature splitting, absorptie) ontstaan wanneer ze worden getraind op data met taxonomische hiërarchieën.
• De relatie tussen datastructuur en de structuur van neurale activaties te bestuderen.

De auteurs positioneren dit werk als een aanvulling op empirische studies van Large Language Models (LLM's), door een gecontroleerde omgeving te bieden om hypothesen over hoe neurale netwerken hiërarchische kenmerken leren te testen. Zij merken expliciet op dat er beperkingen zijn, zoals de aanname van willekeurige datapopulatie en de huidige ondersteuning voor scalaire regressie in plaats van getokeniseerde classificatie, en presenteren dit als richtingen voor toekomstig werk in plaats van directe oplossingen. Het werk claimt niet het probleem van interpreteerbaarheid op te lossen, maar beoogt een rigoureuze, wiskundig gefundeerde synthetische omgeving te bieden om dit onderzoek te faciliteren.