Topological Simplification in Predictive Coding Networks

Technische Samenvatting: Topologische Vereenvoudiging in Predictive Coding Networks

Probleemstelling
Hoewel persistente homologie uitgebreid is gebruikt om topologische vereenvoudiging in feedforward neurale netwerken te analyseren (waarbij topologische kenmerken zoals verbonden componenten en lussen progressief worden samengevallen om scheidbare representaties te creëren), blijft het onduidelijk hoe dit fenomeen zich gedraagt in architecturen die tegelijkertijd inferentie en reconstructie moeten ondersteunen. Predictive Coding Networks (PCNs) zijn hiërarchische, bidirectionele modellen die inferentie uitvoeren door middel van iteratieve minimalisatie van een globale energiefunctie. In tegen tegenstelling tot feedforward classificatiesystemen, moeten PCNs voldoende topologische informatie behouden om een benaderde inversie (reconstructie) te ondersteunen. Dit artikel onderzoekt of PCNs een topologische vereenvoudiging vertonen die vergelijkbaar is met feedforward netwerken, en hoe architecturale beperkingen de afweging tussen topologische ineenstorting en reconstructiefidelity beïnvloeden.

Methodologie
De auteurs maken gebruik van persistente homologie om de evolutie van de representatietopologie over de lagen in PCNs te volgen, getraind op twee datasets:

1. Synthetische Dataset: Een topologisch complexe 2D-variëteit bestaande uit negen disjuncte schijven ($M_a$, $\beta_0=9$) ingebed binnen een regio die negen gaten bevat ($M_b$, $\beta_1=9$). Deze dataset vereist een significante topologische transformatie voor classificatie.
2. Real-World Dataset: MNIST, behandeld als puntenwolken in $\mathbb{R}^{784}$.

De studie maakt gebruik van de JAX-gebaseerde PCX-bibliotheek om PCNs te trainen met variërende breedtes van de verborgen lagen, architecturale configuraties (uniform, toenemend/afnemend, bottleneck) en activatiefuncties (ReLU, Leaky ReLU, tanh). De modellen worden getraind tot een hoge nauwkeurigheid (≥99,9% op synthetisch, ≥95% op MNIST).

Er zijn twee primaire metrieken geïntroduceerd om de bevindingen te kwantificeren:

• Center of Mass of Topological Simplification (COM): Een scalaire metriek die de "timing" van topologische ineenstorting kwantificeert. Het berekent de verwachte diepte waarop Betti-getallen (specifiek $\beta_0$ en $\beta_1$) vervallen, waarbij simplificatiegebeurtenissen als onomkeerbaar worden beschouwd. Een lagere COM duidt op een eerdere ineenstorting.
• Mean Reconstruction Distance (MRD): Een metriek die de reconstructiefidelity kwantificeert. Het meet de gemiddelde Euclidische afstand tussen geïnverteerde outputs en hun dichtstbijzijnde even klas-buren in de trainingsset, wat vastlegt of inversies nabij de correcte datavariëteit liggen.

De analyse beperkt de berekeningen van persistente homologie tot enkele klassen om te voorkomen dat de topologieën van verschillende klassen met elkaar worden verward.

Belangrijkste Resultaten

1. Modelgrootte en Vereenvoudigingstiming: Er is een sterke positieve correlatie tussen de modelgrootte (som van de breedtes van de verborgen lagen) en de timing van de topologische vereenvoudiging (COM). Kleinere PCNs laten verbonden componenten aanzienlijk eerder instorten dan grotere modellen. Deze relatie houdt stand over verschillende activatiefuncties heen, met Spearman-correlaties variërend tussen $\rho \in [0,72, 0,79]$. ReLU-netwerken vertonen de hoogste gevoeligheid voor capaciteit, waarbij toegevoegde breedte de ineenstorting meer substantieelel vertraagt dan in Leaky ReLU- of tanh-netwerken.
2. Vereenvoudigings-reconstructie Afweging: Er bestaat een sterke negatieve correlatie ($\rho = -0,58$) tussen de timing van de vereenvoudiging (COM) en de reconstructiefout (MRD). Architecturen die de topologie later vereenvoudigen (hogere COM) bereiken een betere reconstructiekwaliteit. Vroege ineenstorting komt overeen met het verlies van structurele informatie die nodig is voor inversie, wat leidt tot een slechtere generatieve prestatie.
3. PCNs versus Feedforward Netwerken (MLPs): Wanneer vergeleken met gematchte Multilayer Perceptrons (MLPs) die getraind zijn tot dezelfde nauwkeurigheid, vertragen PCNs de topologische vereenvoudiging consistent. Gemiddeld laten PCNs verbonden componenten 3,6 lagen later instorten dan hun MLP-tegenhangers. Dit sugggeert dat de recurrente, bidirectionele dynamiek van predictive coding beperkingen oplegt die de topologische structuur langer behouden om reconstructie te faciliteren.
4. Consistentie over Data: Deze trends werden waargenomen in zowel de synthetische variëteit als de hoogdimensionale MNIST-dataset, ondanks het feit dat de laatste geen bekende grondwaarheid-topologie bezit.

Betekenis en Claims
Het artikel beweert dat persistente homologie een nuttig kwantitatief perspectief biedt voor het analyseren van de compressie–reconstructie afweging in PCNs. De bevindingen breiden de topologische analyses van geleerde representaties uit voorbij feedforward netwerken, waarbij wordt benadrukt dat:

• Topologische vereenvoudiging niet uniform is; het wordt gestuurd door modelcapaciteit en de specifieke dynamiek van de architectuur.
• De recurrente aard van predictive coding-inferentie vormgeeft wanneer de afweging tussen compressie (vereenvoudiging) en reconstructie wordt opgelost, waardoor het netwerk wordt gedwongen topologische kenmerken dieper in het netwerk te behouden vergeleken met standaard feedforward modellen.
• Er is een directe link tussen de timing van de topologische ineenstorting en het vermogen van het netwerk om zijn representaties te inverteren, wat suggereert dat excessieve vroege vereenvoudiging de generatieve capaciteiten van het model in gevaar brengt.

De auteurs hanteren een bescheiden reikwijdte door op te merken dat hoewel de trends standhouden voor de geteste architecturen en datasets, toekomstig werk nodig is om deze hypothesen over bredere datasets te testen en om meer verfijnde, reconstructie-bewuste topologische metrieken voor real-world semantische getrouwheid te ontwikkelen.