Technische Samenvatting: Recursieve Binding op een Budget: Subspace Carving in Order-p Tensorgeheugens

1. Probleemstelling

Het artikel behandelt de fundamentele spanning in neuro-symbolische geheugensystemen tussen structurele getrouwheid en geheugenefficiëntie.

• Tensor Product Representations (TPRs) (Smolensky, 1990) bieden een wiskundig rigoureuze binding van "fillers" (inhoud) aan "rollen" (structuur) via buitenproducten, wat zorgt voor perfecte orthogonaliteit en verliesvrije extractie. Echter, zij lijden onder exponentiële dimensionaliteitsgroei; een structuur met diepte $k$ vereist een tensorruimte van orde $d^k$, wat diepe recursieve binding zelfs voor bescheiden dimensies onhandelbaar maakt.
• Vector Symbolic Architectures (VSAs) (Kanerva, 2009) behouden een constante dimensionaliteit door bindings te comprimeren terug naar de oorspronkelijke vectorruimte (bijv. via circulaire convolutie). Hoewel efficiënt, introduceert deze compressie ruis. Naarmate het aantal gesuperponeerde bindings toeneemt, degradeert de signaal-ruisverhouding (SNR), wat leidt tot interferentie en onbetrouwbare extractie in regimes met een hoge capaciteit.

Bestaande ijle (sparse) benaderingen van TPRs verzachten de schaling, maar lijden onder aanzienlijke prestatievermindering bij diepe structuren. De kernuitdaging is om diepe recursieve structuren en hoge superpositie te ondersteunen binnen een constante geheugenvoetafdruk zonder de extractie-accuratesse op te offeren.

2. Methodologie: Orthogonal Subspace Carving (OSC)

De auteurs stellen Orthogonal Subspace Carving (OSC) voor, een geheugenarchitectuur die de tensororde ontkoppelt van de structurele diepte door geometrische orthogonaliteit af te dwingen via projectie in plaats van expliciete coördinaatallocatie.

Kernprincipes

• Geometrische Exclusie: In plaats van rollen toe te wijzen aan specifieke dimensies, definieert OSC contexten als "verboden" subspaces. Bindings worden geplaatst in het orthogonale complement (nulruimte) van deze contexten.
• Filler Representatie: In tegenstelling tot standaard VSAs waar fillers enkelvoudige vectoren zijn, zijn OSC-fillers gestructureerde objecten: geordende tupels van $p$ vectoren, $f = (v_1, \dots, v_p) \in (\mathbb{R}^d)^p$.
• Context Definitie: Een context $C$ is geassocieerd met een subspace $S_C$ gespannen door $k$ onderling orthogonale richtingen. Verschillende contexten hoeven niet geometrisch gerelateerd te zijn, wat lokale precisie binnen een context en globale onafhankelijkheid tussen contexten mogelijk maakt.

Het Binding Mechanisme

1. Carving (Projectie): Om een filler te binden aan een context, projecteert de carving-operator $P^\perp_C = I - B_C^T B_C$ elke componentvector $v_i$ op de nulruimte van de contextbasis $B_C$. Dit verwijdert elke overlap met de context-subspace.
2. Normalisatie en Fusie: De geprojecteerde componenten worden genormaliseerd en gefuseerd via een order-$p$ tensorproduct:
   $$T_{bound} = \bigotimes_{i=1}^p \left( \frac{P^\perp_C v_i}{\|P^\perp_C v_i\|} \right)$$
   Dit resulteert in een order-$p$ tensor die zich volledig in het orthogonale complement van de context bevindt.
3. Superpositie: Het geheugen $M$ wordt gevormd door de eenvoudige optelling (superpositie) van deze gebonden tensors. Omdat elke binding orthogonaal is aan zijn specifieke context, en contexten disjuncte subspaces definiëren, scheiden de bindings zich van nature in de geheugenruimte zonder interferentie.

Querying via Herkenning

OSC verschuift het extractieparadigma van algebraïsche unbinding (het reconstrueren van een vector) naar discriminatieve herkenning.

• Mechanisme: Om te query'en, wordt een kandidaat-binding geconstrueerd met hetzelfde carving-mechanisme. De extractiescore is het Frobenius-inwendig product tussen de geheugentensor en de kandidaat-tensor.
• Vocabulaire Zoekopdracht: Het systeem identificeert het opgeslagen item door de kandidaat te selecteren met de hoogste gelijkenissscore. Deze aanpak is compatibel met standaard "cleanup memory" codeboeken gebruikt in VSAs.
• Theoretische Garantie: Stelling 4.6 stelt vast dat voor $N$ onafhankelijke bindings de interferentieruis schaalt als $\sqrt{(N-1)/d^p}$. Door de tensororde $p$ of dimensie $d$ te vergroten, kan de ruis worden onderdrukt, wat robuuste extractie mogelijk maakt, zelfs met hoge superpositie.

Theoretische Verbindingen

• Clifford Algebra: Het artikel demonstreert dat TPR een speciaal geval is van binding in Clifford-algebra. OSC is geformuleerd als een natuurlijke uitbreiding waarbij rollen en fillers orthogonale subspaces zijn in plaats van disjuncte basisvectoren, waardoor een compressie van de geheugenruimte van $d^{|C|+1}$ naar $\binom{d}{|C|+1}$ mogelijk is terwijl exacte herstel eigenschappen behouden blijven onder specifieke orthogonaliteitsrestricties.
• Procedurele Generatie: Contexten kunnen procedureel worden gegenereerd door rol-labels te hashen om random seeds voor basisvectoren te produceren. Dit ontkoppelt het aantal representeerbare contexten van de geheugenbeperkingen, waardoor de exponentiële opslagkosten van TPRs worden vermeden.

3. Belangrijkste Bijdragen

1. OSC Architectuur: Een nieuwe geheugenarchitectuur die gebruikmaakt van projectie-gebaseerde binding om de component-vector dimensie te ontkoppelen van de geheugencapaciteit.
2. Sub-lineaire Schaling: Een significante reductie in de geheugensvoetafdruk voor taken met hoge superpositie. De auteurs tonen aan dat component-vectoren orden van grootte kleiner kunnen zijn dan de geheugentensor terwijl ze robuuste extractie behouden.
3. Bijna Verliesvrije Extractie: Het vermogen om een bijna verliesvrije accuratesse te bereiken in hoge superpositie-regimes door gebruik te maken van sub-lineaire filler-schaling, wat grotere superpositie-ruimtes mogelijk maakt binnen een kleinere totale voetafdruk vergeleken met TPRs.
4. Clifford Formulering: Een demonstratie dat TPR een speciaal geval is van Clifford-algebra binding en het bieden van een Clifford-formulering voor OSC.

4. Experimentele Resultaten

De auteurs evalueerden OSC tegen 14 bestaande VSAs (inclusief HRR, VTB, MAP, HLB) en TPRs op synthetische benchmarks en Extreme Multi-label Classificatie (XML) taken.

• Schaalbaarheid en Efficiëntie:
  • In synthetische tests met 1.000 bundels bereikte OSC (met $d=200, p=2$) een extractie-accuratesse van 99,77%, waarmee het de beste VSA ($d=4096$, 13,18% accuratesse; $d=8100$, 35,88% accuratesse) overtrof.
  • Bij 10.000 bundels behield OSC ($d=80, p=3$) een accuratesse van 99,85%. Om dit te evenaren, had de best presterende VSA (HLB) een $d=343.000$ nodig, wat resulteerde in een 1.178× grotere parameter-voetafdruk.
  • OSC vertoont een gunstige logaritmische schaling met de codeboekgrootte, vergelijkbaar met VSAs, maar met aanzienlijk lagere totale geheugeneisen door de sub-lineaire groei van de filler-dimensie.
• Vergelijking met TPR: Voor rol-diepte 1 bereikt OSC 99% accuratesse met minder parameters dan TPRs zodra de superpositie-niveaus een kleine drempel overschrijden. De compressieratio bevoordeelt OSC steeds sterker naarmate het aantal bundels groeit.
• Downstream Toepassing (XML): OSC werd geïntegreerd in een neuro-symbolisch model voor Extreme Multi-label Classificatie. Het behaalde competitieve prestaties (eerste plaats in 43,75% van de metriekgevallen over 8 datasets) vergeleken met VTB, MAP en HLB, wat de leerbaarheid in gradiënt-gebaseerde systemen bevestigt.
• Inferentie Snelheid: Hoewel de per-element operaties van OSC complexer zijn dan eenvoudige elementgewijze VSA-operaties, wordt OSC sneller op schaal omdat de bottleneck verschuift van compute naar geheugenbandbreedte. De kleinere geheugensvoetafdruk van OSC vermindert de dataoverdrachttijden, wat leidt tot lagere wall-clock extractietijden in scenario's met hoge superpositie.

5. Betekenis en Claims

Het artikel claimt dat OSC de "neuro-symbolische kloof" oplost door een mechanisme te bieden voor diepe recursieve binding dat zowel computationeel hanteerbaar als geheugenefficiënt is.

• Paradigmaverschuiving: Door over te stappen van reconstructie naar herkenning en door geometrische exclusie (carving) te gebruiken in plaats van expliciete dimensie-expansie, vermijdt OSC de exponentiële schaling van TPRs en de ruisaccumulatie van VSAs.
• Praktische Bruikbaarheid: Het vermogen om contexten procedureel te genereren en de sub-lineaire schaling van filler-dimensies maakt OSC geschikt voor toepassingen die grote vocabularia en diepe structuren vereisen zonder prohibitieve geheugenkosten.
• Beperkingen: De auteurs merken bescheiden op dat OSC geen exacte algebraïsche unbinding (reconstructie van willekeurige vectoren) ondersteunt zonder door een vocabulaire te itereren, hoewel zij betogen dat dit een niet-probleem is voor symbolische redeneersystemen die toch vertrouwen op codeboek-zoekopdrachten. Zij erkennen ook dat hoewel OSC beter presteert in totale geheugenefficiëntie, VSAs nog steeds een licht voordeel kunnen hebben wanneer de beperking strikt de grootte van de superpositie-geheugenruimte is (en niet de totale opslag).

Het werk wordt gepresenteerd als een stap naar schaalbare, gestructureerde geheugensystemen die compatibel zijn met moderne gradiënt-gebaseerde optimalisatie, gevalideerd door uitgebreide empirische verificatie tegen state-of-the-art baselines.