qFHRR: Rethinking Fourier Holographic Reduced Representations through Quantized Phase and Integer Arithmetic

Het artikel introduceert qFHRR, een gekwantiseerde faseformulering van Fourier Holografische Gereduceerde Representaties die drijvende-kommaberekening vervangt door uitsluitend gehele getallen modulo-bewerkingen om het geheugenverbruik aanzienlijk te verminderen en een efficiënte hardware-implementatie mogelijk te maken, terwijl de algebraïsche eigenschappen en de hoogwaardige gelijkaardigheidsstructuur van het oorspronkelijke complexwaardige raamwerk behouden blijven.

De kern

Stel je voor dat je een enorme bibliotheek met informatie hebt, en in plaats van boeken sla je alles op in gigantische, veelkleurige draaitoppen. In de wereld van de informatica heet dit Fourier Holografische Gereduceerde Representaties (FHRR).

Zo werkt het oude systeem:
Elke "top" (of datavektor) heeft duizenden kleine wijzers. Om een stukje informatie op te slaan, stel je elke wijzer in op een specifieke hoek op een cirkel (zoals een wijzerplaat). Om twee stukken informatie te combineren (zoals "Rood" + "Appel"), draai je de wijzers van beide toppen en tel je hun hoeken bij elkaar op. Om ze later weer te scheiden, trek je de hoeken van elkaar af.

Het Probleem:
De oude manier vereist dat deze wijzers ongelooflijk precies zijn. Computers moeten complexe, zware wiskunde (drijvende-kommagetallen) gebruiken om deze exacte hoeken te berekenen. Dit is als proberen een robot te bouwen die alleen kan werken als hij een supercomputer in zijn hoofd heeft. Het verbruikt veel energie, neemt veel geheugen in beslag en is moeilijk te bouwen op kleine, goedkope chips (zoals die in smartwatches of sensoren).

De Oplossing: qFHRR
De auteurs van dit artikel introduceerden qFHRR (Gekwantiseerd FHRR). Denk hierbij aan het vervangen van het oneindige, gladde wijzerplaatje door een simpele, genummerde schijf.

In plaats van toe te staan dat de wijzer naar elke hoek wijst (zoals 12,345 graden), zegt qFHRR: "Laten we gewoon kiezen uit een vaste lijst van 8, 16 of 32 specifieke posities."

• Oude manier: "Wijs de wijzer precies naar 12,345 graden." (Vereist complexe wiskunde).
• Nieuwe manier: "Wijs de wijzer naar Positie #3." (Vereist simpel tellen).

Hoe het werkt in alledaagse termen:

1. De "Lego"-analogie voor wiskunde:
   In het oude systeem was het combineren van informatie als het mengen van twee vloeistoffen in een erlenmeyer; je hebt nauwkeurige schalen en chemie nodig om het resultaat goed te krijgen.
   In het nieuwe qFHRR-systeem is het combineren van informatie als het op elkaar klikken van Lego-blokjes. Je telt gewoon de nummers op de blokjes bij elkaar op. Als je een "3"-blokje en een "5"-blokje hebt, krijg je een "8"-blokje. Als je voorbij de limiet gaat (stel, de schijf heeft maar 8 posities), draai je gewoon terug naar het begin (zoals een klok die van 12 terug naar 1 gaat). Dit heet modulaire rekenkunde, en dat is iets wat zelfs een simpele rekenmachine direct kan doen zonder een supercomputer nodig te hebben.

2. De "Menu"-analogie voor gelijkenis:
   Om te controleren of twee stukken informatie op elkaar lijken, moest het oude systeem een complexe trigonometrische dans uitvoeren.
   Het nieuwe systeem gebruikt een opslagtabel (zoals een restaurantmenu). In plaats van de afstand tussen twee hoeken te berekenen, zoekt de computer het antwoord gewoon op in een vooraf geschreven lijst. "Als ik Positie #3 en Positie #5 heb, is de gelijkenis-score X." Geen wiskunde nodig, alleen lezen.

Wat hebben ze gevonden?
De onderzoekers testten dit nieuwe "genummerde schijf"-systeem tegen het oude "precieze hoek"-systeem:

• Het is klein: Het lukte hen om de gegevensgrootte met meer dan 90% te verkleinen. In plaats van 64 bits (een enorm stuk geheugen) per gegevensstuk nodig te hebben, konden ze volstaan met slechts 3 of 4 bits. Dat is als een volledige HD-film verkleinen tot een miniaturum zonder het verhaal te verliezen.
• Het is nauwkeurig: Zelfs met zo'n kleine, simpele schijf (slechts 8 posities) werkte het systeem bijna perfect. Het kon informatie nog steeds net zo goed combineren en scheiden als de complexe versie.
• Het behoudt de kaart: Het artikel testte of dit systeem kon onthouden waar dingen zich in de ruimte bevinden (zoals het onthouden waar een kopje, een boek en een pen op een tafel liggen). Zelfs met de vereenvoudigde schijven behield het systeem de "ruimtelijke kaart" intact. Het wist dat het kopje dicht bij het boek was en ver van de pen, net zoals de complexe versie deed.

Waarom dit belangrijk is (volgens het artikel):
Het artikel beweert dat dit niet zomaar een wiskundige truc is; het is een manier om deze krachtige geheugensystemen te laten draaien op hardware die geen supercomputers heeft. Door over te stappen van "complexe wiskunde" naar "simpel gehele getallen tellen", maken ze het mogelijk om dit soort slimme geheugens te plaatsen in apparaten die klein, goedkoop en energiezuinig zijn.

Samenvattend:
Het artikel neemt een high-tech, wiskundig zware manier van informatieopslag en vereenvoudigt deze tot een "telspel". Ze bewezen dat je geen superprecieze, dure motor nodig hebt om een auto te besturen; soms werkt een simpel, efficiënt versnellingsbakje net zo goed en past het in een veel kleiner hokje.

Technische samenvatting

1. Probleemstelling

Fourier Holographic Reduced Representations (FHRR) zijn een prominent Vector Symbolic Architecture (VSA)-kader dat wordt gebruikt voor het coderen van gestructureerde informatie met behulp van hoogdimensionale, complexwaardige hypervectoren. Hoewel FHRR krachtige algebraïsche eigenschappen biedt voor compositief geheugen en ruimtelijk redeneren, is het afhankelijk van drijvende-kommabewerkingen en continue fasevoorstellingen.

• Beperkingen: Deze afhankelijkheid creëert aanzienlijke overhead in termen van geheugenbandbreedte, energieverbruik en hardwarecomplexiteit, waardoor FHRR inefficiënt is voor omgevingen met beperkte middelen (bijv. neuromorfe hardware, FPGA's, randapparaten).
• Doel: De auteurs streven naar een formulering van FHRR die de algebraïsche structuur en geometrische eigenschappen behoudt, maar uitsluitend berekeningen met gehele getallen mogelijk maakt, waardoor de geheugenvoetafdruk wordt verkleind en de noodzaak voor eenheden voor drijvende komma wordt geëlimineerd.

2. Methodologie: Gekwantiseerde FHRR (qFHRR)

De auteurs stellen qFHRR voor, een discrete faseformulering die het continue complexe domein herparameteriseert tot een eindige set gehele fase-indices.

Kernrepresentatie

• Discretisatie: In plaats van een dimensie voor te stellen als een continue complexe fasor $z_i = e^{j\theta_i}$ waarbij $\theta_i \in [0, 2\pi)$, mapt qFHRR elke dimensie naar een discreet geheel getal-index $q_i \in \{0, 1, \dots, K-1\}$.
• Mapping: De fase wordt gedefinieerd als $\theta_i = \frac{2\pi q_i}{K}$, waarbij $K$ het aantal fasebakken is. Dit creëert een gekwantiseerde benadering van de eenheidscirkel.

Implementatie van Kernoperaties

Het artikel toont aan hoe standaard VSA-operaties worden omgezet in gehele-getalbewerkingen en opzoektabel (LUT)-operaties:

1. Binding (Vermenigvuldiging):

   • Standaard FHRR: Elementsgewijze complexe vermenigvuldiging (faseoptelling).
   • qFHRR: Modulaire geheeltallige optelling.
   • Formule: $r_i = (q_{a,i} + q_{b,i}) \mod K$.

2. Ontbinding (Deling/Geconjugeerde):

   • Standaard FHRR: Elementsgewijze complexe geconjugeerde vermenigvuldiging (fasesubtractie).
   • qFHRR: Modulaire geheeltallige subtractie.
   • Formule: $\hat{q}_{a,i} = (r_i - q_{b,i}) \mod K$.

3. Similariteit (Dot Product):

   • Standaard FHRR: Cosinus-similariteit (Reëel deel van inproduct).
   • qFHRR: Berekend als het gemiddelde cosinus van faseverschillen. Aangezien het faseverschil een geheel getal is, worden de cosinuswaarden opgehaald via een vooraf berekende opzoektabel (LUT) geïndexeerd door $(q_{a,i} - q_{b,i}) \mod K$.

4. Bundeling (Optelling):

   • Uitdaging: Vectortoptelling is niet gesloten onder modulaire rekenkunde.
   • Oplossing: Het proces omvat:
     1. Het mappen van gehele getal-indexen naar Cartesische coördinaten $(x, y)$ met behulp van sinus/cosinus LUT's (geschaald door een geheel getalfactor $\alpha$).
     2. Het accumuleren van de $x$- en $y$-componenten (geheeltallige optelling).
     3. Het projecteren van het resulterende vector terug naar de dichtstbijzijnde gekwantiseerde fasebak met behulp van een uitsluitend geheeltallig CORDIC-algoritme (om atan2 te benaderen) en afronden.

3. Belangrijkste Bijdragen

• Algebra met uitsluitend gehele getallen: Introductie van qFHRR, dat de onderliggende algebraïsche structuur van complexe FHRR behoudt terwijl het implementatie mogelijk maakt met uitsluitend modulaire rekenkunde, geheeltallige accumulatie en LUT's.
• Hardware-efficiëntie: Eliminatie van complexe vermenigvuldiging met drijvende komma en expliciete trigonometrische evaluaties, waardoor het kader geschikt wordt voor neuromorfe en FPGA-systemen.
• Vermindering van bit-breedte: Aantonen dat hoogtrouw representaties kunnen worden bereikt met drastisch gereduceerde bit-breedtes (zo laag als 3–4 bits per dimensie) in vergelijking met de standaard 64-bit complexe representatie.
• Behoud van ruimtelijke structuur: Bewijs dat qFHRR de ruimtelijke similariteitsstructuur behoudt die wordt veroorzaakt door fractionele binding (faseschaling), waardoor nauwkeurige codering en terugwinning van meervoudige objectgeheugens mogelijk blijft ondanks kwantisatie.

4. Resultaten

De auteurs hebben qFHRR geëvalueerd tegen de complexe FHRR-baseline op operator-niveau trouw en representatie-niveau ruimtelijke codering.

• Kwantisatietrouw:

  • De similariteit tussen qFHRR en complexe FHRR neemt monotoon toe met de fase-resolutie ($K$).
  • Prestaties bij lage bit-breedte: Bij $K=8$ (3 bits/dimensie) overschrijdt de bindingssimilariteit 0,94 en de bundelingssimilariteit 0,91, wat een ~95% reductie in representatiegrootte vertegenwoordigt.
  • Afnemende meeropbrengst: Boven $K=16$ (4 bits) nadert de prestatie bijna perfecte overeenstemming (similariteit > 0,98) met de complexe baseline.

• Ruimtelijke Codering (Fractionele Binding):

  • Het systeem werd getest op een ruimtelijk geheugentaken voor meerdere objecten.
  • Kwalitatief: Zelfs bij lage resolutie ($K=8$) behield qFHRR succesvol de locatie van piekresponsen en de omliggende similariteitsgradiënten.
  • Kwantitatief: De Root Mean Squared Error (RMSE) tussen gekwantiseerde en complexe similariteitskaarten nam af naarmate $K$ toenam. Cruciaal bleef de locatie van de piekrespons stabiel over kwantisatieniveaus heen, wat het behoud van de compositieve structuur bewijst.

5. Betekenis en Impact

• Schaalbaarheid: qFHRR biedt een schaalbaar alternatief voor complexe FHRR, vermindert de geheugenvoetafdruk aanzienlijk en maakt implementatie mogelijk op hardware waar eenheden voor drijvende komma niet beschikbaar zijn of te veel stroom verbruiken.
• Neuromorfe Compatibiliteit: De formulering met discrete fase-indexen sluit natuurlijk aan bij spiking-neurale netwerken waarbij fase wordt gecodeerd via spiketiming, waardoor de kloof wordt overbrugd tussen algebraïsche VSAs en biologische/neuromorfe plausibiliteit.
• Praktische Implementatie: Door efficiënte geheeltallige rekenkunde mogelijk te maken, faciliteert qFHRR de integratie van gestructureerde, compositieve AI-modellen in randapparaten, IoT-sensoren en gespecialiseerde neuromorfe chips zonder in te leveren op het vermogen om complex redeneren of ruimtelijke mapping uit te voeren.

Concluderend stelt het artikel vast dat kwantisatie niet noodzakelijkerwijs de algebraïsche of geometrische bruikbaarheid van FHRR degradeert. Door over te stappen van continue complexe getallen naar discrete fase-indexen, bereikt qFHRR een zeer efficiënte, hardware-vriendelijke representatie die de kernsterktes van vector-symbolische architecturen behoudt.