qFHRR: Rethinking Fourier Holographic Reduced Representations through Quantized Phase and Integer Arithmetic

Das Papier stellt qFHRR vor, eine quantisierte Phasenformulierung von Fourier-Holographischen Reduzierten Repräsentationen, die Gleitkommaarithmetik durch ganzzahlige Modulo-Operationen ersetzt, um den Speicherbedarf erheblich zu reduzieren und eine effiziente Hardware-Implementierung zu ermöglichen, während die algebraischen Eigenschaften und die hochauflösende Ähnlichkeitsstruktur des ursprünglichen komplexwertigen Rahmens erhalten bleiben.

Das Wesentliche

Stellen Sie sich vor, Sie haben eine riesige Bibliothek voller Informationen, und statt Bücher verwenden Sie riesige, mehrfarbige Kreisel, in denen alles gespeichert ist. In der Welt der Informatik nennt man dies Fourier Holographic Reduced Representations (FHRR).

So funktioniert das alte System:
Jeder „Kreisel" (oder Datenvektor) verfügt über Tausende von winzigen Zifferblättern. Um ein Stück Information zu speichern, stellen Sie jedes Zifferblatt auf einen bestimmten Winkel auf einem Kreis ein (wie bei einem Zifferblatt einer Uhr). Um zwei Informationen zu kombinieren (wie „Rot" + „Apfel"), drehen Sie die Zifferblätter beider Kreisel und addieren ihre Winkel. Um sie später wieder zu trennen, subtrahieren Sie die Winkel.

Das Problem:
Die alte Methode erfordert, dass diese Zifferblätter unglaublich präzise sind. Computer müssen komplexe, schwere Mathematik (Gleitkommazahlen) verwenden, um diese exakten Winkel zu berechnen. Das ist wie der Versuch, einen Roboter zu bauen, der nur funktioniert, wenn er einen Supercomputer im Kopf hat. Es verbraucht viel Energie, beansprucht viel Speicherplatz und ist schwer auf kleinen, günstigen Chips zu realisieren (wie denen in Smartwatches oder Sensoren).

Die Lösung: qFHRR
Die Autoren dieses Papers haben qFHRR (Quantized FHRR) eingeführt. Stellen Sie sich dies vor wie den Ersatz des unendlichen, glatten Zifferblatts durch ein einfaches, nummeriertes Zifferblatt.

Anstatt dem Zifferblatt zu erlauben, auf jeden Winkel zu zeigen (wie 12,345 Grad), sagt qFHRR: „Lassen Sie uns einfach eine feste Liste von 8, 16 oder 32 spezifischen Positionen auswählen."

• Alte Methode: „Richten Sie das Zifferblatt exakt auf 12,345 Grad." (Erfordert komplexe Mathematik).
• Neue Methode: „Richten Sie das Zifferblatt auf Position Nr. 3." (Erfordert einfaches Zählen).

Wie es im Alltag funktioniert:

1. Die „Lego"-Analogie für Mathematik:
   Im alten System war das Kombinieren von Informationen wie das Mischen zweier Flüssigkeiten in einem Becherglas; Sie benötigen präzise Waagen und Chemie, um das Ergebnis richtig zu bekommen.
   Im neuen qFHRR-System ist das Kombinieren von Informationen wie das Zusammenstecken von Lego-Steinen. Sie addieren einfach die Zahlen auf den Steinen. Wenn Sie einen „3"-Stein und einen „5"-Stein haben, erhalten Sie einen „8"-Stein. Wenn Sie über das Limit hinausgehen (sagen wir, das Zifferblatt hat nur 8 Positionen), springen Sie einfach zum Anfang zurück (wie eine Uhr, die von 12 wieder auf 1 geht). Dies nennt man modulare Arithmetik, und das kann sogar ein einfacher Taschenrechner sofort erledigen, ohne einen Supercomputer zu benötigen.

2. Die „Speisekarte"-Analogie für Ähnlichkeit:
   Um zu prüfen, ob zwei Informationen ähnlich sind, musste das alte System einen komplexen trigonometrischen Tanz aufführen.
   Das neue System verwendet eine Nachschlagetabelle (wie eine Restaurant-Speisekarte). Anstatt den Abstand zwischen zwei Winkeln zu berechnen, schlägt der Computer die Antwort einfach in einer vorab geschriebenen Liste nach. „Wenn ich Position Nr. 3 und Position Nr. 5 habe, beträgt der Ähnlichkeitswert X." Keine Mathematik erforderlich, nur Lesen.

Was haben sie herausgefunden?
Die Forscher haben dieses neue „nummerierte Zifferblatt"-System gegen das alte „präzise Winkel"-System getestet:

• Es ist winzig: Es gelang ihnen, die Datengröße um über 90 % zu verkleinern. Anstatt für jedes Datenelement 64 Bit (ein riesiger Speicherblock) zu benötigen, reichten ihnen nur 3 oder 4 Bit. Das ist wie das Verkleinern eines Full-HD-Films zu einem winzigen Vorschaubild, ohne die Handlung zu verlieren.
• Es ist genau: Selbst mit einem so kleinen, einfachen Zifferblatt (nur 8 Positionen) funktionierte das System fast perfekt. Es konnte Informationen genauso gut kombinieren und trennen wie die komplexe Version.
• Es behält die Karte: Das Paper testete, ob dieses System in der Lage ist, sich daran zu erinnern, wo sich Dinge im Raum befinden (wie das Erinnern daran, wo eine Tasse, ein Buch und ein Stift auf einem Tisch liegen). Selbst mit den vereinfachten Zifferblättern behielt das System die „räumliche Karte" intakt. Es wusste, dass die Tasse nahe am Buch und weit vom Stift entfernt war, genau wie die komplexe Version.

Warum das wichtig ist (laut dem Paper):
Das Paper behauptet, dies sei nicht nur ein mathematischer Trick; es ist ein Weg, diese leistungsfähigen Speichersysteme auf Hardware zum Laufen zu bringen, die keine Supercomputer besitzt. Durch den Wechsel von „komplexer Mathematik" zu „einfacher Ganzzahl-Zählung" machen sie es möglich, diese Art von intelligentem Speicher in Geräte einzubauen, die klein, günstig und energieeffizient sind.

Zusammenfassung:
Das Paper nimmt eine hochtechnische, mathematikintensive Methode zur Speicherung von Informationen und vereinfacht sie zu einem „Zählspiel". Sie bewiesen, dass man keinen superpräzisen, teuren Motor braucht, um ein Auto zu fahren; manchmal funktioniert ein einfaches, effizientes Getriebesystem genauso gut und passt in eine viel kleinere Box.

Technische Zusammenfassung

1. Problemstellung

Fourier Holographic Reduced Representations (FHRR) sind ein prominentes Framework für Vector Symbolic Architectures (VSA), das zur Kodierung strukturierter Informationen mithilfe hochdimensionaler, komplexwertiger Hypervektoren verwendet wird. Obwohl FHRR leistungsfähige algebraische Eigenschaften für kompositorisches Gedächtnis und räumliches Schlussfolgern bietet, verlässt es sich auf Gleitkomma-Arithmetik und kontinuierliche Phasendarstellungen.

• Einschränkungen: Diese Abhängigkeit erzeugt erheblichen Overhead in Bezug auf Speicherbandbreite, Energieverbrauch und Hardwarekomplexität, was FHRR für ressourcenbeschränkte Umgebungen (z. B. neuromorphe Hardware, FPGAs, Edge-Geräte) ineffizient macht.
• Ziel: Die Autoren streben eine Formulierung von FHRR an, die seine algebraische Struktur und geometrischen Eigenschaften bewahrt, aber nur Ganzzahlberechnungen ermöglicht, wodurch der Speicherbedarf reduziert und die Notwendigkeit von Gleitkommaeinheiten eliminiert wird.

2. Methodik: Quantisiertes FHRR (qFHRR)

Die Autoren schlagen qFHRR vor, eine diskrete Phasenformulierung, die den kontinuierlichen komplexen Bereich in eine endliche Menge ganzzahliger Phasenindizes reparametrisiert.

Kernrepräsentation

• Diskretisierung: Anstatt eine Dimension als kontinuierlichen komplexen Phasor $z_i = e^{j\theta_i}$ mit $\theta_i \in [0, 2\pi)$ darzustellen, bildet qFHRR jede Dimension auf einen diskreten ganzzahligen Index $q_i \in \{0, 1, \dots, K-1\}$ ab.
• Abbildung: Die Phase wird definiert als $\theta_i = \frac{2\pi q_i}{K}$, wobei $K$ die Anzahl der Phasenbins ist. Dies erzeugt eine quantisierte Approximation des Einheitskreises.

Implementierung von Kernoperationen

Das Papier zeigt, wie Standard-VSA-Operationen in Ganzzalarithmetik und Nachschlagetabelle (LUT)-Operationen transformiert werden:

1. Bindung (Multiplikation):

   • Standard-FHRR: Elementweise komplexe Multiplikation (Phasenaddition).
   • qFHRR: Modulare Ganzzahladdition.
   • Formel: $r_i = (q_{a,i} + q_{b,i}) \mod K$.

2. Unbindung (Division/Konjugation):

   • Standard-FHRR: Elementweise komplexe konjugierte Multiplikation (Phasensubtraktion).
   • qFHRR: Modulare Ganzzahlsubtraktion.
   • Formel: $\hat{q}_{a,i} = (r_i - q_{b,i}) \mod K$.

3. Ähnlichkeit (Skalarprodukt):

   • Standard-FHRR: Kosinusähnlichkeit (Realteil des inneren Produkts).
   • qFHRR: Berechnet als mittlerer Kosinus der Phasendifferenzen. Da die Phasendifferenz eine ganze Zahl ist, werden die Kosinuswerte über eine vorberechnete Nachschlagetabelle (LUT) abgerufen, die durch $(q_{a,i} - q_{b,i}) \mod K$ indiziert ist.

4. Bündelung (Addition):

   • Herausforderung: Vektoraddition ist unter modularer Arithmetik nicht abgeschlossen.
   • Lösung: Der Prozess umfasst:
     1. Abbildung ganzzahliger Indizes auf kartesische Koordinaten $(x, y)$ unter Verwendung von Sinus/Kosinus-LUTs (skaliert mit einem ganzzahligen Faktor $\alpha$).
     2. Akkumulieren der $x$- und $y$-Komponenten (Ganzzahladdition).
     3. Projektion des resultierenden Vektors zurück auf die nächste quantisierte Phasenbin unter Verwendung eines rein ganzzahligen CORDIC-Algorithmus (zur Approximation von atan2) und Rundung.

3. Hauptbeiträge

• Nur-Ganzzahl-Algebra: Einführung von qFHRR, das die zugrunde liegende algebraische Struktur von komplexem FHRR bewahrt und gleichzeitig eine Implementierung ausschließlich mittels modularer Arithmetik, ganzzahliger Akkumulation und LUTs ermöglicht.
• Hardware-Effizienz: Elimination von komplexer Gleitkomma-Multiplikation und expliziten trigonometrischen Auswertungen, wodurch das Framework für neuromorphe und FPGA-Systeme geeignet wird.
• Reduktion der Bitbreite: Nachweis, dass hochpräzise Darstellungen mit drastisch reduzierten Bitbreiten (so niedrig wie 3–4 Bits pro Dimension) im Vergleich zur Standard-64-Bit-komplexen Darstellung erreicht werden können.
• Erhaltung der räumlichen Struktur: Beweis, dass qFHRR die durch fraktionale Bindung (Phasenskalierung) induzierte räumliche Ähnlichkeitsstruktur beibehält, was eine genaue Kodierung und den Abruf von Mehrobjekt-Gedächtnis trotz Quantisierung ermöglicht.

4. Ergebnisse

Die Autoren bewerteten qFHRR gegenüber der komplexen FHRR-Baseline auf Ebene der Operator-Genauigkeit und der räumlichen Kodierung auf Repräsentationsebene.

• Quantisierungs-Genauigkeit:

  • Die Ähnlichkeit zwischen qFHRR und komplexem FHRR steigt monoton mit der Phasenauflösung ($K$).
  • Leistung bei niedriger Bitbreite: Bei $K=8$ (3 Bits/Dimension) übersteigt die Bindungsähnlichkeit 0,94 und die Bündelungsähnlichkeit 0,91, was einer Reduktion der Repräsentationsgröße von ca. 95 % entspricht.
  • Abnehmende Grenzerträge: Über $K=16$ (4 Bits) hinaus nähert sich die Leistung einer nahezu perfekten Übereinstimmung (Ähnlichkeit > 0,98) mit der komplexen Baseline an.

• Räumliche Kodierung (Fraktionale Bindung):

  • Das System wurde an einer räumlichen Gedächtnisaufgabe mit mehreren Objekten getestet.
  • Qualitativ: Selbst bei niedriger Auflösung ($K=8$) bewahrte qFHRR erfolgreich die Position der Spitzenantworten und die umgebenden Ähnlichkeitsgradienten.
  • Quantitativ: Der Root-Mean-Square-Fehler (RMSE) zwischen quantisierten und komplexen Ähnlichkeitskarten nahm mit steigendem $K$ ab. Entscheidend blieb die Position der Spitzenantwort über alle Quantisierungsebenen hinweg stabil, was die Erhaltung der kompositorischen Struktur beweist.

5. Bedeutung und Auswirkung

• Skalierbarkeit: qFHRR bietet eine skalierbare Alternative zu komplexem FHRR, reduziert den Speicherbedarf erheblich und ermöglicht den Einsatz auf Hardware, auf der Gleitkommaeinheiten nicht verfügbar oder zu stromhungrig sind.
• Kompatibilität mit Neuromorpher Hardware: Die Formulierung diskreter Phasenindizes stimmt natürlich mit spikenden neuronalen Netzen überein, bei denen die Phase über die Spike-Zeit kodiert wird, und überbrückt so die Lücke zwischen algebraischen VSAs und biologischer/neuromorpher Plausibilität.
• Praktischer Einsatz: Durch die Ermöglichung effizienter Ganzzalarithmetik erleichtert qFHRR die Integration strukturierter, kompositorischer KI-Modelle in Edge-Geräte, IoT-Sensoren und spezialisierte neuromorphe Chips, ohne die Fähigkeit zum komplexen Schlussfolgern oder zur räumlichen Kartierung zu beeinträchtigen.

Zusammenfassend stellt das Papier fest, dass Quantisierung die algebraische oder geometrische Nutzbarkeit von FHRR nicht notwendigerweise verschlechtert. Durch den Wechsel von kontinuierlichen komplexen Zahlen zu diskreten Phasenindizes erreicht qFHRR eine hocheffiziente, hardwarefreundliche Darstellung, die die Kernstärken von Vektor-Symbol-Architekturen bewahrt.