🤖 machine learning

Generalized Holographic Reduced Representations

Dieser Artikel stellt Generalisierte Holographische Reduzierte Repräsentationen (GHRR) vor, eine neuartige Erweiterung des hyperdimensionalen Rechnens, die eine flexible, nicht-kommutative Bindungsoperation einsetzt, um komplexe kompositionelle Strukturen besser zu kodieren und Aufmerksamkeitsmechanismen zu implementieren, und die letztendlich eine verbesserte Leistung gegenüber herkömmlichen Transformern in Sprachmodellierungsaufgaben demonstriert.

Ursprüngliche Autoren: Calvin Yeung, Zhuowen Zou, SungHeon Jeong, Wenjun Huang, Nathaniel D Bastian, Mohsen Imani

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Calvin Yeung, Zhuowen Zou, SungHeon Jeong, Wenjun Huang, Nathaniel D Bastian, Mohsen Imani

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Ein besseres LEGO-Set bauen

Stellen Sie sich vor, Sie versuchen, komplexe Strukturen aus LEGO-Steinen zu bauen. In der Welt der Künstlichen Intelligenz (KI) gibt es zwei Hauptmethoden, dies zu tun:

Symbolische KI: Wie das Befolgen einer strengen Anleitung. Sie ist präzise, aber starr.
Deep Learning (Neuronale Netze): Wie ein riesiger Haufen Steine, der lernt, Dinge zu bauen, indem er Millionen von Bildern von Gebäuden betrachtet. Es ist flexibel, erfordert jedoch enorme Mengen an Energie und Daten.

Hyperdimensionales Computing (HDC) ist ein cleverer Mittelweg. Es versucht, das Beste aus beiden Welten zu kombinieren. Es verwendet riesige, hochdimensionale Vektoren (denken Sie an sie als „Super-Steine"), um Ideen darzustellen. Sie können diese Steine zusammenstecken, um komplexe Konzepte zu bilden, und das System ist sehr robust (wenn Sie ein paar Steine verlieren, ist die Idee immer noch erkennbar).

Das Papier argumentiert jedoch, dass die aktuelle Version dieser „Super-Steine" (genannt FHRR) einen großen Mangel hat: Sie sind zu höflich.

Das Problem: Die „höflichen" Steine

Im aktuellen System ist es beim Zusammenstecken zweier Steine (eine Operation namens Binding) egal, in welcher Reihenfolge dies geschieht.

Stein A + Stein B sieht exakt genauso aus wie Stein B + Stein A.

Im echten Leben kommt es auf die Reihenfolge an. „Hund beißt Mann" ist sehr unterschiedlich von „Mann beißt Hund". Um dies im alten System zu beheben, mussten Ingenieure zusätzliche, komplizierte Tricks hinzufügen (wie das Drehen der Steine), um das System zu zwingen, die Reihenfolge zu merken. Es war umständlich und begrenzte, wie komplex die Strukturen sein konnten.

Die Lösung: GHRR (Die „intelligenten" Steine)

Die Autoren schlagen ein neues System vor, das Generalized Holographic Reduced Representations (GHRR) heißt.

Anstatt einfache, flache Steine (Skalare) zu verwenden, nutzt GHRR mehrdimensionale, rotierende Blöcke (Matrizen).

Die Analogie: Stellen Sie sich vor, die alten Steine waren flache Fliesen, die Sie nur stapeln konnten. Die neuen GHRR-Steine sind wie 3D-Zahnräder. Wenn Sie zwei Zahnräder zusammenstecken, müssen die Zähne auf eine bestimmte Weise ineinandergreifen. Wenn Sie versuchen, sie in der falschen Reihenfolge zusammenzustecken, passen sie nicht richtig.
Das Ergebnis: Dies macht die „Binding"-Operation nicht-kommutativ. Das System versteht von selbst, dass „A dann B" anders ist als „B dann A", ohne dass zusätzliche Tricks nötig sind.

Schlüsselfunktionen des neuen Systems

1. Flexibles Binding (Der „Aufmerksamkeits"-Mechanismus)
Das Papier behauptet, dass diese neue Art, Steine zusammenzustecken, so mächtig ist, dass sie tatsächlich ein berühmtes KI-Werkzeug namens Attention (Aufmerksamkeit) nachahmen kann.

Die Analogie: In einer Standard-KI ist „Attention" wie ein Scheinwerfer, der entscheidet, welche Teile eines Satzes am wichtigsten sind. Die Autoren zeigen, dass ihre neuen GHRR-„Zahnräder" automatisch die richtigen Teile der Daten fokussieren können, einfach durch die Art und Weise, wie sie zusammengesteckt werden.
Der Beweis: Sie ersetzten den „Scheinwerfer" (Aufmerksamkeitsmechanismus) in einem Standard-KI-Modell (einem Transformer) durch ihre GHRR-Zahnräder. Als sie es an einer Sprachaufgabe testeten (das Vorhersagen des nächsten Wortes in einem Satz), schnitt die GHRR-Version besser ab als die Standardversion.

2. Besseres Gedächtnis für komplexe Formen
Da die neuen Steine ausdrucksstärker sind, kann das System komplexe Strukturen (wie Bäume oder verschachtelte Listen) viel besser merken.

Die Analogie: Wenn Sie versuchen, einen langen, komplizierten Satz mit dem alten System zu merken, beginnen die Wörter, ineinanderzufließen. Mit GHRR kann das System die spezifische Struktur des Satzes viel länger festhalten, selbst wenn der Satz tiefer und komplexer wird.

3. Effizienz
Trotz der mathematisch höheren Komplexität verliert das System nicht die Vorteile der „Super-Steine". Es ist immer noch:

Robust: Wenn Sie einige Daten verlieren, bleibt die Bedeutung erhalten.
Transparent: Sie können immer noch sehen, wie die Teile zusammenpassen (im Gegensatz zu einigen „Black-Box"-Deep-Learning-Modellen).
Effizient: Es erfordert nicht die enormen Mengen an Daten und Energie, die modernes Deep Learning normalerweise benötigt.

Was sie tatsächlich getan haben (Die Experimente)

Die Autoren haben nicht nur eine Theorie aufgestellt; sie haben sie getestet:

Mathe-Check: Sie bewiesen, dass ihre neuen „Zahnräder" sich korrekt verhalten und nicht verwirrt werden, wenn sie zusammengesteckt werden.
Reihenfolge-Test: Sie zeigten, dass das neue System korrekt zwischen „A-B" und „B-A" unterscheidet, während das alte System sie verwechselte.
Tiefe-Test: Sie bauten zunehmend komplexe „Bäume" aus Daten. Das neue System konnte die Informationen in viel größeren Tiefen korrekt entschlüsseln als das alte System.
Sprach-Test: Sie tauschten den Aufmerksamkeitsmechanismus in einem Sprachmodell durch ihre GHRR-Version aus. Das neue Modell sagte das nächste Wort in einem Satz genauer voraus als das Standardmodell.

Zusammenfassung

Das Papier stellt GHRR vor, eine neue Art, Daten in der KI darzustellen. Es verbessert die aktuellen „flachen" Bausteine zu „3D-Zahnrädern", die Reihenfolge und Beziehungen von Natur aus verstehen. Dies ermöglicht es der KI, komplexe Strukturen leichter zu handhaben, Dinge besser zu merken und sogar bei Sprachaufgaben besser abzuschneiden, während sie gleichzeitig effizient und verständlich bleibt.

Technische Zusammenfassung: Generalisierte holographische reduzierte Darstellungen (GHRR)

1. Problemstellung

Hyperdimensionales Rechnen (HDC), auch bekannt als Vektor-Symbolische Architekturen (VSA), dient als neurosymbolisches Paradigma, das verbundene und symbolische KI verbindet. Es nutzt hochdimensionale Hypervektoren, um Daten mit Eigenschaften wie Robustheit, Toleranz gegenüber Rauschen und einer Zusammensetzung mit fester Breite darzustellen. Allerdings stoßen Standard-HDC-Implementierungen, insbesondere Fourier-Holographische Reduzierte Darstellungen (FHRR), bei der Kodierung komplexer kompositorischer Strukturen auf erhebliche Grenzen:

Kommutativität des Bindens: Die Standard-Bindungsoperation in FHRR (elementweise Multiplikation skalärer Phasoren) ist kommutativ. Dies schränkt die Fähigkeit ein, asymmetrische Strukturen (z. B. Sequenzen, Bäume) zu kodieren, ohne auf externe Techniken wie Permutationen oder Positions-Kodierungen zurückzugreifen, was die Darstellung verkompliziert.
Begrenzte Ausdruckskraft: Die Bindungsoperation in FHRR wirkt als holographische Projektion mit geringer Kapazität (effektiv die Entnahme der Diagonale eines Tensorprodukts). Dies schränkt die Fähigkeit ein, ausreichende Informationen für komplexe Interaktionen zu bewahren, wie sie beispielsweise für Aufmerksamkeitsmechanismen im Deep Learning erforderlich sind.
Skalierbarkeit vs. Effizienz: Während Deep Learning Generalisierung durch massive Datenmengen und Rechenleistung erreicht, bietet HDC eine effizientere Alternative, fehlt jedoch derzeit die Ausdruckskraft, um komplexes strukturelles Schließen zu bewältigen, ohne seine wünschenswerten Eigenschaften (Transparenz, Robustheit, feste Breite) zu opfern.

2. Methodik: Generalisierte holographische reduzierte Darstellungen (GHRR)

Die Autoren schlagen Generalisierte holographische reduzierte Darstellungen (GHRR) vor, eine Erweiterung von FHRR, die die zugrunde liegende algebraische Struktur generalisiert, um die oben genannten Grenzen zu adressieren.

Kernmathematisches Rahmenwerk

Generalisierung der Elemente: Während FHRR-Hypervektoren aus Elementen in der unitären Gruppe $U(1)$ (komplexe Skalare mit Einheitsbetrag) bestehen, generalisieren GHRR diese Elemente zu unitären Matrizen in der Gruppe $U(m)$ für $m \geq 1$ .
Hypervektor-Struktur: Ein GHRR-Hypervektor $H$ ist ein Tensor der Dimension $D \times m \times m$ , dargestellt als $H = [A^{(1)}, \dots, A^{(D)}]^\top$ , wobei jedes $A^{(j)} \in U(m)$ gilt.
Operationen:
- Bündelung (+): Elementweise Matrixaddition.
- Binden ( $*$ ): Elementweise Matrixmultiplikation. Dies ist für $m > 1$ inhärent nicht-kommutativ, was die natürliche Kodierung von Reihenfolge und asymmetrischen Beziehungen ermöglicht.
- Ähnlichkeit: Definiert als $\delta(H_1, H_2) = \frac{1}{mD} \text{Re} \left( \text{tr} \left( \sum_{j=1}^D A^{(j)} (B^{(j)})^\dagger \right) \right)$ .

Theoretische Eigenschaften

Die Arbeit stellt fest, dass GHRR die grundlegenden Anforderungen von HDC erfüllt:

Quasi-Orthogonalität: Zufällig gesampelte Basis-Hypervektoren sind quasi-orthogonal (Ähnlichkeit $\to 0$ , wenn die Dimension $D \to \infty$ ).
Bindungsinvarianz: Das Ergebnis einer Bindungsoperation ist quasi-orthogonal zu ihren Operanden, wodurch sichergestellt wird, dass zusammengesetzte Strukturen von ihren Teilen unterscheidbar sind.
Ähnlichkeitserhaltung: Die Ähnlichkeit zwischen zwei Konzepten bleibt unter Bindung mit einem dritten Konzept erhalten.
Kernel-Verbindung: GHRR behält die Verbindung zu Random Fourier Features (RFF) bei. Die Ähnlichkeit zwischen GHRR-Kodierungen approximiert einen shift-invarianten Kernel. Die Matrixkomponente $Q$ in der Zerlegung $A = Q\Lambda$ ermöglicht adaptive Kernel, bei denen die Kernel-Form durch die Eingabe oder die Matrixstruktur moduliert werden kann.

Binden als Aufmerksamkeit

Eine zentrale theoretische Erkenntnis ist, dass GHRR-Bindung Aufmerksamkeitsmechanismen implementieren kann.

In Standard-Transformern wird Aufmerksamkeit berechnet als $\text{softmax}(QK^\top)V$ .
In GHRR spiegelt die Bindungsoperation (Matrixmultiplikation) in Kombination mit der Ähnlichkeitsfunktion (Spur des Produkts) mathematisch den Aufmerksamkeitsmechanismus wider.
Indem die Matrixkomponenten $Q$ als lernbare oder feste Basen und $\Lambda$ als Datenkodierung behandelt werden, führt GHRR-Bindung effektiv eine gewichtete Summe von Werten basierend auf der Query-Key-Ähnlichkeit durch, jedoch innerhalb der hyperdimensionalen Algebra.

3. Hauptbeiträge

Einführung des Rahmens: Der Vorschlag von GHRR als flexible, nicht-kommutative Erweiterung von FHRR, mit einer spezifischen Implementierung unter Verwendung unitärer Matrizen $U(m)$ .
Theoretische Beweise: Formaler Nachweis, dass GHRR HDC-Eigenschaften erfüllt (Quasi-Orthogonalität, Ähnlichkeitserhaltung) und seiner Äquivalenz zu FHRR für $m=1$ .
Kernel- und Bindungsanalyse: Interpretation von GHRR-Bindung als Interpolation zwischen FHRR-Bindung (Diagonalprojektion) und Tensorprodukt-Darstellungen (vollständiges Tensorprodukt). Die Arbeit zeigt, dass Bindung in GHRR Aufmerksamkeitsmechanismen implementieren kann.
Empirische Validierung:
- Nicht-Kommutativität: Es wurde demonstriert, dass GHRR verschachtelte Wörterbücher und Bäume ohne Permutationsoperationen kodieren kann, im Gegensatz zur kommutativen FHRR.
- Entschlüsselungsgenauigkeit: Es wurde gezeigt, dass eine Erhöhung von $m$ (Matrixgröße) die Entschlüsselungsgenauigkeit für tiefe kompositorische Strukturen (Bäume) im Vergleich zu FHRR verbessert.
- Kapazität: Es wurde verifiziert, dass GHRR die Speicherkapazität von FHRR beibehält und gleichzeitig nicht-kommutative Fähigkeiten bietet.
- Sprachmodellierung: Der Standard-Aufmerksamkeitsmechanismus in einem Transformer wurde durch ein GHRR-basiertes Äquivalent ersetzt. Das Modell wurde an den Datensätzen Wikitext-2 und Penn Treebank getestet.

4. Experimentelle Ergebnisse

Nicht-Kommutativität: Bei Aufgaben zur Wörterbuch-Wiederherstellung scheiterte die kommutative FHRR daran, Werte mit permutierten Schlüsseln zu unterscheiden, während GHRR ( $m=3$ ) erfolgreich die korrekten Werte wiederherstellte.
Entschlüsselungstiefe: Für baumstrukturierte Daten hielt GHRR mit größerem $m$ eine hohe Entschlüsselungsgenauigkeit bei größeren Tiefen im Vergleich zu FHRR aufrecht. Interessanterweise behielt die auf Permutationen basierende FHRR zunächst länger 100% Genauigkeit, erlitt jedoch starke Einbrüche, während GHRR gradueller abfiel.
Kapazität: GHRR zeigte eine vergleichbare Bündelungskapazität wie FHRR. Entscheidend war, dass GHRR ( $m > 1$ ) bei der Unterscheidung zwischen Permutationen gebundener Hypervektoren FHRR ( $m=1$ ) signifikant übertraf, das Permutationen nicht unterscheiden konnte.
Sprachmodellierung: Der Ersatz der Transformer-Aufmerksamkeit durch GHRR-Bindung führte zu einer verbesserten Perplexität (PPL) bei Sprachmodellierungsaufgaben:
- Wikitext-2: Durchschnittliche Verbesserung von 5,47%.
- Penn Treebank: Durchschnittliche Verbesserung von 2,75%.
- Die besten Konfigurationen verwendeten unterschiedliche Positions-Kodierungen für Query-, Key- und Value-Matrizen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass GHRR eine flexible, nicht-kommutative Bindungsoperation bietet, die die Lücke zwischen der Einfachheit von HDC und der Ausdruckskraft schließt, die für komplexes symbolisches Schließen und Deep Learning erforderlich ist.

Ausdruckskraft: GHRR-Bindung ist ausdrucksstärker als andere HDC-Varianten und kann Aufmerksamkeitsmechanismen direkt durch Matrixmultiplikation implementieren, eine Eigenschaft, die bei der Standard-VSA-Bindung nicht vorhanden ist.
Effizienz und Robustheit: Durch die Bewahrung der festen Breite, der holographischen Natur und der Robustheit von HDC bietet GHRR einen Weg zu effizienten, interpretierbaren KI-Systemen, die nicht auf die massiven Rechenressourcen des Standard-Deep-Learning angewiesen sind.
Neurosymbolische Integration: Das Framework unterstützt eine transparente neuro-symbolische Integration, die die explizite Spezifikation von Strukturen ermöglicht, während die Lernfähigkeiten verbundener Modelle erhalten bleiben.
Praktischer Nutzen: Der erfolgreiche Ersatz der Transformer-Aufmerksamkeit durch GHRR-Bindung zeigt, dass hyperdimensionales Rechnen State-of-the-Art-Deep-Learning-Architekturen direkt verbessern kann, die Leistung bei Sprachmodellierungsaufgaben steigert und potenziell die Rechen- und Datenanforderungen für das Lernen strukturierter Darstellungen senkt.

Die Autoren schließen, dass GHRR neue Wege für effiziente, interpretierbare KI eröffnet, indem es eine genaue Kodierung und Entschlüsselung komplexer kompositorischer Strukturen ermöglicht, ohne die wünschenswerten Eigenschaften traditioneller HDC zu opfern.