Sutra: Tensor-Op RNNs as a Compilation Target for Vector Symbolic Architectures

Das Paper stellt Sutra vor, eine rein funktionale Programmiersprache, die symbolische Operationen der Vector Symbolic Architecture in fusionierte PyTorch-Tensor-Graphen kompiliert, wodurch Programme eine perfekte Dekodiergenauigkeit über diverse eingefrorene Embedding-Substrate hinweg erreichen und mittels Backpropagation trainiert werden können, während sie vollständig lesbar und als Quellcode neu kompilierbar bleiben.

Das Wesentliche

Stellen Sie sich eine riesige, gefrorene Bibliothek des Wissens vor. In dieser Bibliothek ist jedes Konzept (wie „Apfel", „Gerechtigkeit" oder „Protein") kein Wort auf einer Seite, sondern eine einzigartige, mehrdimensionale Farbe oder Form. Diese Bibliothek wird von einer riesigen KI errichtet, die das gesamte Internet gelesen hat, und sie ist „gefroren", was bedeutet, dass sich die Farben und Formen einmal nach dem Bau der Bibliothek nie ändern.

Das Problem lautet: Wie führt man mit diesen Farben Mathematik oder Logik durch? Wenn Sie versuchen, sie mit Standardregeln zu mischen (wie dem in der Arbeit erwähnten „Hadamard-Produkt"), werden die Farben trüb und Sie können sie nicht mehr unterscheiden. Es ist, als würden Sie versuchen, rote und blaue Farbe zu mischen, um Lila zu erhalten, aber stattdessen erhalten Sie nur ein schmutziges Braun, das wie jede andere Farbe im Raum aussieht.

Sutra ist ein neues Werkzeug, das dieses Problem löst. Es ist eine Programmiersprache, mit der Sie Logikregeln schreiben können, die jedoch nicht auf einem normalen Computerprozessor ausgeführt werden, sondern diese Regeln in eine einzige, hocheffiziente Maschine kompilieren, die direkt innerhalb der gefrorenen Bibliothek auf diesen „Farben" (Vektoren) operiert.

Hier ist die Funktionsweise von Sutra, aufgeschlüsselt in einfache Konzepte:

1. Die „magische Rotation" (Bindung)

Bei der alten Methode war das Mischen zweier Konzepte wie ein Zusammenstoß, der ein Chaos verursachte. Sutra verwendet einen Trick namens Rotationsbindung.

• Die Analogie: Stellen Sie sich vor, jedes Konzept hat einen einzigartigen „Schlüssel" (eine Rolle). Um ein spezifisches Detail (einen „Füller") an diesen Schlüssel anzuhängen, „rotiert" Sutra das Detail nicht, sondern dreht es wie einen Schlüssel im Schloss.
• Warum es funktioniert: Da die Bibliothek gefroren ist und die Rotation mathematisch perfekt ist, können Sie den Schlüssel immer wieder zurückdrehen, um das ursprüngliche Detail zu erhalten, selbst wenn Sie es mit anderen Details gemischt haben. Die Arbeit beweist, dass dies bei Text und sogar bei Proteinsequenzen (Biologie) perfekt funktioniert, während die alte „stoßende" Methode vollständig versagte.

2. Die „glatte Logik" (Fuzzy-Mathematik)

Normalerweise denken Computer in strengen „Ja/Nein"- oder „Ein/Aus"-Schaltern. Aber die „Farben" in der Bibliothek sind nicht perfekt; sie sind etwas verschwommen.

• Die Analogie: Stellen Sie sich einen Dimmer anstelle eines Lichtschalters vor. Sutra verwendet eine spezielle Art von Mathematik (Polynome), die Logik wie einen glatten Regler behandelt. Sie kann „Vielleicht" (0), „Wahr" (+1) und „Falsch" (-1) verarbeiten, ohne zu brechen.
• Die Magie: Die Arbeit zeigt, dass Sutra diese unscharfen Logikregeln in eine einzige, glatte mathematische Formel verwandelt. Das bedeutet, dass ein Computer die Logik nicht nur ausführen, sondern auch daraus lernen kann.

3. Die „Einschritt-Maschine" (Kompilierung)

Normalerweise muss ein Computer, wenn Sie ein Programm mit Schleifen (wiederholende Schritte) oder „Wenn-dann"-Entscheidungen schreiben, diese Regeln einzeln überprüfen, was langsam ist.

• Die Analogie: Sutra ist wie ein Meisterkoch, der Ihr Rezept (das Programm) nimmt und die gesamte Mahlzeit vor dem Essen in einen einzigen, fertigen Block vorkocht, noch bevor Sie sich hinsetzen.
• Das Ergebnis: Wenn Sie das Programm ausführen, gibt es keine „Wenn"-Prüfungen oder „Während"-Schleifen in Echtzeit. Der Computer führt nur einen einzigen, kontinuierlichen Fluss von Mathematik aus. Es ist wie ein Zug, der nie an Stationen hält; er gleitet einfach vom Anfang bis zum Ende.

4. Lernen und „lesbarer" Code

Eines der überraschendsten Dinge, die Sutra tut, ist das Lernen.

• Die Analogie: Normalerweise wird ein neuronales Netz, wenn es lernt, zu einer „Blackbox" – einem Haufen Zahlen, den kein Mensch lesen kann. Sutra ist anders. Es kann eine einzelne Zahl (einen „Gain" oder Lautstärkeregler) anpassen, um die Logik besser funktionieren zu lassen.
• Die Wendung: Nachdem der Computer die perfekte Einstellung für diesen Regler gelernt hat, nimmt Sutra diese Zahl und schreibt sie zurück in den ursprünglichen Code als einfache Zahl.
• Warum das wichtig ist: Sie erhalten keine mysteriöse Blackbox, sondern ein sauberes, lesbares Programm, das sagt: „Führen Sie diese Logik aus, aber multiplizieren Sie das Ergebnis mit 1,43." Das trainierte Modell ist immer noch ein Stück für Menschen lesbarer Text.

5. Das „Wörterbuch" (Codebuch)

Da der Computer nur „Farben" (Vektoren) versteht, wie spricht er dann mit Menschen?

• Die Analogie: Sutra führt ein integriertes Wörterbuch (ein Codebuch) mit sich. Wenn Sie ein Wort wie „Apfel" eingeben, übersetzt der Compiler es sofort in seine „Farbe", bevor das Programm startet. Wenn das Programm fertig ist, betrachtet es die resultierende „Farbe" und findet das nächstgelegene Wort im Wörterbuch, um Ihnen eine für Menschen lesbare Antwort zurückzugeben.

Was die Arbeit tatsächlich bewies

Die Arbeit behauptet nicht, dass Sutra Krankheiten heilen oder die Börse vorhersagen kann. Sie beweist drei spezifische Dinge:

1. Es funktioniert mit verschiedenen Bibliotheken: Es führte dasselbe Logikprogramm erfolgreich auf Text (wie Büchern) und Biologie (wie Proteinen) aus, ohne den Code zu ändern.
2. Es schlägt die alten Methoden: Auf diesen gefrorenen Bibliotheken konnte Sstras „Rotations"-Methode Informationen mit 100-prozentiger Genauigkeit abrufen, während die alte „stoßende" Methode kläglich scheiterte (und auf fast zufälliges Raten absank).
3. Es kann lernen und bleibt lesbar: Sie trainierten einen einfachen Klassifizierer (ein Programm, das Wörter in Kategorien sortiert) von Grund auf neu. Es begann mit zufälligen Vermutungen, lernte, 100-prozentig genau zu sein, und das Endergebnis war ein sauberes, lesbares Stück Code mit einer spezifischen Zahl, die darin eingebaut war.

Kurz gesagt ist Sutra eine Brücke, die es uns ermöglicht, Logikregeln zu schreiben, die direkt innerhalb der „gefrorenen Gehirne" moderner KI laufen und sie in schnelle, lernfähige und für Menschen lesbare Maschinen verwandeln.

Technische Zusammenfassung

Technische Zusammenfassung: Sutra: Tensor-Op-RNNs als Kompilierungsziel für Vektor-Symbolische Architekturen

Problemstellung

Vektor-Symbolische Architekturen (VSA) verlassen sich traditionell auf hochdimensionale Vektoren, die aus kontrollierten Zufallsverteilungen stammen, und verwenden Operationen wie das Hadamard-Produkt (elementweise Multiplikation) oder die zirkulare Faltung zum Binden. Moderne „eingefrorene" Embeddings von Large Language Models (LLM) entsprechen jedoch diesen Annahmen nicht. Sie sind anisotrop, konzentrieren sich in schmalen Kegeln innerhalb des Vektorraums, komprimieren die Kosinus-Ähnlichkeit und führen dazu, dass Standard-Bindungsoperationen (wie Hadamard) beim Bündeln mehrerer Elemente aufgrund destruktiver Übersprechen versagen.

Darüber hinaus folgen bestehende neuro-symbolische Systeme oft einer zweistufigen Architektur: Ein neuronales Modell extrahiert diskrete Symbole, die dann von einem separaten symbolischen Reasoner verarbeitet werden. Dies erzeugt eine Diskrepanz zwischen dem kontinuierlichen Embedding-Raum und der diskreten Logikschicht. Es fehlt ein System, das den kontinuierlichen Embedding-Raum als primäres Substrat für eine vollständige Programmiersprache behandelt, bei der Kontrollfluss, Logik und Ein-/Ausgabe alle in einen einzigen, differenzierbaren Tensor-Operationsgraphen kompiliert werden.

Methodik

Die Arbeit stellt Sutra vor, eine typisierte, rein funktionale Programmiersprache, die speziell entwickelt wurde, um in ein PyTorch-Neuronales Netz zu kompilieren, das auf einem eingefrorenen Embedding-Substrat operiert. Die Kernmethodik umfasst vier konsolidierte Primitive, die Standard-VSA-Operationen und Kontrollflussmechanismen ersetzen:

1. Polynomiale Fuzzy-Logik: Anstelle der nicht-differenzierbaren Min/Max-Operatoren (Gödel-t-Normen), die in der Standard-Fuzzy-Logik verwendet werden, setzt Sutra Lagrange-interpolierte Polynome für Kleenes dreiwertige Logik ein (Wahrheitswerte: $+1, 0, -1$). Diese Polynome sind auf dem diskreten Gitter $\{-1, 0, +1\}$ exakt, aber sonst $C^\infty$ (glatt), was den Gradientenfluss durch logische Konnektoren (UND, ODER, NICHT) innerhalb eines Tensor-Graphen ermöglicht.
2. Beta-Reduktion zu Tensor-Graphen: Der Sutra-Compiler führt eine aggressive Beta-Reduktion durch, inline-tet Standardbibliotheksdefinitionen und vereinfacht algebraische Ausdrücke. Das Ergebnis ist ein substratreiner Tensor-Op-Graph, der keine benannten Bindungen, Funktionsaufrufe oder Python-Kontrollflüsse enthält. Konditionale werden zu weichen Mux-Polynomen herabgestuft, und Schleifen werden in Soft-Halt-RNN-Zellen kompiliert.
3. Rotationsbindung: Um die Anisotropie eingefrorener LLM-Embeddings zu adressieren, ersetzt Sutra das Hadamard-Produkt durch Haar-orthogonale Rotationsbindung. Eine rollenspezifische orthogonale Matrix $R_{role}$ wird über einen Inhalts-Hash generiert und auf den Füllvektor angewendet ($bind(role, filler) = R_{role} \times filler$). Diese Operation ist invertierbar und gut konditioniert, selbst auf anisotropen Substraten.
4. Tail-rekursive Schleifen als RNNs: Schleifen werden als tail-rekursive Funktionsdeklarationen ausgedrückt. Der Compiler übersetzt diese in Soft-Halt-RNN-Zellen, wobei der Zustandsvektor eine feste Breite aufweist. Ein „Stopp"-Signal wird über eine kumulative monoton steigende Summe einer Heaviside-Bedingung berechnet, was es der Schleife ermöglicht, den Zustand ohne Verzweigung auf Python-Ebene einzufrieren.

Das System nutzt eine zur Kompilierzeit erstellte Codebook-Datei (gespeichert als .sdb-Datei), um String-Literale auf Embeddings abzubilden und bei der Ausgabe nächste-Nachbar-Strings zu decodieren, wodurch die Schleife für String-Ein-/Ausgabe geschlossen wird, ohne während des Vorwärtsdurchlaufs nachschlagen zu müssen.

Hauptbeiträge

Die Arbeit präsentiert vier spezifische technische Beiträge:

1. Differenzierbare Logik durch Lagrange-Interpolation: Die Herleitung polynomialer Konnektoren, die auf dem Kleene-Gitter exakt, aber überall sonst differenzierbar sind, wodurch die mit Standard-Fuzzy-Logik-Operatoren in neuro-symbolischen Kontexten verbundenen Gradientenflussprobleme gelöst werden.
2. Substratreine Kompilierung: Eine Compiler-Pipeline, die eine hochstufige funktionale Sprache in einen einzigen fusionierten Tensor-Graphen (Matmul, elementweise, nicht-linear) ohne Kontrollfluss auf Host-Seite reduziert, wodurch sichergestellt wird, dass das gesamte Programm eine differenzierbare Funktion seiner Eingaben und lernbarer Parameter ist.
3. Rotationsbindung für anisotrope Substrate: Empirische Validierung, dass die rotationsbasierte Bindung die Hadamard-Bindung bei eingefrorenen LLM-Embeddings (Text- und Proteinmodelle) übertrifft und bei Bündelbreiten, bei denen die Hadamard-Bindung auf Zufallswerte kollabiert, eine Decodiergenauigkeit von 100 % beibehält.
4. Lesbare, neu kompilierbare trainierte Modelle: Eine Demonstration, dass trainierte Parameter (insbesondere skalare Gewinne) als numerische Literale zurück in den Quellcode eingebacken werden können. Dies ermöglicht es, ein trainiertes Modell nicht als undurchsichtigen Checkpoint, sondern als neu kompilierbares, für Menschen lesbares Sutra-Programm darzustellen, das das trainierte Verhalten mit hoher Präzision reproduziert.

Ergebnisse

Die Arbeit validiert den Ansatz durch zwei primäre experimentelle Achsen:

• Kapazität über Substrate hinweg: Experimente wurden auf vier eingefrorenen Substraten durchgeführt: drei Text-Encoder (nomic-embed-text, all-minilm, mxbai-embed-large) und ein Protein-Sprachmodell (ESM-2).

  • Rotationsbindung: Erzielte eine Genauigkeit von 100 % beim Decodieren gebündelter Datensätze bei der Breite $k=8$ über alle Substrate hinweg.
  • Hadamard-Bindung: Kollabierte signifikant, wobei die Genauigkeit bei gleicher Breite auf 2,5 % für mxbai-embed-large und 7,5 % für all-minilm sank.
  • Rauschakkumulation: Die Genauigkeit blieb bei Ein-Zyklus-Datensätzen bei 100 %, verschlechterte sich jedoch bei einer Kettenlänge von $L=8$ auf Zufallswerte, was den validierten Bereich für die aktuelle Implementierung definiert.

• End-to-End differenzierbares Training:

  • Ein in Sutra geschriebener Fuzzy-Regel-Klassifikator wurde von einer zufälligen Initialisierung (Genauigkeit $\approx 18,7\%$, Zufall $= 20\%$) über 30 Epochen mit standardmäßigem PyTorch-Backpropagation auf 100,0 % Genauigkeit trainiert.
  • Es wurde verifiziert, dass Gradienten durch den kompilierten Tensor-Graphen (Ähnlichkeit $\to$ Lagrange-Kleene-Polynome $\to$ Kreuzentropie) ohne Neuimplementierung fließen.
  • Eine gewichtete Variante trainierte einen skalaren Gewinn $w$, um der Anisotropie der Embeddings entgegenzuwirken. Das trainierte Modell wurde erfolgreich in den Quellcode „eingebacken" (z. B. 1.431431 * similarity(...)), und das Neukompilieren dieses Quellcodes reproduzierte die trainierten Logits mit einer maximalen Differenz von $\approx 2 \times 10^{-7}$.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Sutra eine neuartige Position im Landschaftsbild des neuro-symbolischen Rechnens und der differenzierbaren Programmierung einnimmt. Ihre Bedeutung liegt in der Vereinigung von Logik und Lernen innerhalb eines einzigen Artefakts:

• Artefaktform: Im Gegensatz zu Bibliotheken (z. B. TorchHD), die Primitive für Python-Skripte exponieren, oder neuro-symbolischen Sprachen (z. B. Scallop, DeepProbLog), die Wahrnehmung vom Reasoning trennen, kompiliert Sutra das gesamte Programm – einschließlich Kontrollfluss und String-Ein-/Ausgabe – in einen einzigen fusionierten Tensor-Op-Graphen.
• Substrat-Agnostizismus: Die Architektur ist nicht an ein spezifisches Embedding-Modell gebunden; sie kann jedes Netzwerk anvisieren, das dichte Vektordarstellungen erzeugt, wie durch die erfolgreiche Portierung desselben Quellcodes sowohl auf Text- als auch auf Protein-Embeddings demonstriert wird.
• Lesbarkeit: Durch das Trainieren von Parametern, die als Quell-Literale zurückgeschrieben werden können, überbrückt das System die Lücke zwischen Black-Box-neuronalen Gewichten und interpretierbaren Logikprogrammen. Das trainierte Modell ist kein „Blob", sondern ein neu kompilierbares Programm.

Die Autoren stellen ausdrücklich fest, dass die Arbeit eine Verifikation des „Source-Training-Round-Trip" und des Gradientenflusses durch den kompilierten Graphen ist und keine Generalisierungsbenchmark gegenüber anderen Systemen darstellt. Das System ist derzeit auf Ein-Zyklus-Datensätze und bestimmte eingefrorene Substrate beschränkt, wobei tief verschachtelte Datensätze und beliebige Embedding-Modelle als zukünftige Arbeit identifiziert wurden.