💬 NLP

Modeling Next-Token Prediction as Left-Nested Intuitionistic Implication

Dieses Paper führt das Arrow Language Model ein, eine neuronale Architektur, die die Next-Token-Prädiktion als konstruktive Beweiserweiterung mittels links-verschachtelter intuitionistischer Implikationen neu interpretiert und dadurch eine multiplikative RNN-Struktur ableitet, wobei die Sequenzverarbeitung dem Modus Ponens entspricht und die Ordnung durch nicht-kommutative Komposition bewahrt wird.

Ursprüngliche Autoren: Paul Tarau

Veröffentlicht 2026-01-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Paul Tarau

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Vom „Raten“ zum „Bauen“

Die meisten modernen KI-Modelle (wie die, mit denen Sie chatten) arbeiten ein wenig wie ein superintelligenter Ratender. Sie schauen sich die Wörter an, die Sie getippt haben, berechnen, wie ähnlich sie den Wörtern sind, die sie zuvor gesehen haben, und sagen das Nächste basierend auf statistischen Mustern voraus. Sie behandeln Wörter wie Zutaten in einer Suppe, die sie alle zusammenmischen, um einen Geschmack zu erhalten.

Der Autor, Paul Tarau, schlägt einen anderen Weg vor, über dies nachzudenken. Er schlägt vor, dass wir aufhören sollten, Wörter als Zutaten zu betrachten, die gemischt werden, und stattdin beginnen sollten, sie als Werkzeuge oder Operatoren zu betrachten, die den Zustand einer Maschine verändern.

Anstatt zu fragen: „Welches Wort folgt normalerweise auf dieses hier?“, fragt das Modell: „Wenn ich dieses Wort als Regel auf meine aktuelle Situation anwende, welche neue Situation erschaffe ich dann?“

Die Kernanalogie: Die Domino-Kette vs. die Mischschüssel

Der alte Weg (Transformer): Stellen Sie sich eine Mischschüssel vor. Sie werfen „Der“, „Katze“ und „saß“ hinein. Die KI wirbelt sie alle zusammen und schaut gleichzeitig, wie „Katze“ mit „saß“ zusammenhängt und wie „Der“ mit „Katze“ zusammenhängt. Sie verwendet ein spezielles „Positional Encoding“ (wie das Anbringen eines winzigen Aufklebers auf jedem Wort, der sagt: „Ich bin Nr. 1“, „Ich bin Nr. 2“), um sich die Reihenfolge zu merken.

Der neue Weg (Arrow-Modell): Stellen Sie sich eine Reihe von Dominosteinen vor, aber diese fallen nicht einfach nur um; sie transformieren einander.

Sie beginnen mit einem leeren Blatt (dem Anfangszustand).
Sie platzieren das Wort „Der“. Dies wirkt wie eine Maschine, die das leere Blatt in einen spezifischen „Der-Zustand“ verändert.
Sie platzieren „Katze“. Dies ist nicht einfach nur ein Hinzufügen zum Haufen; es ist eine Maschine, die den „Der-Zustand“ nimmt und ihn in einen „Der-Katze-Zustand“ transformiert.
Sie platzieren „saß“. Diese Maschine nimmt den „Der-Katze-Zustand“ und transformiert ihn in einen „Der-Katze-saß-Zustand“.

In dieser Sichtweise ist die Reihenfolge wichtig, weil man die „saß“-Maschine nicht vor die „Der“-Maschine setzen kann. Die Maschinen sind „links-verschachtelt“, was bedeutet, dass jede neue Maschine die vorherige Kette umschließt. Wenn man die Reihenfolge vertauscht, passen die Maschinen nicht zusammen und die Kette bricht. Dies bewahrt die Reihenfolge des Satzes auf natürliche Weise, ohne dass spezielle „Aufkleber“-Etiketten nötig sind.

Die Logik: Ein Spiel von „Wenn... dann...“

Das Paper verwendet einen Zweig der Mathematik namens Intuitionistische Logik. Betrachten Sie dies als ein Spiel der logischen Deduktion.

Das Setup: Sie haben eine Liste von Annahmen (die Wörter, die Sie bisher gesehen haben).
Das Ziel: Sie wollen beweisen, dass das nächste Wort wahr ist.
Der Mechanismus: Das Modell nutzt eine Regel namens Modus Ponens. In einfachem Deutsch besagt diese Regel: „Wenn du eine Regel hast, die sagt: ‚Wenn A, dann B‘, und du auch ‚A‘ hast, kannst du ‚B‘ schlussfolgern.“

Im Arrow-Modell:

Der aktuelle Zustand der KI ist das „A“ (die Annahme).
Das nächste Wort ist das „B“ (die Schlussfolgerung).
Das Wort selbst fungiert als die Brücke (die Implikation), die den aktuellen Zustand in den nächsten Zustand verwandelt.

Die Vorhersage des nächsten Wortes ist also exakt dasselbe wie das Vervollständigen eines Beweises. Die KI baut ein logisches Argument Schritt für Schritt auf.

Die „Arrow“-Architektur

Der Autor baute ein neuronales Netzwerk namens Arrow Language Model, um diese Idee zu testen.

Wie es funktioniert: Anstatt Zahlen zusammenzuzählen (wie eine Standard-KI), multipliziert und transformiert dieses Modell Zahlen. Jedes Wort ist ein einzigartiger „Operator“, der die aktuellen Daten verdreht und wendet.
Warum es cool ist: Weil Multiplikation nicht kommutativ ist (das heißt, $A \times B$ ist nicht dasselbe wie $B \times A$ ), ist die Reihenfolge der Wörter in die Mathematik eingebaut. Sie müssen dem Computer nicht sagen „dieses Wort kam zuerst“; die Mathematik zwingt ihn dazu, es zu wissen.
Das Ergebnis: Das Modell lernte erfolgreich, das nächste Wort vorherzusagen, indem es wie eine logische Beweismaschine agierte. Es bewies, dass man ein Sprachmodell bauen kann, das in Begriffen von „Beweisen“ statt nur „Mustern“ denkt.

Die Experimente: Auswendiglernen vs. Verstehen

Um zu testen, ob dies tatsächlich funktionierte, unternahm der Autor einige Schritte:

Der „Overfitting“-Test: Sie gaben dem Modell einen winzigen Textabschnitt und baten es, diesen perfekt auswendig zu lernen. Standard-KI-Modelle haben manchmal Schwierigkeiten damit, wenn sie zu komplex sind, aber das Arrow-Modell erledigte dies mühellich. Dies bewies, dass die Architektur in der Lage war, Muster zu lernen.
Der „Retrieval“-Test: Sie erstellten eine Datenbank von Sätzen. Als sie das Modell nach einem unvollständigen Satz fragten (z. B. „Der Katze...“), konnte das Modell seinen internen „Beweiszustand“ abrufen und genau den Satz finden, den es mit diesen Worten begonnen hatte.
Der Vergleich: Sie verglichen dies mit einem Standard-Prolog-System (einer Logik-Programmiersprache). Das neuronale Netzwerk der KI verhielt sich sehr ähnlich wie das logische System, was darauf hindeutet, dass die Mathematik genau das tat, was die Logik vorgab.

Was dies bedeutet (laut dem Paper)

Das Paper behauptet Folgendes:

Wir können die Sprachgenerierung als das Konstruieren eines Beweises betrachten und nicht bloß als das Raten des nächsten Wortes.
Wir können eine KI bauen, die die Wortreihenfolge natürlich durch mathematische Operationen (nicht-kommutative Komposition) handhabt, anstatt durch künstliche Positions-Tags.
Dieser Ansatz bietet eine klare, logische Erklärung dafür, warum das Modell funktioniert, und schlägt die Brücke zwischen symbolischer Logik (wie mathematischen Beweisen) und neuronalen Netzen (wie Deep Learning).

Der Autor stellt den Open-Source-Code zur Verfügung, damit andere versuchen können, diese „beweisbasierten“ Sprachmodelle selbst zu bauen. Das Paper bleibt vorsichtig damit, zu behaupten, dass dies sofort alle KI-Probleme lösen oder herkömmliche KI ersetzen wird, aber es demonstriert erfolgreich, dass ein logikbasierter Ansatz für die Sprachmodellierung nicht nur möglich, sondern auch effektiv ist.

Technisches Resümee: Modellierung der Next-Token-Prädiktion als links-verschachtelte intuitionistische Implikation

Problemstellung

Fundamentale generative KI-Modelle, insbesondere Transformer, stützen sich auf unüberwachte Next-Token-Prädiktion, die auf massiven Datensätzen trainiert wird. Während dies effektiv ist, verschleiert die Standard-Transformer-Architektur die logische Struktur der Sequenzvorhersage. Sie behandelt Token als additive Embeddings, die über Attention-Mechanismen gemischt werden, was explizite Positionskodierungen erfordert, um die Ordnung zu erfassen. Dieser Ansatz bietet eine begrenzte erklärende Verbindung zu symbolischer Argumentation oder der konstruktiven Natur der Beweisführung. Die Arbeit stellt eine fundamentale Frage: Kann Next-Token-Prädiktion als Erweiterung eines Beweises in der intuitionistischen Aussagenlogik verstanden werden, und kann diese Interpretation eine lebensfähige, ordnungssensitive neuronale Architektur hervorbringen, die ohne additive Embeddings oder explizite Positionskodierungen auskommt?

Methodik

Die Autoren schlagen das Arrow Language Model vor, eine neuronale Architektur, die aus einer intuitionistisch-logischen Interpretation der Next-Token-Prädiktion abgeleitet ist. Die Methodik vollzieht sich durch symbolische Logikableitung, Beweisführung und neuronale Realisierung.

1. Logische Formalisierung: Links-verschachtelte Implikation

Die zentrale Erkenntnis besteht darin, eine Sequenz von Token $w_1, \dots, w_n$ nicht als Menge oder als rechts-verschachtelte Kette (die unter Konjunktion permutationsinvariant ist) darzustellen, sondern als eine links-verschachtelte Implikationskette:
$L_n = ((((w_1 \to w_2) \to w_3) \to \dots) \to w_n)$
In der intuitionistischen Logik ist diese Struktur ordnungssensitiv; das Permutieren von Token verändert den funktionalen Typ des Antezedens.

Next-Token-Prädiktion als Modus Ponens: Das Vorhersagen des nächsten Tokens $w$ gegeben einen Präfix $P$ entspricht der logischen Inferenz $P \to w$ . Wenn der Präfix als Implikationskette $I_p$ und die vollständige Sequenz als $I_f = (I_p \to w)$ dargestellt wird, entspricht das Ableiten von $w$ einer Instanz von modus ponens.
Curry–Howard-Isomorphismus: Unter dieser Isomorphie sind Propositionen Typen und Beweise $\lambda$ -Terme. Der Präfix ist ein teilweise angewandter $\lambda$ -Term, und die Vorhersage des nächsten Tokens entspricht der Bereitstellung eines Arguments, um weitere Funktionsanwendungen (Implikationselimination) zu ermöglichen.

2. Beweisführung und symbolische Abfrage

Die Autoren nutzen spezialisierte, auf Prolog basierende Theorembeweiser (die den LJT-Kalkül von Roy Dyckhoff implementieren), um Eigenschaften dieser Implikationsketten zu validieren.

Theoreme: Sie zeigen, dass links-verschachtelte Ketten sowohl Einzel- als auch Mehrschritt-Vorhersagen unterstützen. Beispielsweise zeigen Theoreme, wie ein Präfix in wiederverwendbare Kontinuationsoperatoren "kompiliert" werden kann (z. B. die Transformation von $((E \to a) \to b) \to c$ in eine Regel zur Generierung von $b$ und dann $c$ ).
Informationsabfrage: Ein symbolischer Abrufmechanismus wird implementiert, bei dem Sätze als Implikationsketten gespeichert werden. Abfragen (Teilsequenzen) fungieren als Teilformeln, um exakte Vervollständigungen aus der Datenbank abzurufen, was als logikbasierte Baseline dient.

3. Neuronale Realisierung: Das Arrow-Modell

Die Autoren leiten eine rekurrenten neuronale Architektur ab, die die logische Struktur spiegelt:

Verborgener Zustand als Beweiskontext: Der verborgene Zustand $h_t \in \mathbb{R}^d$ repräsentiert den akkumulierten Beweiskontext nach Konsumierung eines Präfixes.
Token als Operatoren: Anstatt additiver Embeddings fungiert jedes Token $t$ als linearer Operator $M_t$ , der den aktuellen Zustand transformiert.
Low-Rank-Parametrisierung: Um große Vokabulare zu handhaben, wird der Operator als Low-Rank-Update definiert:
$M_t = I + U \text{diag}(s_t) V^\top$
wobei $U, V$ gemeinsame Matrizen sind und $s_t$ ein token-spezifischer Gate-Vektor aus einem Embedding-Lookup ist.
Zustandsaktualisierung (Modus Ponens): Die Rekurrenz implementiert die Implikationselimination:
$h_{t+1} = \text{LayerNorm}(h_t + U((V^\top h_t) \odot s_t))$
Diese Aktualisierung ist inhärent nicht-kommutativ ( $M_a M_b \neq M_b M_a$ ) und kodiert die Ordnung intrinsisch ohne Positionskodierungen.
Training: Das Modell wird mit Standard-Next-Token-Cross-Entropy mittels Teacher Forcing trainiert. Der Verlust wird in einem Streaming-Verfahren berechnet, um den Speicherbedarf auf handelsüblichen GPUs zu bewältigen.

Zentrale Beiträge

Logikbasierte Ableitung: Die Arbeit etabliert eine formale Korrespondenz zwischen der Tiefe links-verschachtelter intuitionistischer Implikationen und den Schritten rekurrenten Computations und liefert so eine beweistheoretische Grundlage für die Sequenzmodellierung.
Arrow-Architektur: Sie führt eine spezifische neuronale Architektur ein, bei der Token zustandsverändernde Operatoren statt additiver Vektoren sind, wodurch der induktive Bias von "Retrieval via Attention" zu "Transformation via Komposition" verschoben wird.
Symbolisch-neuronale Brücke: Die Arbeit demonstriert eine enge Verbindung zwischen symbolischer Theorembeweisführung (exakter Abruf via Unifikation) und neuronaler Prädiktion (approximativer Abruf via gelernter Kontinuations-Scores).
Theoretische Analyse der Ordnung: Es wird bewiesen, dass links-verschachtelte Implikationen die Ordnung natürlich bewahren, während rechts-verschachtelte Implikationen (wie sie in Standard-Attention-Formulierungen ohne Positionskodierungen vorkommen) dies nicht tun.

Experimentelle Ergebnisse

Die Experimente konzentrieren sich darauf, die Fähigkeit der Architektur zu validieren, ordnungssensitive Muster zu lernen und eine symbolische Abfrage zu imitieren, anstatt mit State-of-the-Art-Sprachmodellen auf allgemeinen Benchmarks zu konkurrieren.

Overfitting/Sanity Checks: Das Modell wurde auf kleinen Datensätzen (Project Gutenberg Texte) unter einem gezielten Overfitting-Regime getestet. Der Trainingssatz wurde mit allen zusammenhängenden Fragmenten von Sätzen erweitert, um die Logik-Level-Abfrage von Teilformeln zu simulieren.
Performance: Das Modell konnte die Trainingsdaten erfolgreich überfitten und erreichte innerhalb weniger Minuten auf einer einzelnen RTX 3090 GPU einen nahezu Null-Verlust bei kleinen Dokumenten (z. B. The Wizard of Oz, Moby Dick).
Retrieval vs. Generierung:
- Symbolische Baseline: Die Prolog-basierte Abfrage erreichte exakte Übereinstimmungen für Abfragen gegen die gespeicherten Implikationsketten.
- Neuronale Mimikry: Das Arrow-Modell konnte bei einer Abfrage mit einem Präfix Kandidaten für Suffix-Vervollständigungen (aus dem Korpus) basierend auf gelernten Kontinuations-Scores ranken und somit den logischen Abrufprozess effektiv imitieren.
- Freie Generierung: Das Modell konnte über exakt memorierte Übereinstimmungen hinaus flüssige Fortsetzungen generieren, was zeigt, dass die gelernte Operator-Komposition eine generalisierbare sequentielle Struktur besitzt.
Skalierbarkeit: Der Trainingsdurchsatz war linear in Bezug auf die Sequenzlänge, und das Modell skalierte auf buchlange Korpora (z. B. War and Peace) mit handhabbarem Speicherverbrauch dank Streaming-Loss-Berechnung.

Bedeutung und Ansprüche

Die Arbeit beansprucht, eine logik-zentrierte Fundierung für die Next-Token-Prädiktion zu bieten, die sich deutlich von Ähnlichkeits-basierter Attention und Konvolutions-/State-Space-Alternativen unterscheidet.

Intrinsische Ordnung: Durch die Kodierung der Ordnung durch nicht-kommutative Operator-Komposition eliminiert das Arrow-Modell die Notwendigkeit expliziter Positionskodierungen und nähert sich der Architektur der konstruktiven Natur der Beweiserweiterung an.
Erklärbarkeit: Die Architektur bietet eine direkte Abbildung auf die intuitionistische Logik, wobei Zustandsaktualisierungen Beweisschritten (Modus Ponens) und verborgene Zustände Beweiskontexten entsprechen. Dies bietet einen potenziellen Weg für interpretierbarere neuronale Modelle.
Alternatives Paradigma: Die Arbeit positioniert sich als lebensfähige Alternative zu Transformer-basierten Fundamentalen Modellen und legt nahe, dass multiplikative RNNs (der denen das Arrow-Modell ähnelt) natürlich aus einer beweistheoretischen Interpretation der Sequenzprädiktion entstehen.

Die Autoren bleiben bescheiden hinsichtlich der Generalisierung auf verrauschte, reale Prompts und merken an, dass die aktuellen Experimente auf exakten zusammenhängenden Substrukturen beruhen. Sie rahmen die Arbeit als Schritt hin zu einer "beweistheoretischen Account von Transformern" ein und deuten darauf hin, dass Attention-Mechanismen als approximative Implikationselimination und weiche Hypothesenselektion interpretiert werden könnten.