🤖 machine learning

Numbers Already Carry Their Own Embeddings

Das Papier führt Adelic Operation-Preserved Embeddings (AOE) ein, eine trainingsfreie, Plug-and-Play-Repräsentation, die sowohl reelle als auch p-adische Signaturen von Zahlen erfasst, um deren algebraische Struktur zu bewahren, wodurch eine perfekte Genauigkeit bei kombinatorischen Benchmarks erreicht und eine fundierte Lösung für das „Zahlenproblem“ in der KI geboten wird.

Ursprüngliche Autoren: Suhyun Bae, Donghun Lee

Veröffentlicht 2026-06-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Suhyun Bae, Donghun Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, Zahlen zu verstehen. Derzeit behandeln die meisten KI-Modelle Zahlen wie Wörter in einem Buch. Wenn Sie „7“ eingeben, sieht der Computer keine Menge; er sieht eine bestimmte Form aus Pixeln oder einen Code, der den Buchstaben „7“ repräsentiert. Es ist, als würde man versuchen, das Konzept von „sieben Äpfeln“ zu verstehen, indem man nur die Form des Buchstabens „A“ auf einer Seite studiert. Der Computer muss die mathematischen Regeln (wie Addition oder Multiplikation) durch bloßes Lesen vieler Beispiele erraten, was oft zu Fehlern führt.

Dieses Paper schlägt einen radikal neuen Weg vor, Computer über Zahlen zu lehren, basierend auf der Idee, dass Zahlen bereits ihre eigenen Anweisungen enthalten, wie sie sich zu verhalten haben.

Hier ist die einfache Aufschlüsselung ihrer Lösung, genannt AOE (Adelic Operation-preserved Embeddings):

1. Das Problem: Die „String“-Falle

Derzeit zerlegen KI-Modelle Zahlen in winzige, willkürliche Stücke (wie das Zerlegen von „123“ in „1“, „2“ und „3“). Dabei gehen die natürlichen Beziehungen zwischen den Zahlen verloren. Es ist, als würde man versuchen, ein Lied zu verstehen, indem man nur die einzelnen Buchstaben des Songtexts betrachtet, anstatt die Melodie zu hören. Die KI muss die Mathematik jedes Mal neu von Grund auf lernen, was schwierig und fehleranfällig ist.

2. Die Lösung: Der „Universelle Ausweis“

Die Autoren schlagen vor, jeder Zahl einen speziellen „Ausweis“ zu geben, der ihre wahre mathematische Identität erfasst. Sie nennen dies ein Adelisches Embedding.

Betrachten Sie eine Zahl nicht nur als einen einzelnen Wert, sondern als eine Person mit zwei unterschiedlichen Identitäten:

Das „reale“ Selbst: Dies ist die Zahl, die Sie auf einem Taschenrechner sehen (z. B. 1,4).
Das „modulare“ Selbst: Dies ist die „Signatur“ der Zahl, wenn man sie durch die Linse verschiedener Primzahlen (wie 2, 3, 5 usw.) betrachtet.

Die Analogie:
Stellen Sie sich vor, Sie versuchen, einen Verdächtigen in einer Stadt zu identifizieren.

Alte Methode: Sie schauen sich nur sein Gesicht an (den realen Wert). Es ist leicht, Verwechslungen zu machen.
Neue Methode (AOE): Sie schauen sich sein Gesicht plus seine Fingerabdrücke, sein Stimmmuster und seine DNA an. Selbst wenn sich sein Gesicht verändert, lügt seine „mathematische DNA“ (die modularen Signaturen) niemals.

In diesem System ist eine Zahl wie 7/5 nicht nur „1,4“. Sie ist auch ein spezifisches Muster von Ziffern, wenn man sie durch die „Linse“ der Zahl 2 betrachtet, ein anderes Muster durch die „Linse“ der Zahl 3 und so weiter.

3. Warum das funktioniert: Die „Plug-and-Play“-Magie

Das Beste daran ist, dass dies nicht erfordert, dass die KI wieder die Schule besucht, um alles neu zu lernen.

Trainingsfrei: Die Mathematik ist in den Ausweis selbst eingebaut. Der Computer muss die Regeln der Addition oder Multiplikation nicht erraten; der Ausweis bewahrt diese Regeln bereits perfekt.
Plug-and-Play: Sie können dieses neue Ausweis-System nehmen und es in jedes bestehende KI-Modell (wie einen Transformer) einsetzen, genau wie man eine Standardbatterie gegen eine bessere austauscht. Man muss nicht den ganzen Motor neu bauen.

4. Die Ergebnisse: Das „Zahlen-Problem“ lösen

Die Autoren haben dies an einem sehr schwierigen Satz von mathematischen Rätseln getestet, dem Algebraic Combinatorics Dataset. Dies sind keine einfachen „2+2“-Aufgaben; es sind komplexe, wissenschaftliche Rätsel, die Muster, Formen und abstrakte Strukturen beinhalten.

Das Ergebnis: Die KI, die diese speziellen Ausweise verwendet (AOE), hat die Standard-KI in jedem einzelnen Test geschlagen.
Der Höhepunkt: Bei einer besonders schwierigen Aufgabe namens „Weaving Pattern“ erreichte die neue KI eine Genauigkeit von 100 %. Die besten existierenden KI-Modelle (selbst riesige Modelle) hatten dieses Problem zuvor nie perfekt lösen können.

5. Der Haken (Einschränkungen)

Das Paper ist ehrlich über einige Einschränkungen:

Komplexität: Das Erstellen dieser speziellen Ausweise erfordert etwas mehr Rechenleistung und Zeit (etwa 4–5 Mal langsamer) als die alte Methode, da der Computer all diese zusätzlichen „Fingerabdrücke“ für jede Zahl berechnen muss.
Umfang: Momentan funktioniert dies perfekt für rationale Zahlen (Brüche). Die Autoren geben zu, dass sie noch nicht herausgefunden haben, wie sie dies für irrationale Zahlen (wie Pi) oder komplexe Zahlen umsetzen können.

Das Fazit

Das Paper argumentiert, dass wir Zahlen viel zu lange wie Text behandelt haben. Indem wir Zahlen eine Repräsentation geben, die ihre wahre mathematische Natur respektiert (indem wir ihren realen Wert mit ihren modularen „Fingerabdrücken“ kombinieren), können wir KIs im Bereich Mathematik viel besser machen, ohne die Modelle größer machen oder länger trainieren zu müssen. Es ist ein Weg, direkt in der „Sprache der Mathematik“ mit dem Computer zu sprechen.

Technisches Resümee: Adelic Operation-Preserved Embeddings (AOE)

Problemstellung
Trotz jüngster Meilensteine im mathematischen Denken durch Large Language Models (LLMs) besteht ein grundlegendes Hindernis fort: das „Zahlenproblem“. Aktuelle Architekturen behandeln Zahlen vorwiegend als Sequenzen von Zeichen über Tokenisierungsverfahren wie Byte Pair Encoding (BPE). Dieser Ansatz fragmentiert numerische Werte in willkürliche Teilwort-Einheiten, wodurch die intrinsischen additiven und multiplikativen Beziehungen, die Zahlen definieren, verloren gehen. Infolgedessen zeigen Modelle ein brüchiges Denken, inkonsistente Generalisierung und systematische Fehler bei Aufgaben, die eine arithmetische Präzision erfordern. Während vorangegangene Versuche kontinuierliche Embeddings oder digitale Positionskodierungen untersuchten, beruhten diese Methoden oft auf der Hoffnung, dass Modelle mathematische Regeln während des Trainings implizit wiederentdecken, anstatt sie direkt einzubetten.

Methodik: Adelic Operation-Preserved Embeddings (AOE)
Die Autoren schlagen AOE vor, ein trainingsfreies Repräsentationsverfahren, das in der algebraischen Zahlentheorie verwurzelt ist. Anstatt Zahlen zu tokenisieren, konstruiert AOE Embeddings innerhalb eines Adelen-Raums, der die reelle Linie mit den $p$ -adischen Vervollständigungen der rationalen Zahlen vereinigt.

Mathematische Grundlage: Die Konstruktion nutzt den Adelenring ( $\mathbb{A}_\mathbb{Q}$ ), der eine rationale Zahl $q$ als Tupel darstellt, das ihren reellen Wert ( $a_\infty$ ) und ihre $p$ -adischen Entwicklungen ( $a_p$ ) für eine ausgewählte Menge von Primzahlen enthält.
Strukturerhaltung: Durch Design bewahrt diese Repräsentation die algebraische Struktur koordinatenweise. Für alle Rationalen $q_1, q_2$ $q_{1}, q_{2}$ :
- $A(q_1 + q_2) = A(q_1) \oplus A(q_2)$
- $A(q_1 \cdot q_2) = A(q_1) \otimes A(q_2)$
  Hierbei bezeichnen $\oplus$ und $\otimes$ die koordinatenweisen Operationen auf den konkatinierten reellen und $p$ -adischen Vektoren.
Konstruktion des Embeddings: Zur Generierung des Embeddings für eine rationale Zahl $q = n/m$ $q = n / m$ :
1. Reelle Komponente: Repräsentiert als ein Vektor der Länge $N$ auf der reellen Linie.
2. $p$ -adische Komponenten: Für eine feste Menge von Primzahlen berechnet der Autor $N$ -stellige $p$ -adische Entwicklungen. Dies beinhaltet das Lösen der Kongruenz $mx \equiv n \pmod{p^N}$ mittels des Henselschen Lemmas, um Lösungen iterativ von modulo $p$ zu modulo $p^N$ zu „liften“.
3. Konkatenation: Der reelle Vektor und die abgeschnittenen $p$ -adischen Vektoren werden zu einem Tensor der Form $(n_p + 1) \times N$ konkatiniert, wobei $n_p$ die Anzahl der gewählten Primzahlen ist.
Integration: AOE ist architekturoff und „Plug-and-Play“. Es ersetzt Standard-Embedding-Layer in Transformern durch vorberechnete Adelische Tensoren. Um die strukturelle Information zu bewahren, wird eine leichte 2D-Positionskodierung hinzugefügt, welche die Sequenzposition, den Primindex und den Digit-Index kodiert.

Zentrale Beiträge

Vorschlag von AOE: Eine trainingsfreie, algebraisch fundierte Repräsentation, die die numerische Struktur direkt respektiert, ohne ein aufgabenspezifisches Retraining zu erfordern.
Adressierung des „Zahlenproblems“: Die Arbeit rahmt AOE als prinzipielle Lösung für den numerischen Repräsentations-Engpass in der KI ein und bietet einen Weg, die Limitationen von Token-basierten Ansätzen zu überwinden.
Empirische Validierung: Die Autoren demonstrieren, dass mit AOE ausgestattete Transformer die Standard-Baselines bei algebraischen Kombinatorik-Benchmarks übertreffen und eine perfekte Genauigkeit bei Aufgaben erreichen, an denen vorherige Modelle scheiterten.

Experimentelle Ergebnisse
Die Autoren evaluierten AOE auf dem Algebraic Combinatorics Dataset (ACD), einem Benchmark für Forschungsebene-Vermutungen in der algebraischen Kombinatorik. Die Experimente verglichen einen Standard-Transformer-Baseline (unter Verwendung von trainierbaren nn.Embedding und sinusförmigen Positionskodierungen) mit einem AOE-ausgestatteten Transformer (unter Verwendung von fixen, vorberechneten Adelischen Tensoren).

Leistung: Über sechs Klassifikationsaufgaben hinweg (einschließlich Gitterpfaden, Quiver-Mutationsklassen und Schubert-Polynomen) übertraf das AOE-Modell die Baseline konsistent.
Bemerkenswerte Errungenschaft: Das AOE-Modell erreichte eine Genauigkeit von 100 % beim Weaving Patterns Benchmark (für $n=6$ und $n=7$ ), einer Aufgabe, bei der die Baseline nur etwa 53 % erreichte und die historisch gesehen großen Sprachmodellen entzogen blieb.
Generalisierung: Die Verbesserungen reichten von moderaten Gewinnen (z. B. Gitterpfade) bis hin zu dramatischen Sprüngen (z. B. Schubert-Polynome und Quiver-Mutationsklassen), wobei niedrigere Testverluste auf eine bessere Modellkalibrierung hindeuteten.
Effizienz: Obwohl AOE einen Rechenaufwand einführt (das Training ist aufgrund der Vorberechnung und der 2D-Positionskodierung etwa 4–5 Mal langsamer), wurden die Leistungssteigerungen ohne Erhöhung der lernbaren Parameter erzielt; tatsächlich besaß die Baseline mehr trainierbare Parameter.

Bedeutung und Behauptungen
Das Paper postuliert, dass Zahlen inhärent die Struktur enthalten, die für ihre eigene Repräsentation notwendig ist. Indem AOE diese Struktur explizit macht, können neuronale Modelle ein Maß an Zuverlässigkeit bei symbolischen mathematischen Aufgaben erreichen, das selbst den größten LLMs entgleitet.

Die Autoren argumentieren, dass die Zukunft des KI-Reasonings von der Einbettung der mathematischen Strukturen der Objekte selbst abhängt, anstatt lediglich von der Sprache, die sie beschreibt. AOE dient als Proof-of-Concept dafür, dass Ideen aus der algebraischen Zahlentheorie als Plug-and-Play-Komponenten in neuronalen Architekturen fungieren können, was einen Weg aufzeigt, symbolische Strenge mit neuronaler Skalierbarkeit zu vereinen.

Von den Autoren anerkannte Limitationen

Geltungsbereich: Das aktuelle Framework ist auf rationale Zahlen ( $\mathbb{Q}$ ) beschränkt, bedingt durch die Definition des Adelenrings. Die Erweiterung auf Irrationale, komplexe Werte oder transzendente Konstanten erfordert neue theoretische Werkzeuge.
Hyperparameter: Die Auswahl der Primzahlen und der digitalen Präzision ist derzeit heuristisch und manuell; es sind adaptivere Strategien für mehr Effizienz erforderlich.
Rechenaufwand: Die Vorberechnung und die 2D-Positionskodierung erhöhen die Trainingszeit im Vergleich zu Standard-Embeddings signifikant.