🤖 machine learning

Prime Fourier Embeddings: A Principled Basis for Modular Arithmetic

Dieses Paper führt Prime Fourier Embeddings (PFE) ein, eine fundierte Repräsentation, die ganze Zahlen unter Verwendung primindexierter harmonischer Komponenten kodiert, um die algebraische Struktur auf natürliche Weise offenzulegen, wodurch es ermöglicht wird, modulare Arithmetik mittels Kanalauswahl zu lösen, mit theoretischen Garantien der Äquivarianz und empirischen Belegen für extreme Kanalspezialisierung sowie perfekter Genauigkeit bei quadratfreien zusammengesetzten Moduli.

Ursprüngliche Autoren: Hyunsang Hwang, Suhyun Bae, Donghun Lee

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hyunsang Hwang, Suhyun Bae, Donghun Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Einem Roboter das Rechnen beibringen

Stellen Sie sich vor, Sie versuchen, einem Roboter die modulare Arithmetik beizubringen (wie bei einer Uhr: Wenn es 10 Uhr ist und man 5 Stunden dazuzählt, ist es 3 Uhr).

Standardmäßige KI-Modelle beginnen normalerweise mit einem „leeren Blatt“. Ihnen werden Zahlen als generische Listen von Zahlen (Embeddings) gegeben, und sie müssen die Regeln der Mathematik aus dem Stecken lernen, indem sie Millionen von Beispielen betrachten. Das ist schwer. Die Autoren stellen fest, dass diese Modelle oft zuerst die Antworten auswendig lernen und es erst nach einer langen Zeit plötzlich „verstehen“ – ein Phänomen, das die Autoren als „Grokking“ bezeichnen. Es ist wie ein Schüler, der das Einmaleins auswendig lernt, aber nicht versteht, warum 3 mal 4 gleich 12 ist, bis Jahre später.

Die Autoren argumentieren, dass dies geschieht, weil der Roboter nicht die richtigen „Werkzeuge“ erhält, um die Struktur der Zahlen zu erkennen.

Die Lösung: Prime Fourier Embeddings (PFE)

Die Autoren haben eine neue Art entwickelt, Zahlen darzustellen, die Prime Fourier Embeddings (PFE) genannt wird.

Betrachten Sie Zahlen nicht als einzelne Blöcke, sondern als eine Sinfonie verschiedener Frequenzen.

In der Standardmathematik denken wir oft im Zehnersystem (wie unsere Finger). Aber die Autoren sagen, das Zehnersystem ist unordentlich, weil die 10 aus einer Mischung aus 2 und 5 besteht.
PFE zerlegt Zahlen in ihre Primbestandteile (wie 3, 5, 7, 11 usw.).

Die Analogie: Der Radiosender
Stellen Sie sich die Zahl 21 vor.

In der Standard-KI ist die 21 nur ein generisches Signal.
In PFE wird die 21 auf zwei spezifischen Radiosendern ausgestrahlt: Sender 3 und Sender 7 (denn $3 \times 7 = 21$ ).
Die Zahl wird als Paar von Wellen (Sinus und Kosinus) für jede Primzahl kodiert.

Wenn man in diesem System zwei Zahlen addiert, findet die Mathematik ganz natürlich auf diesen spezifischen Radiosendern statt. Wenn man Aufgaben modulo 21 löst, muss die KI nur auf Sender 3 und Sender 7 hören. Sie muss nicht auf Sender 5 oder Sender 11 hören.

Die große Entdeckung: Die „Block-Diagonal“-Regel

Der spannendste Teil der Arbeit ist ein mathematischer Beweis darüber, wie dieses System funktioniert.

Die Autoren haben bewiesen, dass eine KI, die dieses PFE-System verwendet, mathematisch dazu gezwungen ist, jede Primzahl als einen separaten, unabhängigen Raum zu behandeln.

Die Regel: Die KI kann die Informationen von „Sender 3“ nicht mit denen von „Sender 5“ vermischen. Sie befinden sich in verschiedenen, versiegelten Räumen.
Das Ergebnis: Wenn die Aufgabe darin besteht, ein Problem mit der Zahl 21 zu lösen, muss die KI die Räume für 3 und 7 verwenden. Die Räume für 5, 11 und 13 bleiben dabei völlig leer und ungenutzt.

Dies ist wie ein Chinesischer Restsatz (eine berühmte mathematische Regel), der direkt in das Gehirn der KI eingebaut ist. Die KI muss nicht selbst entdecken, dass 21 aus 3 und 7 besteht; die Struktur des Inputs zwingt sie dazu, dies sofort zu sehen.

Die Experimente: Funktioniert es?

Die Forscher testeten dies, indem sie KI-Modelle auf verschiedenen mathematischen Problemen trainierten und dann eine Art „Operation“ am Modell durchführten (indem sie Teile davon entfernten), um zu sehen, was passiert.

Der „Chirurgie“-Test: Sie schaltesten den „Sender 3“-Kanal in einem Modell aus, das versuchte, ein Problem mit der Zahl 3 zu lösen.
- Ergebnis: Die Leistung des Modells brach zusammen.
- Kontrast: Als sie „Sender 5“ ausschalteten (der für dieses spezifische Problem nicht benötigt wurde), war es der KI völlig egal.
- Das Verhältnis: Der Unterschied in der Bedeutung zwischen dem „benötigten“ Kanal und dem „nutzlosen“ Kanal lag bei über 500 Mal. Dies beweist, dass die KI strikt die richtigen Kanäle nutzt und die anderen ignoriert.
Perfekte Punktzahlen: Für alle komplexen mathematischen Probleme, die sie testeten (unter Verwendung von Zahlen, die aus verschiedenen Primkombinationen bestehen), erreichten die Modelle eine Genauigkeit von 100 % bei den Testdaten. Sie haben nicht nur auswendig gelernt; sie haben perfekt generalisiert, weil die Mathematik direkt in den Input eingebaut war.

Warum das wichtig ist

Die Arbeit argumentiert, dass wir nicht einfach nur Daten in eine Blackbox werfen und hoffen, dass sie die Regeln der Mathematik lernt. Stattdessen sollten wir den Input so gestalten, dass er der mathematischen Struktur des Problems entspricht.

Der alte Weg: Man gibt der KI eine generische Liste von Zahlen und hofft, dass sie herausfindet, dass $10 = 2 \times 5$ .
Der neue Weg (PFE): Man gibt der KI einen Satz spezialisierter Werkzeuge (Primkanäle), bei denen die Mathematik bereits getrennt und organisiert ist.

Dadurch überspringt die KI die lange, verwirrende „Grokking“-Phase und geht direkt zum Verständnis über. Es verwandelt ein schwieriges Problem der „Entdeckung“ in ein einfaches Problem der „Selektion“ (das bloße Auswählen des richtigen Radiosenders).

Zusammenfassung

Die Arbeit führt eine neue Art ein, Zahlen in KIs einzuspeisen, welche die natürliche „Primzahlstruktur“ der Mathematik respektiert. Dies zwingt die KI dazu, ihr Denken in unabhängige Kanäle für jede Primzahl zu organisieren. Das Ergebnis ist eine KI, die modulare Arithmetik sofort, perfekt und ohne die Verwirrung lernt, die Standardmodelle oft plagt. Es ist der Beweis: Wenn man das richtige mathematische Fundament in seine KI einbaut, erledigt sie die Mathematik per Design korrekt.

Technisches Resümee: Prime Fourier Embeddings

Problemstellung

Standardmäßige neuronale Embeddings scheitern oft daran, die inhärente algebraische Struktur von Integern, insbesondere im Hinblick auf die modulare Arithmetik, offenzulegen. Während der Chinesische Restsatz (CRT) besagt, dass die Addition modulo einer zusammengesetzten Zahl $N$ in unabhängige Additionen modulo ihrer Primfaktoren zerfällt, spiegeln Standard-Embeddings diese Zerlegung nicht natürlich wider. Infolgedessen leiden Modelle, die auf Aufgaben der modularen Arithmetik trainiert werden, oft unter dem Phänomen des „Grokking“ – ein Phänomen, bei dem Modelle eine längere Phase des Auswendiglernens durchlaufen, bevor sie plötzlich generalisieren. Diese Verzögerung ist auf ein Repräsentationsversagen zurückzuführen: Wenn der Input keine explizite primlokale Struktur besitzt, muss das Netzwerk diese algebraischen Beziehungen durch Gradientenabstieg von Grund auf neu rekonstruieren, ein Prozess, der datenhungrig und fragil ist.

Bestehende Ansätze weisen Limitationen auf: Kontinuierliche Kodierungen (z. B. xVal) bewahren die Größenordnung, vernachlässigen aber die Periodizität, während periodische Ansätze wie Fourier Number Embeddings (FoNE) oft zusammengesetzte Basen (z. B. Basis 10) verwenden, die distinkte Primstrukturen (z. B. 2-adisch und 5-adisch) innerhalb gemeinsamer Kanäle verstricken und so die Isolierung primlokaler Informationen verhindern.

Methodik: Prime Fourier Embeddings (PFE)

Die Autoren führen Prime Fourier Embeddings (PFE) ein, ein prinzipielles Embedding-Schema, das aus der harmonischen Analyse der rationalen Zahlen $\mathbb{Q}$ abgeleitet ist.

Konstruktion: PFE kodiert eine Ganzzahl $a$ als eine Sammlung von primen-indizierten $(\cos, \sin)$ -Paaren. Für eine Primzahl $p$ und eine Tiefe $d$ (wobei $0 \le d < D$ ) ist das Embedding definiert als:
$\text{PFE}_{p,d}(a) = \left[ \cos\left(\frac{2\pi a}{p^{d+1}}\right), \sin\left(\frac{2\pi a}{p^{d+1}}\right) \right] \in \mathbb{R}^2$
Dies entspricht der reellen Zerlegung des Charakters $\chi_1$ der Gruppe $\mathbb{Z}/p^{d+1}\mathbb{Z}$ .
Theoretische Basis: Das Design ist motiviert durch die Pontryaginsche Dualität und die Faktorisierung adelischer Charaktere. Das Embedding implementiert direkt lokale $p$ -adische Charaktere und stellt sicher, dass die Residuenstruktur einer beliebigen Ganzzahl aus dem entsprechenden Primkanal lesbar ist, ohne Kopplung zwischen verschiedenen Primzahlen.
Implementierung: In Experimenten verwenden die Autoren eine feste Menge von 16 Primzahlen ( $P_0 = \{3, \dots, 59\}$ ) und eine Tiefenbegrenzung von $D=3$ , was zu einer Embedding-Dimension von 96 führt. Die Embedding-Features sind deterministisch und nicht trainierbar.

Zentrale theoretische Beiträge

Die Arbeit etabliert eine rigorose strukturelle Garantie für jede lineare Abbildung, die auf PFE operiert:

Block-Diagonal-Zerlegungssatz (Theorem 3.1): Jede lineare Abbildung $W$ $W$ , die bezüglich der Produktgruppenwirkung auf PFE äquivariant ist, muss block-diagonal sein.
- Es gibt einen unabhängigen Block pro Primzahl $p$ und Tiefe $d$ .
- Es gibt keine Kopplung zwischen Blöcken unterschiedlicher Primzahlen.
- Es gibt keine Kopplung zwischen Blöcken unterschiedlicher Tiefen innerhalb derselben Primzahl.
Beweismechanismus: Dieses Ergebnis folgt aus dem Lemma von Schur. Jeder PFE-Block repräsentiert eine nicht-isomorphe irreduzible Darstellung (einen Charakter) der additiven Gruppe $\mathbb{Z}$ . Da die Charaktere für distinkte $(p, d)$ -Paare nicht-isomorph sind, muss jeder äquivariante Intertwiner zwischen ihnen Null sein.
CRT-Vorhersage: Für eine Aufgabe mit Modulus $N = p_1 \cdots p_k$ sagt die Theorie voraus, dass nur die $k$ Primkanäle, die den Faktoren von $N$ entsprechen, relevante Informationen für die Aufgabe tragen, während alle anderen Kanäle irrelevant bleiben.

Experimentelle Ergebnisse

Die Autoren validieren diese Vorhersagen durch systematische Ablationsstudien an Aufgaben der modularen Addition $(a+b) \mod N$ .

Experiment 1 (Single-Prime-Aufgaben): Modelle wurden auf Aufgaben mit variierenden Primmoduli trainiert. Wenn die spezifische Primzeile, die dem Aufgabenmodulus entspricht, ablated wurde (auf Null gesetzt), sank die Testgenauigkeit signifikant. Im Gegensatz dazu verursachte die Ablation irrelevanter Primzeilen nahezu keinen Genauigkeitsverlust.
- Ergebnis: Die Spezialisierungsraten (diagonale Reduktion vs. off-diagonale Reduktion) überstiegen in den meisten Konfigurationen das 500-fache, was bestätigt, dass das Netzwerk nur den relevanten Primkanal nutzt.
Experiment 2 (Zusammengesetzte Moduli): Modelle wurden auf quadratfreien zusammengesetzten Moduli (z. B. $N=15, 21, 105$ $N = 15, 21, 105$ ) trainiert.
- Ergebnis: Die Ablation von Primfaktoren von $N$ verursachte große Einbußen bei der Genauigkeit, während die Ablation von Nicht-Faktoren vernachlässigbare Auswirkungen hatte. Das Verhältnis von Faktor zu Nicht-Faktor überstieg ebenfalls das 500-fache.
- Genauigkeit: Die Modelle erreichten eine In-Distribution-Testgenauigkeit von 100 % für alle getesteten quadratfreien zusammengesetzten Moduli und Eingangsbereiche (vorausgesetzt, der Eingangsbereich war ausreichend groß im Verhältnis zu $N$ ).

Bedeutung und Behauptungen

Das Paper behauptet, dass PFE das Erlernen modularer Arithmetik von einem Problem der Repräsentationsentdeckung in ein Selektionsproblem transformiert.

Prinzipienbasiert vs. Arbiträr: Im Gegensatz zu heuristischen Frequenzwahlen ist die Primbasis mathematisch fundiert in der adelischen Fourier-Zerlegung von $\mathbb{Q}$ . Dies stellt sicher, dass die notwendige algebraische Struktur bereits ab der Initialisierung vorhanden ist.
Mechanistische Interpretierbarkeit: Die Arbeit zeigt, dass das Embedding-Design durch die Mathematik der repräsentierten Objekte geleitet werden kann. Die interne Struktur des Netzwerks wird vor dem Training (via Darstellungstheorie) charakterisiert und nach dem Training (via gezielter Ablation) verifiziert.
Falsifizierbare Theorie: Der Block-Diagonal-Zerlegungssatz liefert eine beweisbare strukturelle Beschränkung des Netzwerkverhaltens. Die empirische Bestätigung dieser Beschränkung bietet einen Weg zu zuverlässigerem und transparenterem numerischem Denken in neuronalen Netzen, das über die Post-hoc-Beobachtung hinausgeht und zu einer mathematisch fundierten Theorie führt.

Die Autoren merken an, dass zwar die Block-Diagonal-Struktur bewiesen ist, der spezifische Mechanismus, durch den der Gradientenabstieg zu einer äquivarianten Lösung konvergiert (anstatt die Symmetrie zu brechen), jedoch eine offene Frage für zukünftige Arbeiten bleibt.