🤖 AI

NeuronFabric: A Software Reference Architecture for On-Chip Transformer Training with Local Adam

Dieses Paper stellt NeuronFabric vor, eine Software-Referenzarchitektur und einen C#-Prototyp für das On-Chip-Transformer-Training mit lokalen Adam-Updates, welcher die numerische Korrektheit validiert und demonstriert, dass eine BF16W-Konfiguration (BF16-Gewichte mit FP32-Optimizer-Momenten) die Speicheranforderungen so reduziert, dass sie in die BRAM-Kapazität eines Xilinx ZCU102-Geräts für zukünftige FPGA- und ASIC-Implementierungen passt.

Ursprüngliche Autoren: Evgeny Ukladchikov

Veröffentlicht 2026-06-16

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Evgeny Ukladchikov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Eine in sich geschlossene Lernmaschine

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Shakespeare zu schreiben. Derzeit funktioniert das Training der meisten KIs wie ein Schüler mit einem sehr langsamen Lehrer.

Der Schüler (der Chip) liest einen Satz und versucht, das nächste Wort zu erraten.
Der Schüler macht einen Fehler und berechnet, wie er falsch lag.
Der Schüler muss den ganzen Weg bis ins Büro des Lehrers (den Host-Computer) laufen, um den Lösungsschlüssel zu holen.
Der Lehrer aktualisiert die Notizen des Schülers, und der Schüler läuft zurück, um es erneut zu versuchen.

Dieses „Hin- und Herlaufen“ ist langsam und verschwendet viel Energie.

NeuronFabric schlägt eine andere Idee vor: Ein Schüler, der den Lösungsschlüssel in der eigenen Tasche trägt.
In diesem System rät der Chip nicht nur; er berechnet seine eigenen Fehler, schaut in seine eigenen Notizen und aktualisiert sein eigenes Gedächtnis sofort, ohne jemals den Raum zu verlassen. Das Paper beweist, dass diese „selbstaktualisierende“ Mathematik in Software korrekt funktioniert, was den Weg für einen zukünftigen Chip ebnet, der dies physisch leisten kann.

Erklärte Kernkonzepte

1. Das „Lokale Adam“ (Der Selbstkorrektur-Mechanismus)

In der Standard-KI lebt der „Optimizer“ (der Teil, der Fehler korrigiert) normalerweise auf einem separaten Computer. NeuronFabric platziert den Optimizer innerhalb jedes einzelnen Neurons.

Analogie: Stellen Sie sich ein Klassenzimmer vor, in dem jeder Schüler sein eigenes privates Whiteboard hat. Wenn sie eine Frage falsch beantworten, warten sie nicht darauf, dass der Lehrer vorbeikommt. Sie radieren ihren Fehler sofort aus, schreiben die Korrektur auf und machen weiter.
Die Behauptung des Papers: Die Autoren haben eine Softwareversion davon in C# (einer Programmiersprache) gebaut. Sie haben bewiesen, dass die Mathematik weiterhin funktioniert, wenn jedes Neuron sich lokal selbst aktualisiert, und der Roboter lernt, kohärenten Text zu schreiben.

2. Der „BF16W“-Trick (Die Rucksack-Strategie)

Um dieses selbstaktualisierende System auf einen kleinen Chip (wie ein FPGA) zu bringen, ist der Speicher das größte Problem.

Das Problem: Normalerweise muss ein Roboter, um zu lernen, drei schwere Rucksäcke für jedes Stück Wissen tragen:
1. Das Wissen selbst (Weights/Gewichte).
2. Ein Protokoll darüber, wie schnell er gelernt hat (Momentum).
3. Ein Protokoll darüber, wie stark er variiert hat (Variance).
- Wenn die Rucksäcke zu schwer sind, passt der Roboter nicht mehr in sein kleines Zimmer (SRAM).
Die Lösung (BF16W): Die Autoren erkannten, dass sie den „Wissens-Rucksack“ verkleinern können. Anstatt einen schweren, hochpräzisen Rucksack (32-Bit) zu tragen, tragen sie einen leichten, etwas weniger präzisen (16-Bit).
Das Ergebnis: Sie hielten die „Lernprotokolle“ schwer und präzise, machten aber den „Wissens-Rucksack“ halb so groß.
- Analogie: Es ist wie das Packen für eine Reise. Sie bewahren Ihren teuren, zerbrechlichen Schmuck (die Lernstatistiken) in einer schweren, sicheren Box auf. Aber Sie tauschen Ihren schweren Wintermantel (die Gewichte) gegen eine dünne, leichte Jacke aus. So sparen Sie genug Platz in Ihrem Koffer, um Ihren Schlafsack (die Aktivierungsbuffer) unterzubringen, damit Sie nicht auf dem Boden schlafen müssen.
Die Behauptung des Papers: Dieser Trick sparte gerade genug Platz, um das gesamte Lernsystem auf einen Mittelklasse-Chip (ZCU102) zu bringen, ohne auf externen Speicher zugreifen zu müssen.

3. Das „Vokabular-Budget“ (Der Raum für Gedanken)

Die Autoren entdeckten eine versteckte Falle beim Bau kleiner KI-Modelle.

Die Falle: Wenn Sie ein sehr geringes Speicherbudget haben und versuchen, dem Roboter ein riesiges Wörterbuch (Vokabular) beizubringen, nimmt das Wörterbuch fast den gesamten Platz ein. Es bleibt kein Raum mehr für den Roboter, um tatsächlich zu denken oder Grammatik zu lernen.
Analogie: Stellen Sie sich vor, Sie haben ein kleines Notizbuch. Wenn Sie 90 % der Seiten nur verwenden, um das Alphabet und ein Wörterbuch aufzuschreiben, bleiben Ihnen nur noch wenige Seiten, um eine Geschichte zu schreiben. Die Geschichte wird unsinnig sein.
Die Lösung: Die Autoren verwendeten einen „Byte-Level“-Ansatz (jeden Buchstaben als einzelnes Token zu behandeln) und ein kleines Vokabular (256 Zeichen). Dies bedeutete, dass das „Wörterbuch“ nur eine kleine Ecke des Notizbuchs einnahm, wodurch viel Platz für den Roboter übrig blieb, um zu lernen, wie man Shakespeare-Sätze schreibt.
Die Behauptung des Papers: Sie zeigten, dass kleine Modelle scheitern, egal wie gut die Mathematik ist, wenn man diese „Vokabular-Steuer“ nicht verwaltet.

4. Das „No-Host“-Ziel (Der unabhängige Chip)

Das ultimative Ziel dieser Forschung ist ein Chip, der keinen Computer (CPU) braucht, um ihm zu sagen, wie er lernen soll.

Aktueller Stand: Das Paper beschreibt einen Software-Prototyp. Er läuft auf einem Standardcomputer, um zu beweisen, dass die Mathematik korrekt ist.
Zukünftiger Stand: Das Ziel ist es, genau diese Softwarelogik auf einen physischen Chip (FPGA) zu übertragen.
Die Behauptung: Wenn sie es schaffen, diese Softwarelogik auf einen physischen Chip zu bringen, wird dieser in der Lage sein, sich anhand neuer Daten selbst zu trainieren, ohne jemals Daten an einen Server zu senden oder auf einen Computer zu warten, der seine Gewichte aktualisiert. Es wäre eine echte „On-Chip“-Lernmaschine.

Was haben sie tatsächlich erreicht?

Sie haben einen Proof-of-Concept gebaut: Sie haben ein Programm in C# geschrieben, das ein kleines KI-Modell (334.000 Parameter) vollständig eigenständig trainiert.
Sie haben bewiesen, dass die Mathematik funktioniert: Die KI lernte, Texte zu generieren, die nach Shakespeare aussehen (z. B. „HAMLET: Break him of him...“). Es war nicht perfekt, aber es war kohärent.
Sie haben bewiesen, dass die Speicher-Mathematik funktioniert: Sie berechneten exakt, wie viel Platz benötigt wird, und zeigten, dass mit ihrem „Leichtgewicht-Jacken“-Trick (BF16W) das gesamte System auf einen spezifischen Chip (ZCU102) passt, und zwar mit Reserven.
Was sie NICHT getan haben: Sie haben den physischen Chip noch nicht gebaut. Sie haben auch nicht die Geschwindigkeit oder den Stromverbrauch des Chips gemessen. Sie haben lediglich die Software gemessen, die auf einem normalen Computer läuft.

Zusammenfassung

Betrachten Sie dieses Paper als den Blaupausen- und Simulationsentwurf für einen neuen Automotor.
Der Autor sagt: „Ich habe einen Motor entworfen, bei dem die Kraftstoffeinspritzung und die Zündkerzen direkt miteinander kommunizieren, ohne einen zentralen Computer zu benötigen. Ich habe eine Computersimulation dieses Motors gebaut, und er fährt perfekt. Ich habe auch berechnet, dass dieser Motor klein genug ist, um in ein kompaktes Auto zu passen. Jetzt muss ich den eigentlichen Metallmotor bauen, um zu beweisen, dass er läuft.“

Das Paper ist der Beweis, dass das Design fundiert ist; der physische Chip ist der nächste Schritt.

Technisches Resümee: NeuronFabric

Problemstellung

Derzeitige, öffentlich dokumentierte neuronale Beschleuniger trennen im Allgemeinen die Rechenphase von der Aktualisierung des Optimiererzustands. Nur-Inferenz-Chips (z. B. Groq LPU, Apple ANE, IBM NorthPole) verfügen über keine On-Chip-Gradientenberechnung, während Trainingsbeschleuniger (z. B. Cerebras, Tenstorrent) die Gewichtsupdates typischerweise an eine Host-CPU oder eine externe GPU auslagern. Diese architektonische Trennung schafft signifikante Engpässe:

Gewichtstrafik: Die Inferenz erfordert das Laden aller Gewichte aus dem externen Speicher (HBM) für jeden Vorwärtspass.
Trainingslatenz: Der Chip, der die Gradienten berechnet, wendet diese nicht an; Updates werden separat orchestriert, was oft Datentransfers aus dem Chip heraus erfordert.
Einschränkungen beim kontinuierlichen Lernen: Inferenz-Chips können Gewichte nicht ohne das Neuladen des gesamten Modells aus einem externen Cluster aktualisieren, ein Prozess, der Minuten oder Stunden dauern kann.

Das Paper postuliert, dass ein Silizium-Chip, bei dem jedes Neuron seine eigenen Gewichte hält und den Adam-Optimierer lokal ausführt, den Off-Chip-Verkehr minimieren und echtes On-Chip-Training ermöglichen könnte. Bevor jedoch in Silizium investiert wird, müssen die mathematische Validität und die numerische Korrektheit einer solchen „lokalen Adam“-Architektur etabliert werden.

Methodik

Die Autoren entwickelten NeuronFabric, eine vollständige Software-Referenzarchitektur, die in C# ohne externe Machine-Learning-Frameworks implementiert wurde. Das System ist so konzipiert, dass jede Software-Abstraktion direkt auf einen Hardware-Block abgebildet wird (z. B. NeuronCore zu BRAM, Forward() zu DSP48-Ketten).

Kernarchitektur:

Lokales Adam: Jeder NeuronCore speichert seinen eigenen Gewichtsvektor $w$ und Bias $b$ . Während des Rückwärtslaufs berechnet er Gradienten und aktualisiert die Gewichte vor Ort mittels des Adam-Algorithmus. Es gibt keinen Gewichtsbus zwischen den Cores.
Modellkonfiguration: Ein autoregressiver Transformer mit 334K Parametern (Pre-LN), trainiert auf dem Shakespeare-Korpus.
- Dimensionen: Embedding $d=88$ , 4 Köpfe, Feedforward $f=264$ , 4 Schichten.
- Vokabular: 256 (Byte-Ebene).
- Techniken: Weight Tying (die Output-Projektion nutzt die Embedding-Matrix wieder), um Parameter einzusparen.

BF16W-Präzisionsschema:
Um die strengen SRAM-Beschränkungen beim FPGA-Training zu adressieren, führten die Autoren BF16W (Brain Floating Point 16 Weights) ein.

Speicherung: Gewichte werden als BF16 (2 Bytes) gespeichert.
Berechnung: Gewichte werden für die Vorwärts-/Rückwärtsberechnung und die Adam-Moment-Updates in FP32 umgewandelt.
Momente: Die Adam-Erst- ( $m$ ) und Zweitmomente ( $v$ ) verbleiben in FP32 (4 Bytes jeweils), um die Stabilität zu gewährleisten.
Update: Nach dem Adam-Schritt wird das aktualisierte FP32-Gewicht zurück in BF16 gerundet und in den Speicher geschrieben.

Vokabular-Budget-Beschränkung:
Das Paper identifiziert eine kritische Beschränkung für Modelle mit geringer Parameterzahl: Die Embedding-Tabelle ( $|V| \times d$ ) verbraucht einen unverhältnismäßig großen Anteil des Parameterbudgets („Vokabular-Steuer“), wodurch nicht genügend Kapazität für die Transformer-Schichten bleibt, um strukturelle Muster zu lernen. Dies wurde über drei Domänen hinweg quantifiziert und zeigte, dass die generierte Textkohärenz fehlschlägt, wenn die verbleibende Denkkapazität ( $P_{reason}$ ) unter ~20K fällt.

Hauptbeiträge

Software-Referenzimplementierung: Eine vollständige, framework-freie C#-Implementierung eines Transformers mit vollem Backpropagation und lokalen Adam-Updates, die Training, Evaluierung und Checkpointing in einer einzigen Binärdatei ausführt.
BF16W-Validierung: Der Nachweis, dass die Speicherung von Gewichten in BF16 bei gleichbleibenden Momenten in FP32 den SRAM-Verbrauch von 12 Bytes/Parameter auf 10 Bytes/Parameter reduziert, bei einer vernachlässigbaren Konvergenzstrafe (+0,020 Validierungsverlust auf Shakespeare).
Quantifizierung des Vokabular-Budgets: Empirische Belege dafür, dass bei einem festen Hardware-Budget die Embedding-Tabelle das Modell dominiert, was entweder kleine Vokabulare oder spezialisierte Multi-Chip-Architekturen (z. B. separate Embedding-Chips) erforderlich macht.
FPGA-Machbarkeitstarget: Eine konkrete Konfiguration (334K BF16W Modell), die vollständig in den 4,0 MB On-Chip-BRAM eines Xilinx ZCU102 FPGA passt und 660 KB Spielraum für Aktivierungsbuffer lässt, ohne während des Trainings auf DDR zuzugreifen.

Ergebnisse

Das System wurde auf einer Windows 11 Maschine (AMD Ryzen 9 9900X CPU, NVIDIA RTX 4090 GPU) unter Verwendung des Shakespeare-Korpus (80K Samples) validiert.

Korrektheit: Numerische Gradientenprüfungen (Finite Differenzen vs. analytische Gradienten) wurden für alle Komponenten bestanden, was die mathematische Korrektheit der lokalen Adam-Implementierung bestätigt.
Konvergenz:
- GPU FP32 (Oracle): Erreichte einen Validierungsverlust von 1,5224.
- CPU BF16W: Erreichte einen Validierungsverlust von 1,5426.
- Die Differenz von +0,020 wird auf den Präzisionsunterschied zwischen der BF16-Gewichtsspeicherung und der FP32-Berechnung zurückgeführt.
Generative Qualität: Das Modell erzeugte kohärenten zeichenbasierten Text mit erkennbaren Shakespeare-typischen Dialogstrukturen und Namensmustern, was bestätigt, dass die Trainingsschleife zu einer funktionalen Lösung konvergiert.
SRAM-Effizienz:
- FP32 Adam (12 Bytes/Param): 4,00 MB insgesamt (füllt den ZCU102 BRAM exakt aus, lässt null Raum für Aktivierungen).
- BF16W Adam (10 Bytes/Param): 3,34 MB insgesamt (lässt 660 KB frei für Aktivierungen und den Kontrollstatus).

Bedeutung und Ansprüche

Das Paper betont ausdrücklich seinen bescheidenen Umfang: NeuronFabric ist ein Forschungsprototyp, kein Produktionsbeschleuniger. Es enthält keine FPGA-Messungen oder Timing-Closure-Ergebnisse.

Die primäre Bedeutung des Papers liegt in:

Etablierung des Standes der Technik: Es dient als öffentliche architektonische Offenlegung und Software-Referenz, um die „lokale Adam-Update“-Architektur als Stand der Technik für zukünftige FPGA/ASIC-Implementierungen zu etablieren.
Proof of Concept: Es demonstriert, dass die Mathematik funktioniert und die Zahlen stimmen für einen Transformer, der vollständig On-Chip mit lokalem Optimiererzustand trainiert, ohne eine Host-CPU in der Update-Schleife.
Definition des Weges nach vorn: Es etabliert das 334K BF16W Shakespeare-Modell als falsifizierbares Ziel für zukünftige FPGA-Implementierungen. Wenn dieselbe Verlustkurve auf dem FPGA ohne Host-Intervention erreicht werden kann, wird die Lebensfähigkeit von On-Chip-Transformer-Training zu einer messbaren Tatsache statt zu einer Software-Projektion.

Die Autoren schließen, dass der nächste unmittelbare Schritt darin besteht, diese spezifische Trainingsschleife auf dem ZCU102 FPGA zu implementieren, um zu verifizieren, dass sich die Software-Ergebnisse in die Hardware übertragen lassen, wodurch das Paradigma des „Keine Host-CPU“-Trainings validiert wird.