🤖 machine learning

Kilobyte Models: Neural Networks as a Seed and a Quantized Latent

Dieses Paper führt „Kilobyte Models“ ein, eine Kompressionstechnik, die neuronale Netze als kompakten quantisierten latenten Vektor und einen reproduzierbaren Integer-Seed anstatt als vollständige Gewichte speichert, was eine extreme Speichereffizienz ermöglicht und gleichzeitig eine Genauigkeit beibehält, die mit aggressiver Gewichtsquantisierung vergleichbar ist.

Ursprüngliche Autoren: Sahil Rajesh Dhayalkar

Veröffentlicht 2026-08-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Sahil Rajesh Dhayalkar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einem Freund auf der anderen Seite der Welt einen massiven, komplizierten Bauplan für einen Roboter schicken. Der Bauplan ist so riesig, dass es Tage dauern würde, ihn per Post zu versenden, und der Briefkasten Ihres Freundes ist winzig. In der Welt der künstlichen Intelligenz werden diese „Baupläne“ als neuronale Netze bezeichnet, und sie sind die Gehirne hinter allem – von Fotofiltern bis hin zu selbstfahrenden Autos. Normalerweise müssen Sie, um ein Gehirn zu versenden, jede einzelne Zahl senden, die es antreibt – Millionen oder sogar Milliarden von ihnen. Dies ist ein großes Problem für Geräte wie Smartwatches oder Telefone, die über begrenzten Speicherplatz oder langsame Internetverbindungen verfügen.

Lange Zeit versuchten Wissenschaftler, dies zu lösen, indem sie die Zahlen selbst schrumpften (weniger präzise machten) oder diejenigen entfernten, die weniger wichtig erschienen. Aber es gibt eine andere Art, darüber nachzudenken: Anstatt den ganzen Bauplan zu senden, was wäre, wenn Sie einfach nur ein winziges „Rezept“ oder einen geheimen Code senden würden? Wenn Ihr Freund über einen Standard-Werkzeugsatz (einen Zufallsgenerator) und das Rezept verfügt, kann er denselben exakten Roboter in seiner eigenen Küche wieder aufbauen. Diese Idee beruht auf der Tatsache, dass diese KI-Gehirne eigentlich keine Milliarden einzigartiger Zahlen benötigen, um zu funktionieren; sie verbergen sich oft in einem viel kleineren, einfacheren Raum. Die große Frage ist: Kann man ein riesiges KI-Gehirn auf die Größe von ein paar Textnachrichten schrumpfen, ohne seine Intelligenz zu verlieren?

Dieses Paper stellt eine clevere neue Methode namens „Kilobyte Models“ vor, die genau das zu versuchen unternimmt. Anstatt die eigentlichen Gewichte (die Zahlen, die die KI denken lassen) zu speichern, schlägt der Autor vor, nur zwei winzige Dinge zu speichern: einen zufälligen „Seed“ (wie eine Startzahl für ein Spiel) und einen sehr kurzen, komprimierten „latenten“ Vektor (eine winzige Liste von Anweisungen). Wenn die KI ausgeführt werden muss, nutzt das Gerät den Seed, um das riesige, zufällige „Gerüst“ zu regenerieren, das es benötigt, und verwendet dann die winzige Liste von Anweisungen, um dieses Gerüst in das fertige Gehirn abzustimmen.

Die Forscher fanden heraus, dass dieser Ansatz überraschend gut funktioniert. In ihren Experimenten gelang es ihnen, ein neuronales Netzwerk auf nur wenige Kilobyte zu schrumpfen – etwa die Größe einer kurzen Textnachricht – und es blieb dabei fast so intelligent wie das Original. Beispielsweise komprimierten sie ein Modell, das handgeschriebene Zahlen (MNIST) erkennt, auf nur 2 KB, und es lieferte immer noch 98,6 % der richtigen Antworten. Noch beeindruckender ist, dass sie zeigten, dass diese Methode bei extremer Kompression viel besser abschneidet als traditionelle Methoden. Während ein Standard-KI-Modell abstürzen und unbrauchbar werden könnte, wenn man versucht, es auf 4 Bit zu schrumpfen (eine sehr winzige Datenmenge), blieb ihr „Kilobyte Model“ stark und präzise.

Das Paper untersuchte auch die Verwendung als „Delta“ oder als winziges Update für eine riesige, vortrainierte KI. Stellen Sie sich vor, Sie haben eine superintelligente KI, die alles über Tiere weiß, und Sie möchten, dass sie speziell etwas über Katzen lernt. Anstatt das ganze neue Gehirn zu senden, senden Sie einfach einen 4-KB-„Patch“ (den Seed und den winzigen latenten Vektor), der der riesigen KI sagt, wie sie ihren Fokus verschieben soll. Dieser Patch war tausendfach kleiner als das vollständige Modell, ermöglichte es der KI aber dennoch, die neue Aufgabe effektiv zu lernen.

Der Autor weist jedoch vorsichtig darauf hin, dass dies kein Zauberstab für alles ist. Die Methode funktioniert am besten, wenn das „Rezept“ (der latente Vektor) groß genug ist, um die notwendigen Anweisungen zu halten; wenn die Aufgabe zu schwer oder das Rezept zu klein ist, wird die KI etwas verwirrt. Außerdem gilt: Obwohl die Datei, die Sie senden, winzig ist, muss der Computer das vollständige Gehirn trotzdem in seinem Speicher wieder aufbauen, um es auszuführen, was bedeutet, dass es den Computer nicht schneller laufen lässt, sondern nur leichter zu transportieren macht. Schließlich funktioniert dieser Trick derzeit für Standard-KI-Netzwerke, wurde aber noch nicht für die massiven „Large Language Models“ getestet, die Chatbots antreiben.

Zusammenfassend lässt sich sagen, dass das Paper nahelegt, dass wir durch den Austausch der Speicherung von Millionen von Zahlen gegen einen winzigen Seed und eine kurze Anweisungsliste leistungsstarke KI-Gehirne in Räume von nur wenigen Kilobyte passen können. Es ist so, als würde man erkennen, dass man einem Freund nicht die ganze Bibliothek schicken muss; man muss ihm nur eine spezifische Buchnummer und ein paar Notizen schicken, und er kann genau das Buch ausdrucken, das er braucht, indem er seinen eigenen Drucker benutzt.

Technisches Resümee: Kilobyte-Modelle

Problemstellung

Die Kosten für die Speicherung und Übertragung trainierter neuronaler Netze skalieren linear mit ihrer Parameteranzahl, was einen kritischen Engpass für bandbreitenbeschränkte Anwendungen wie Edge-Geräte, Over-the-Air-Updates und massiv skalierte Adapter schafft. Während Standard-Kompressionsverfahren (Pruning, Quantisierung, Low-Rank-Faktorisierung, Destillation) die Beschreibung von Gewichtstensoren reduzieren, erfordern sie dennoch die Speicherung eines signifikanten Teils des ursprünglichen Parametersatzes. Der Autor identifiziert die Notwendigkeit eines extremen Kompressionsparadigmas, bei dem das bereitstellbare Artefakt nicht die Gewichte selbst ist, sondern ein kompaktes „Rezept“ zur Regeneration derselben.

Methodik

Das Paper führt Kilobyte-Modelle ein, ein Framework, das ein neuronales Netzwerk als deterministischen Integer-Seed und einen kurzen, quantisierten latenten Vektor darstellt. Dieser Ansatz baut auf Mapping Networks (Sen und Mukherjee 2026) auf, welche die Gewichte eines Netzwerks als nichtlineare Funktion eines kompakten trainierbaren latenten Vektors und einer festen Zufallsbasis ausdrücken.

Kernmechanismus

Reparametrisierung: Anstatt die Gewichte $\theta$ direkt zu optimieren, optimiert das Modell einen latenten Vektor $z \in \mathbb{R}^d$ (wobei $d \ll P$ und $P$ die gesamte Parameteranzahl ist). Die Gewichte werden über eine feste Abbildung $g(z)$ generiert:
$g(z) = \sigma(W_0 z + \alpha \|z\|_2^2 \mathbf{1} + b_0)$
Hierbei ist $W_0$ eine feste Projektionsmatrix, $b_0$ ein fester Initialisierungsmittelpunkt und $\sigma$ eine Nichtlinearität (tanh).
Seed-basierte Regeneration: Die festen Komponenten ( $W_0$ und $b_0$ ) werden nicht gespeichert. Stattdessen werden sie deterministisch aus einem Integer-Seed $s$ unter Verwendung einer reproduzierbaren, blockweisen Zufallsbasis regeneriert. Dies ermöglicht es dem Empfänger, die vollständige Projektionsmatrix zu rekonstruieren, ohne sie speichern zu müssen, sofern er über den Seed verfügt.
Zusammensetzung des Artefakts: Das bereitstellbare Artefakt $A$ $A$ besteht aus:
- Seed ( $s$ ): Ein 64-Bit-Integer (8 Bytes), der zur Regeneration der Basis verwendet wird.
- Quantisierter latenter Vektor ( $Q_b(z^*)$ ): Der trainierte latente Vektor, quantisiert auf $b$ Bits.
- Normalisierungsparameter ( $\theta_{norm}$ ): Ein kleiner Satz von Normalisierungs-Affinparametern (Skalierung/Shift), die unverändert gespeichert werden, da sie außerhalb des Bereichs der Generierungsabbildung liegen.
Skalierbare Basisgenerierung: Um Netzwerke zu handhaben, bei denen die Projektionsmatrix den Speicher des Geräts überschreitet, verwendet der Autor eine blockweise Generierungsstrategie. Die Matrix wird zeilenweise unter Verwendung eines Pseudo-Zufallsgenerators konstruiert, der durch eine Kombination aus dem Master-Seed und dem Blockindex gesät ist, wodurch eine vollständige Materialisierung der Matrix vermieden wird.
Feinabstimmung als Delta: Das Framework erweitert sich auf die Feinabstimmung (Fine-Tuning), indem es den latenten Vektor als komprimierten Adapter behandelt. Die Abbildung generiert eine Verschiebung von einem eingefrorenen vortrainierten Basismodell ( $\theta_{ft} = \theta_{pre} + W_0 z$ ), wobei nur der Seed und das quantisierte Delta übertragen werden müssen.

Trainingsregime

Single Latent Vector Training (SLVT): Ein einzelner latenter Vektor generiert alle Parameter.
Layer-Wise Training (LWT): Separate latente Vektoren werden jedem Layer zugewiesen, was eine feinere Kontrolle und eine proportionale Zuweisung des latenten Budgets zur Schwierigkeit des jeweiligen Layers ermöglicht.
Quantisierungsstrategien: Das Paper evaluiert sowohl Post-Training Quantization (PTQ) als auch Quantization-Aware Training (QAT), bei dem der latente Vektor mit simulierter Rundung feinabgestimmt wird, um eine aggressive Reduktion der Bitbreite zu überstehen.

Zentrale Beiträge

Formalisierung des Kilobyte-Modells: Der Autor definiert ein bereitstellbares Artefakt, dessen Größe durch die latente Dimension $d$ und die Bitbreite $b$ bestimmt wird (statt durch die Parameteranzahl $P$ ), und formalisiert den Trade-off zwischen Speicherung und Kapazität.
Skalierbare Seeded Basis: Einführung einer blockweisen, reproduzierbaren Zufallsbasis, die die Gewicht-Regeneration für große Netzwerke ermöglicht, ohne dass die Projektionsmatrix im Speicher residieren muss.
Anpassung für das Fine-Tuning: Erweiterung der Parametrisierung zur Erstellung von Kilobyte-großen Adaptern für vortrainierte Modelle, was eine hyper-komprimierte Alternative zu Standardmethoden des parametereffizienten Fine-Tunings bietet.
Empirische Validierung: Demonstration, dass Kilobyte-Modelle die Genauigkeit aggressiv quantisierter Netzwerke erreichen können, während sie nur einen Bruchteil des Speicherplatzes beanspruchen.

Experimentelle Ergebnisse

Der Autor evaluierte den Ansatz an Convolutional Neural Networks (CNNs), LSTMs und Multi-Layer Perceptrons (MLPs) über verschiedene Datensätze hinweg (MNIST, FashionMNIST, Beijing Air Quality, HIGKS, Covertype, Oxford-IIIT Pets).

Extreme Kompression: Ein 4-Bit gemapptes Modell erreichte 98,6 % Genauigkeit auf MNIST unter Verwendung von nur 2 KB Speicher (eine 26-fache Reduktion gegenüber einem quantisierten Baseline-Modell).
Regressionsaufgaben: Bei einer Zeitreihen-Regressionsaufgabe erreichte ein 4-Bit QAT-Modell einen MSE von 0,00061 unter Verwendung von nur 140 Bytes, was etwa 370-mal kleiner ist als das Modell mit voller Präzision.
Effizienz beim Fine-Tuning: Beim Fine-Tuning eines ResNet-50 auf dem Oxford-IIIT Pets Datensatz erreichte ein 4-Bit QAT-Adapter 88,4 % Genauigkeit mit nur 4 KB. Im Gegensatz dazu kollabierte ein volles ResNet-50, das auf 4-Bit PTQ komprimiert wurde, auf 2,9 % Genauigkeit.
Vergleich mit SOTA: Der Kilobyte-Adapter übertraf VeRA (eine parametereffiziente Methode) bei strengen Kilobyte-Budgets (4 KB vs. 13,9 KB für ähnliche Genauigkeit). Während LoRA und VeRA höhere Genauigkeiten bei größeren Speicherbudgets (bis zu 0,6 MB) erzielten, behielt das Kilobyte-Modell im ultra-niedrigen Speicherregime eine überlegene Performance bei.
Auswirkung der Quantisierung: Es wurde festgestellt, dass Quantization-Aware Training (QAT) entscheidend ist, um die Genauigkeit bei niedrigen Bitbreiten (4-Bit) aufrechtzuerhalten, während Post-Training Quantization (PTQ) signifikante Leistungseinbußen erlitt.

Bedeutung und Ansprüche

Das Paper behauptet, dass Kilobyte-Modelle eine leistungsstarke Strategie für bandbreitenbeschränkte Deployments darstellen, indem sie die Speichergröße eines Modells von seiner Parameteranzahl entkoppeln. Durch die Verlagerung der Kompressionslast vollständig auf einen kompakten latenten Raum und die Nutzung reproduzierbarer Zufallsbasen demonstriert der Autor, dass Modelle in Kilobytes gespeichert und übertragen werden können, während sie eine hohe Genauigkeit beibehalten.

Der Autor positioniert diese Arbeit als Ergänzung zu, nicht als Ersatz für Standard-Kompressionsverfahren. Während Standardmethoden Gewichtstensoren verkleinern, vermeiden Kilobyte-Modelle die vollständige Repräsentation des gesamten Parametersatzes während der Optimierung. Das Framework ist besonders signifikant für Szenarien, in denen die Speichergröße die bindende Beschränkung ist (z. B. Over-the-Air-Updates für Edge-Geräte), und bietet eine 5- bis 160-fache Reduktion der Artefaktgröße im Vergleich zu Full Fine-Tuning oder Standard-Methoden des parametereffizienten Lernens, wenngleich mit einem leichten Genauigkeitsverlust bei komplexen Datensätzen.

Anerkannte Limitationen:

Inferenz-Rechenaufwand: Die Methode komprimiert weder die Inferenz-Latenz noch die Speichernutzung während der Inferenz, da Gewichte vor der Inferenz als dichte Floating-Point-Werte regeneriert werden.
Kapazitätsengpass: Die Genauigkeit ist durch die latente Dimension $d$ begrenzt, was zu leichten Leistungsunterschieden bei schwierigeren Datensätzen im Vergleich zu vollen Netzwerken führt.
Abhängigkeit: Das Fine-Tuning erfordert, dass das vortrainierte Basismodell auf dem Deployment-Gerät vorhanden ist.
Architektur-Umfang: Die aktuelle Implementierung erstreckt sich nicht auf Transformer oder Large Language Models.