Lossless Tensor Compression as Program Synthesis
Das Paper stellt Brevis vor, ein neuartiges verlustfreies Tensor-Kompressionssystem, das das Problem als Programmsynthese unter Verwendung einer typisierten domänenspezifischen Sprache und eines gelernten Produktions-Priors formuliert, um automatisch kompakte, in sich geschlossene Programme zu generieren, die signifikante Speicherreduzierungen und einen wettbewerbsfähigen Durchsatz über verschiedene Modell-Checkpoints hinweg erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, eine riesige Bibliothek digitaler Baupläne über den Ozean zu verschiffen. Dies sind nicht einfach nur irgendwelche Baupläne; es sind die komplizierten, mathematischen Anweisungen, die Computern beibringen, wie sie sprechen, zeichnen oder singen. In der Welt der künstlichen Intelligenz werden diese Baupläne als „Model Checkpoints“ bezeichnet, und sie werden so gewaltig und zahlreich, dass ihr Versand zu einem logistischen Albtraum wird, der Unmengen an Speicherplatz und Transferzeit kostet.
Um dieses Problem zu lösen, versuchen Ingenieure normalerweise zwei Dinge. Das erste ist die „verlustbehaftete“ Kompression, was so ist, als würde man ein Foto eines Bauplans machen, die Details zusammenquetschen und darauf hoffen, dass der Architekt die fehlenden Teile errät. Das spart Platz, ruiniert aber die Exaktheit; man kann den ursprünglichen Bauplan nicht perfekt rekonstruieren. Das zweite ist die „verlustfreie“ Kompression, wie das Zippen einer Datei. Hierbei bleibt jedes einzelne Bit an Information sicher, aber Standard-Zip-Tools behandeln den Bauplan wie einen zufälligen Haufen Papierfetzen und ignorieren dabei, dass der Bauplan tatsächlich eine clevere, sich wiederholende Struktur besitzt. Sie übersehen die Muster.
Die große Frage lautet: Können wir es besser machen? Anstatt die Datei einfach nur zusammenzustauchen oder blind zu zippen, können wir den Bauplan betrachten, seine verborgenen Muster verstehen und eine winzige, maßgeschneiderte Bedienungsanleitung schreiben, die einem Computer genau erklärt, wie er die ursprüngliche Datei von Grund auf neu aufbaut. Wenn wir für jeden einzelnen Bauplan ein einzigartiges, perfektes Rezept schreiben könnten, könnten wir eine enorme Menge an Platz sparen, ohne auch nur ein einziges Detail zu verlieren.
Genau das hat ein Team von Forschern mit einem neuen Werkzeug namens Brevis getan. Sie betrachten das Problem der Kompression dieser riesigen KI-Baupläne nicht als eine Datei-Pack-Aufgabe, sondern als eine Herausforderung der „Programmsynthese“. Stellen Sie sich das so vor: Anstatt ein Spielzeug einfach in eine Kiste zu stopfen, betrachtet Brevis das Spielzeug, erkennt, dass es aus drei roten Blöcken und zwei blauen Blöcken besteht, und schreibt eine winzige Notiz, die besagt: „Nimm drei rote Blöcke, staple sie und füge dann zwei blaue hinzu.“
Brevis verwendet eine spezielle, eigens entwickelte Sprache (eine „Domain-Specific Language“ oder DSL), um diese Notizen zu schreiben. Diese Sprache verfügt über spezielle Befehle, die erkennen können, wenn sich ein Muster wiederholt, wenn eine Zahl identisch mit der vorherigen ist oder wenn ein Datenabschnitt vollkommen gleichmäßig ist. Wenn Brevis eine Datei komprimiert, wählt es nicht einfach einen vorgefertigten Zipper aus; es agiert wie ein Detektiv, der durch Millionen möglicher „Rezepte“ sucht, um das kürzeste, effizienteste Rezept zu finden, das die Datei Bit für Bit wieder aufbauen kann. Um diese Suche zu beschleunigen, lernt es aus einer kleinen Stichprobe der Datei, um zu erraten, welche Rezepte am wahrscheinlichsten funktionieren werden – so wie ein Koch weiß, dass eine bestimmte Suppe meistens Salz braucht, noch bevor er sie überhaupt probiert hat.
Die Ergebnisse sind beeindruckend. Die Forscher haben Brevis an 10 verschiedenen öffentlichen KI-Modellen getestet, darunter solche für Sprache, Audio und Bilder, die insgesamt 2,13 TB an Daten umfassen. Sie fanden heraus, dass Brevis diese gewaltige Menge an Daten auf 1,41 TB schrumpfen konnte. Das ist eine Reduktion des Speicherplatzes um 33,93 %. Um dies einzuordnen: Brevis erstellte Archive, die bis zu 30,87 % kleiner waren als jene, die mit populären, allgemeinen Werkzeugen wie gzip und zstd erstellt wurden. Es war sogar besser als spezialisierte Tools, die speziell für KI-Daten entwickelt wurden, und erstellte Archive, die bis zu 2,90 % kleiner waren als die des besten Konkurrenten, ZipNN.
Was vielleicht am spannendsten ist: Brevis spart nicht nur Platz, sondern tut dies auch schnell. Es kann Daten mit einer Geschwindigkeit von 3,60 GB pro Sekunde komprimieren und mit 6,61 GB pro Sekunde dekomprimieren. Und da das „Rezept“, das es schreibt, ein in sich geschlossenes Programm ist, kann der Computer es direkt ausführen, um die Datei perfekt wieder aufzubauen, ohne erneut nach Mustern suchen zu müssen. Die Forscher legen nahe, dass dieser Ansatz, „ein Programm zur Repräsentation von Daten zu schreiben“, eine leistungsstarke neue Art und Weise sein könnte, die explodierende Größe von KI-Modellen zu bewältigen, indem er eine Möglichkeit bietet, diese effizient zu speichern und zu bewegen, ohne auch nur ein einziges Byte der ursprünglichen Information zu verlieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.