OmniZip: Learning a Unified and Lightweight Lossless Compressor for Multi-Modal Data

OmniZip ist ein einheitlicher und leichter verlustfreier Kompressor, der mithilfe eines modality-unifizierten Tokenizers und routing-basierter Mechanismen diverse Datenformen wie Bilder, Text und Sprache effizient komprimiert und dabei sowohl hohe Kompressionsraten als auch Echtzeit-Inferenz auf ressourcenbeschränkten Geräten erreicht.

Das Wesentliche

Das Problem: Der unordentliche Schrank

Stell dir vor, du hast einen riesigen Schrank voller verschiedener Dinge: Bücher (Text), Fotos (Bilder), Sprachaufnahmen (Sprache), DNA-Stränge (Gene) und sogar Datenbanken.

Bisher gab es für jede Art von Gegenstand einen speziellen Umzugskarton:

• Für Bücher gab es einen Karton, der nur für Papier gemacht war.
• Für Fotos gab es einen, der nur für Bilder passte.
• Für Sprache gab es einen speziellen Koffer.

Das Problem? Du musstest viele verschiedene Umzugskartons kaufen, sie alle lagern und für jeden einzelnen einen eigenen Umzugshelfer (einen Computer-Algorithmus) anstellen. Das ist teuer, langsam und macht den Schrank unübersichtlich.

Außerdem waren die bisherigen „intelligenten" Helfer (die auf künstlicher Intelligenz basieren) oft wie riesige, schwerfällige Elefanten. Sie waren so groß und komplex, dass sie auf einem normalen Laptop oder sogar auf einem Handy gar nicht erst laufen konnten. Sie brauchten Tage, um nur ein einziges Foto zu verpacken.

Die Lösung: OmniZip – Der „Schweizer Taschenmesser"-Umzugshelfer

Die Forscher von OmniZip haben sich gedacht: „Warum nicht einen einzigen, super-leichten Umzugshelfer bauen, der alles verpacken kann?"

Das ist OmniZip. Es ist wie ein Schweizer Taschenmesser, das nicht nur für Papier, sondern auch für Bilder, Töne und DNA geeignet ist – und dabei so leicht ist, dass es in deine Hosentasche passt.

Hier sind die drei genialen Tricks, wie es funktioniert:

1. Der universelle Übersetzer (Modality-Unified Tokenization)

Stell dir vor, OmniZip kommt in deinen Schrank und sagt: „Ich verstehe keine Bilder oder DNA direkt. Aber ich kann alles in einen einzigen Code übersetzen."

• Ein Foto wird in kleine Pixel-Blöcke zerlegt.
• Ein Satz wird in Buchstaben-Blöcke zerlegt.
• Ein DNA-Strang wird in seine Bausteine zerlegt.
• Das Geniale: Alle diese verschiedenen Dinge werden in dieselbe Sprache (Tokens) übersetzt. Es ist, als würde OmniZip für jedes Objekt einen einheitlichen Barcode drucken, den es sofort verstehen kann, egal ob es ein Bild oder ein Wort ist. Und das Beste: Der Code ist verlustfrei. Wenn man ihn später wieder entschlüsselt, ist das Original exakt gleich wie vorher. Nichts geht verloren.

2. Der cleere Wegweiser (Modality-Routing)

Früher mussten alle Umzugshelfer jeden Karton auf die gleiche Weise behandeln. Das war ineffizient.
OmniZip hat einen intelligenten Wegweiser eingebaut. Wenn ein Paket (ein Daten-Token) hereinkommt, schaut der Wegweiser: „Oh, das ist ein Bild? Dann nimm den Spezialisten für Bilder! Oh, das ist ein Satz? Dann nimm den Spezialisten für Sprache!"

• Es ist wie ein Restaurant mit einem Chef-Koch, der je nach Bestellung den perfekten Sous-Chef (Experten) herbeiruft.
• Das spart Energie, weil nicht jeder Experte für jede Aufgabe arbeiten muss. Der Helfer bleibt schlank und schnell.

3. Der leichte Rucksack (Lightweight & Reparameterization)

Die alten KI-Modelle waren wie riesige, mit Steinen gefüllte Rucksäcke. OmniZip ist wie ein Federleicht-Rucksack.

• Während des Trainings (dem Lernen) darf der Helfer zwar schwerer werden und mehr Wissen sammeln (wie ein Student, der viele Bücher liest).
• Aber sobald er fertig ist und zur Arbeit geht (Inferenz), klappt er sich zusammen. Das zusätzliche Wissen wird in die Struktur integriert, aber der Rucksack bleibt klein.
• Das Ergebnis: OmniZip ist so schnell, dass es sogar auf einem iPhone oder einem MacBook in Echtzeit funktioniert. Du kannst ein ganzes Buch oder ein Foto komprimieren, während du noch auf den „Senden"-Knopf drückst.

Warum ist das wichtig?

• Platz sparen: OmniZip drückt Daten viel stärker zusammen als die alten Methoden (wie gzip). Auf den getesteten Datenbanken sparte es bis zu 60% Platz im Vergleich zu Standard-Programmen.
• Energie sparen: Weil es so leicht ist, verbraucht es weniger Akku auf deinem Handy.
• Einfachheit: Du brauchst nur ein Programm für alles. Kein Chaos mehr mit verschiedenen Tools.

Zusammenfassung in einem Satz

OmniZip ist wie ein magischer, super-schneller Umzugshelfer, der alles – von Fotos über Sprache bis hin zu DNA – in einen einzigen, winzigen Koffer packt, ohne dabei etwas zu verlieren, und das alles so schnell, dass es auf deinem Handy läuft.

Es macht den komplexen Prozess der Datenkompression endlich einfach, universell und für jeden zugänglich.

Technische Zusammenfassung

1. Problemstellung

Der Verlustfreie Komprimierung (Lossless Compression) kommt eine zentrale Rolle für die effiziente Speicherung und Übertragung von Daten zu. Trotz Fortschritten bei lernbasierten Komprimierungsmethoden bestehen zwei wesentliche Herausforderungen:

• Hohe Komplexität: Viele aktuelle Ansätze, insbesondere solche, die auf großen Sprachmodellen (LLMs) basieren, sind extrem rechenintensiv und parametrisch groß. Dies führt zu langen Komprimierungszeiten (z. B. Minuten oder Tage für einzelne Dateien) und macht sie für den praktischen Einsatz, insbesondere auf ressourcenbeschränkten Endgeräten, ungeeignet.
• Fehlende Einheitlichkeit (Modality Gap): Bestehende Methoden sind meist auf eine einzige Datenmodalität (z. B. nur Text oder nur Bilder) spezialisiert. In multimodalen Systemen erfordert dies den Einsatz mehrerer separater Kompressoren, was die Softwarekomplexität und Hardwarekosten erhöht. Die direkte Anwendung von Text-Modellen auf andere Modalitäten (z. B. durch Umwandlung in ASCII) führt zu suboptimalen Ergebnissen, da die statistischen Eigenschaften und Strukturen verschiedener Datentypen (diskret/sequenziell bei Text, räumlich bei Bildern, kontinuierlich bei Sprache) stark variieren.

2. Methodik: OmniZip

OmniZip ist ein einheitlicher und leichter Verlustloser Kompressor, der entwickelt wurde, um diverse Datenmodalitäten (Bilder, Text, Sprache, taktile Daten, Datenbanken, Gensequenzen) effizient zu komprimieren. Die Architektur basiert auf einem leichten Backbone und integriert drei Schlüsselkomponenten:

A. Leichtgewichtiger Backbone (RWKV)

Anstelle von schweren Transformern oder Mamba-Modellen wurde RWKV (Recurrent Weighted K-V) als Basis gewählt. Ein Vergleich zeigte, dass RWKV bei geringer Parameterzahl die beste Balance zwischen Komprimierungseffizienz und Inferenzgeschwindigkeit auf CPUs bietet.

B. Modality-Unified Tokenization (Einheitliche Tokenisierung)

Um heterogene Daten in einen gemeinsamen Raum zu überführen, wird ein reversibler Tokenisierungsansatz verwendet:

• Text-ähnliche Daten (Sprache, Gene, Datenbanken): Nutzung eines SentencePiece BPE-Tokenizers mit erweiterter Vokabulargröße (inkl. spezifischer Symbole wie DNA-Basen oder SQL-Keywords).
• Bild-ähnliche Daten (Naturbilder, medizinische Bilder, taktile Signale): Bilder werden in 16x16x3-Patches unterteilt. Pixelwerte werden sequenziell als Sub-Pixel (R1, G1, B1, ...) behandelt. Graustufenbilder werden direkt als einzelne Tokens verarbeitet.
• Sprache: Da Sprache kontinuierlich ist, wird der Roh-Byte-Stream direkt gelesen, wobei jedes Byte als Token dient (Vokabulargröße 256).
• Modality-Prefixes: Jeder Datenstrom erhält ein Präfix-Token (z. B. <image>, <speech>), damit das Modell den Kontext der Modalität erkennt. Vor der Wahrscheinlichkeitsberechnung wird ein Modality-Masking angewendet, um die Wahrscheinlichkeiten für nicht-relevante Token auf Null zu setzen.

C. Modality-Routing Context Learning & Feedforward

Um die spezifischen Merkmale verschiedener Modalitäten zu erfassen, wird ein Mixture-of-Experts (MoE)-Ansatz integriert:

• Context Learning: Im Time-Mixing-Modul von RWKV wird die V-Schicht (Value) durch MoE ersetzt. Ein Router weist Tokens basierend auf ihrer Modalität den besten Experten zu. Dies ermöglicht eine flexible Kontextmodellierung, da die V-Schicht den spezifischen Inhalt kodiert, während K (Key) und R (Receptance) geteilt werden.
• Feedforward: Der Standard-MLP wird ebenfalls durch einen MoE-basierten Feedforward-Modul ersetzt, wobei die Experten kleine MLPs sind. Dies erhöht die nichtlineare Darstellungsfähigkeit für unterschiedliche Datentypen.
• Konfiguration: Es werden 4 Experten verwendet, wobei pro Token die Top-2 aktiviert werden (Top-k=2), um die Rechenkosten gering zu halten.

D. Reparameterization Training Strategy

Um die Modellkapazität während des Trainings zu erhöhen, ohne die Inferenzgeschwindigkeit zu beeinträchtigen, wird eine Reparameterisierungstechnik eingesetzt. Zusätzliche Hoch-Rang-Zweige werden während des Trainings hinzugefügt und vor der Inferenz strukturell in den Hauptpfad mergen. Dies verbessert die Lernfähigkeit, ohne die Laufzeitkomplexität zu erhöhen.

3. Hauptbeiträge

1. Einheitlicher Ansatz: OmniZip ist der erste leichte, lernbasierte Kompressor, der nahtlos über sieben Modalitäten (Bilder, medizinische Bilder, taktile Daten, Text, Gene, Datenbanken, Sprache) hinweg funktioniert.
2. Effiziente Architektur: Durch die Kombination von RWKV, MoE-Routing und Reparameterisierung erreicht das Modell State-of-the-Art (SOTA) Ergebnisse mit deutlich weniger Parametern als vergleichbare LLM-basierte Ansätze.
3. Edge-Deployment: Das Modell ist für den Einsatz auf ressourcenbeschränkten Geräten (Laptops, Smartphones) optimiert und erreicht nahezu Echtzeit-Inferenz.

4. Ergebnisse

Die Evaluation erfolgte auf 16 Datensätzen über sieben Modalitäten hinweg:

• Komprimierungseffizienz: OmniZip übertrifft oder erreicht die Leistung von SOTA-Kompressoren. Im Vergleich zu gzip wurden Verbesserungen von 42% bis 62% erzielt (z. B. auf CLIC-M, TouchandGo, enwik9, LibriSpeech und WikiSQL).
• Vergleich mit SOTA: Auf Text-Daten (enwik9) erreicht OmniZip-L Werte von 0,98 bits/Byte (verglichen mit 0,85 bei spezialisierten Text-Kompressoren wie NNCP, aber mit viel geringerer Komplexität). Auf Bilddaten (Kodak) liegt OmniZip-L bei 2,925 bits/Byte, was nahe an spezialisierten Bildkompressoren liegt.
• Geschwindigkeit:
  • Auf NVIDIA A100 GPUs erreicht das Modell Geschwindigkeiten im MB/s-Bereich (bis zu ~4 MB/s).
  • Auf Edge-Geräten (MacBook CPU, iPhone NPU) werden Geschwindigkeiten von 0,1 bis 1 MB/s erreicht, was eine nahezu Echtzeit-Komprimierung ermöglicht.
• Effizienz: OmniZip nutzt deutlich weniger Parameter (z. B. 4,8M für die kleine Version) als LLM-basierte Alternativen (oft Milliarden von Parametern), was den Overhead für die Komprimierung drastisch senkt.

5. Bedeutung und Fazit

OmniZip adressiert das Problem der Fragmentierung in der Verlustlosen Komprimierung, indem es einen einzigen, leichten Modellansatz für alle gängigen Datenarten bietet.

• Praktische Relevanz: Die Fähigkeit, auf Endgeräten (Edge Devices) effizient zu arbeiten, macht es für Anwendungen in mobilen Geräten, IoT und Echtzeit-Systemen attraktiv, wo Speicherplatz und Bandbreite kritisch sind.
• Wissenschaftlicher Fortschritt: Die Arbeit zeigt, dass durch geschickte Architekturwahl (RWKV + MoE) und spezifische Tokenisierungsstrategien die Lücke zwischen spezialisierten und universellen Kompressoren geschlossen werden kann, ohne die Effizienz zu opfern.
• Zukunftsperspektive: OmniZip legt den Grundstein für skalierbare, multimodale Datenverarbeitungssysteme, die Daten unabhängig von ihrer Herkunft einheitlich und effizient speichern können.

Der Code ist öffentlich unter https://github.com/adminasmi/OmniZip-CVPR2026 verfügbar.