OmniZip: Learning a Unified and Lightweight Lossless Compressor for Multi-Modal Data

OmniZip is een uniek, lichtgewicht verliesloos compressiemodel dat diverse datatypen zoals tekst, afbeeldingen en spraak efficiënt comprimeert door middel van een gestandaardiseerde tokenisatie en routingmechanismen, waardoor het presteert beter dan bestaande methoden en geschikt is voor gebruik op randapparatuur.

De kern

Stel je voor dat je een enorme koffer moet inpakken voor een reis. Je hebt foto's, een dagboek, geluidsopnames van je reis, en zelfs een medisch rapport. Normaal gesproken zou je voor elke soort spul een andere, specifieke koffer gebruiken: een waterdichte koffer voor de foto's, een stevige koker voor het dagboek, en een speciale doos voor de geluidsopnames. Dat is veel gedoe, zwaar om te dragen, en inefficiënt.

OmniZip is als een magische, alles-in-één koffer die slim genoeg is om al deze verschillende spullen perfect in te pakken, zonder dat je iets kwijtraakt (dat noemen we "lossless" of verliesvrij).

Hier is hoe dit werkt, vertaald naar alledaagse taal:

1. Het Probleem: Te veel koffers, te zwaar

Vroeger hadden we slimme computers die konden comprimeren (kleiner maken), maar ze waren vaak alleen gespecialiseerd in één ding. Een computer die goed was in het verkleinen van teksten, kon niets met foto's. En als je een heel groot model gebruikte (zoals een "Grote Taalmodel" of LLM) om alles te doen, was het alsof je een vrachtwagen gebruikte om een postzegel te vervoeren. Het werkt wel, maar het is veel te traag en verbruikt veel te veel energie.

2. De Oplossing: OmniZip, de "Chameleons"

OmniZip is een nieuw, lichtgewicht programma dat als een chameleon werkt. Het kan zich aanpassen aan wat erin wordt gestopt, of het nu een foto, een stukje tekst, een geluid of zelfs een DNA-sequentie is.

Het heeft drie slimme trucs in zijn rugzak:

• De Universele Vertaler (Tokenisatie):
  Stel je voor dat je een foto, een tekst en een geluid in één taal moet schrijven. OmniZip pakt alles en zet het om in een reeks van simpele blokjes (tokens), alsof het alles omzet in één groot alfabet.

  • Voorbeeld: Een foto wordt niet als één groot plaatje gezien, maar als duizenden kleine kleurrijke blokjes. Een geluid wordt een rijtje getallen. Een tekst wordt een rijtje woorden. Ze worden allemaal "vertaald" naar dezelfde taal, zodat de computer ze allemaal op dezelfde manier kan begrijpen.

• De Slimme Wegwijzer (Modality-Routing):
  Dit is misschien wel het coolste deel. Stel je een groot kantoor voor met veel experts. Als je een vraag over een foto stelt, loopt de vraag naar de "Foto-expert". Als het over muziek gaat, naar de "Muziek-expert".
  In OmniZip gebeurt dit automatisch. Het programma kijkt naar de data en zegt: "Oh, dit is een foto? Dan roep ik de experts aan die goed zijn in beelden. Dit is een tekst? Dan roep ik de tekst-experts aan."
  Hierdoor hoeft het niet alles tegelijk te doen, wat het snel en licht houdt. Het is alsof je een team hebt dat alleen de juiste mensen inschakelt voor de klus, in plaats van iedereen te laten meewerken.

• De Oefenmethode (Reparameterization):
  Tijdens het leren (trainen) doet OmniZip alsof het een gigantisch brein heeft met extra hersencellen om alles te leren. Maar zodra het klaar is met leren, "plakt" het die extra cellen weer samen tot één compact brein. Het resultaat: het heeft de kennis van een groot brein, maar de grootte van een klein, snel brein.

3. Waarom is dit geweldig?

• Snelheid: Waar andere systemen uren nodig hebben om een foto in te pakken, doet OmniZip dit in seconden. Het werkt zelfs snel op je telefoon of laptop, niet alleen op enorme supercomputers.
• Efficiëntie: Het maakt bestanden veel kleiner dan de oude standaardmethoden (zoals gzip). Op sommige gebieden (zoals medische beelden of DNA) is het wel 50% tot 60% beter.
• Alles-in-één: Je hoeft geen aparte software meer te installeren voor foto's, tekst of geluid. Één programma doet het allemaal.

Samenvattend

OmniZip is als een super-efficiënte verhuizer die niet alleen heel snel is, maar ook slim genoeg om te weten dat je een kwetsbare vaas (een foto) anders moet inpakken dan een stapel boeken (een tekst). Het gebruikt geen vrachtwagen, maar een slimme, lichte bestelbus die precies past bij wat je moet vervoeren. Hierdoor bespaar je ruimte op je harde schijf, bespaar je tijd, en kun je het overal gebruiken, zelfs op je iPhone.

Technische samenvatting

1. Het Probleem

Bestaande verliesvrije compressiemethoden (lossless compression) staan voor twee fundamentele uitdagingen:

• Complexiteit en Snelheid: Veel moderne, leer-gebaseerde methoden (vooral die gebaseerd op Large Language Models of LLM's) zijn extreem zwaar. Ze hebben miljarden parameters, wat leidt tot zeer trage inferentie en hoge rekenkosten. Dit maakt ze onpraktisch voor real-time toepassingen of apparaten met beperkte middelen (zoals smartphones of laptops).
• Gebrek aan Unificatie: De meeste bestaande oplossingen zijn ontworpen voor één specifieke modality (bijv. alleen tekst, alleen afbeeldingen of alleen spraak). In een multi-modale omgeving (waarbij data van verschillende bronnen wordt opgeslagen) moeten daarom meerdere, gescheiden compressoren worden ingezet. Dit verhoogt de softwarecomplexiteit en hardwarekosten.
• Heterogeniteit: Verschillende data-types hebben fundamenteel verschillende statistische eigenschappen (tekst is discreet en sequentieel, afbeeldingen zijn 2D en ruimtelijk, spraak is continu, databases zijn gestructureerd). Een model dat goed werkt voor tekst, faalt vaak bij afbeeldingen of vice versa.

2. Methodologie: OmniZip

OmniZip is een unificerende en lichtgewicht oplossing voor verliesvrije compressie van diverse data-types (natuurlijke afbeeldingen, medische beelden, tactiele signalen, natuurlijke taal, genen, databases en spraak). De architectuur rust op een lichtgewicht backbone en introduceert drie kerninnovaties:

A. Lichtgewicht Backbone (RWKV)

In plaats van zware Transformers of LLM's, kiest OmniZip voor RWKV (Recurrent Weighted Key-Value), een model dat lineaire inferentie-tijd biedt en efficiënter is dan Transformers.

• Selectie: Vergelijkingen tussen Transformer, Mamba en RWKV toonden aan dat RWKV de beste balans biedt tussen compressie-efficiëntie (bits/Byte) en inferentiesnelheid op CPU's.
• Reparameterization Training: Om het modelcapaciteit te vergroten zonder de inferentie-snelheid te beïnvloeden, wordt een reparameterisatie-strategie gebruikt. Tijdens het trainen worden extra takken (hoge-rang matrix decompositie) toegevoegd aan de R, K en V lagen. Tijdens inferentie worden deze samengevoegd (gemerged) met de hoofdweg, waardoor de inferentiecomplexiteit gelijk blijft aan een standaard model.

B. Modality-Unified Tokenization

Om verschillende data-types in één model te verwerken, wordt een uniek tokenisatie-systeem ontwikkeld dat volledig omkeerbaar (reversible) is:

• Tekst-achtige data (taal, genen, databases): Gebruik van een SentencePiece BPE tokenizer (vocabulaire van 16K), aangevuld met domeinspecifieke symbolen (bijv. nucleotiden voor genen, SQL-keywoorden voor databases).
• Afbeelding-achtige data (natuurlijk, medisch, tactiel): Afbeeldingen worden opgedeeld in $16 \times 16 \times 3$ patches. Pixels worden in raster-volgorde uitgevouwen en elke sub-pixel (R, G, B) wordt een token (vocabulaire van 256). Tactiele krachtdata wordt omgezet naar pseudo-RGB.
• Spraak: Omdat spraak continu is, wordt de ruwe byte-stroom direct gelezen, waarbij elke byte een token is (vocabulaire van 256).
• Modality Prefix: Elke sequentie krijgt een voorvoegsel (bijv. <image>, <speech>) zodat het model de modality herkent. Voor de softmax wordt een "modality masking" toegepast om de kansberekening te beperken tot alleen de relevante tokens voor die modality.

C. Modality-Routing Mechanismen (MoE)

Om de heterogeniteit van data te hanteren, worden Mixture-of-Experts (MoE) lagen geïntegreerd in twee kritieke onderdelen van de RWKV-blokken:

1. Context Learning (Time Mixing): In de Time Mixing module wordt MoE toegepast op de Value (V) laag. De K (Key) en R (Receptance) lagen worden gedeeld. De V-laag bevat de specifieke inhoud; door hier experts voor te kiezen, kan het model beter omgaan met de specifieke context van verschillende modaliteiten.
2. Feedforward Process: De standaard MLP (Multilayer Perceptron) wordt vervangen door een MoE-module met kleine MLP-experts. Dit biedt meer flexibiliteit voor niet-lineaire transformaties per modality zonder de totale parameter-aantal drastisch te verhogen.
   • Configuratie: Er worden 4 experts gebruikt, waarbij per token de top-2 experts worden geactiveerd (sparse routing).

3. Belangrijkste Bijdragen

1. Eerste Unificerende Compressor: OmniZip is een van de eerste systemen dat effectief verliesvrije compressie biedt voor een breed scala aan modaliteiten (beeld, tekst, spraak, genen, databases, tactiel) in één enkel model.
2. Lichtgewicht Ontwerp: Door gebruik te maken van RWKV en slimme MoE-architecturen, bereikt het prestaties die vergelijkbaar zijn met zware LLM's, maar met een fractie van de parameters en rekenkosten.
3. Efficiënte Implementatie: Het model is ontworpen voor edge devices. Het ondersteunt inferentie op CPU's, NPUs en GPU's, met snelheden die dicht bij real-time liggen.

4. Resultaten

OmniZip werd getest op 16 datasets over 7 modaliteiten en vergeleken met state-of-the-art (SOTA) methoden (zoals gzip, FLIF, JPEG XL, FLAC, en LLM-based compressors zoals Llama3).

• Compressie-efficiëntie:
  • Afbeeldingen: OmniZip-L bereikte een verbetering van 42% ten opzichte van gzip op de CLIC-Mobile dataset.
  • Tactiele data: 57% verbetering ten opzichte van gzip op TouchandGo.
  • Tekst: 62% verbetering ten opzichte van gzip op enwik9.
  • Spraak: 42% verbetering ten opzichte van gzip en 15-23% verbetering ten opzichte van FLAC op LibriSpeech.
  • Genen & Databases: Significante verbeteringen (tot 53% beter dan gzip) op WikiSQL en GenoSeq datasets.
• Snelheid en Hardware:
  • OmniZip bereikt near real-time inferentie (0.1 tot 1 MB/s) op beperkte apparaten zoals een MacBook CPU en iPhone NPU.
  • Op een NVIDIA A100 GPU bereikt het tot 4 MB/s.
  • Het model is aanzienlijk sneller dan LLM-based compressors (die soms minuten of dagen nodig hebben voor kleine bestanden).

5. Betekenis en Impact

Deze paper is significant omdat het een praktische oplossing biedt voor de toenemende complexiteit van multi-modale data-opslag.

• Vereenvoudiging: Het elimineert de noodzaak om meerdere gespecialiseerde compressoren te onderhouden voor verschillende data-types.
• Toegankelijkheid: Door het ontwerp te richten op lichtgewicht inferentie, maakt het geavanceerde verliesvrije compressie haalbaar voor edge computing (smartphones, laptops, IoT), wat eerder beperkt was tot zware server-omgevingen.
• Efficiëntie: Het toont aan dat je geen miljarden parameters nodig hebt om uitstekende compressie te bereiken; slimme architecturale keuzes (zoals routing en tokenisatie) zijn vaak effectiever dan simpelweg het vergroten van het model.

Kortom, OmniZip zet een nieuwe standaard voor universele, snelle en efficiënte verliesvrije compressie in een multi-modale wereld.