OmniZip: Learning a Unified and Lightweight Lossless Compressor for Multi-Modal Data

Each language version is independently generated for its own context, not a direct translation.

🌍 Le Problème : Une Maison avec Trop de Clés

Imaginez que vous avez une immense maison remplie de trésors de toutes sortes : des photos de vacances, des livres anciens, des enregistrements de chants d'oiseaux, des cartes de l'ADN et même des messages en code Morse.

Aujourd'hui, pour ranger ces trésors sans les abîper (compression "sans perte"), nous utilisons des coffres-forts. Mais il y a un gros problème :

Pour les photos, on utilise un coffre spécial "Photo".
Pour les textes, un coffre spécial "Livre".
Pour la musique, un coffre spécial "Son".

C'est fastidieux ! Il faut acheter, installer et entretenir des dizaines de coffres différents. De plus, certains coffres modernes (basés sur l'intelligence artificielle) sont si gros et complexes qu'ils prennent toute la place de la maison et mettent des heures à s'ouvrir. C'est comme essayer d'ouvrir une petite boîte de biscuits avec une grue.

🚀 La Solution : OmniZip, le "Couteau Suisse" Intelligent

Les chercheurs de l'Université Jiao Tong de Shanghai et du groupe Ant ont créé OmniZip. C'est un coffre-fort universel, léger et ultra-intelligent capable de ranger n'importe quel type de trésor (images, textes, voix, gènes, bases de données) dans un seul et même endroit.

Voici comment il fonctionne, grâce à trois astuces magiques :

1. Le Traducteur Universel (Le Tokenizer Unifié)

Imaginez que vous devez envoyer un message à un ami qui ne parle que le langage des "briques".

Si vous lui donnez une photo, il la transforme en une longue suite de briques colorées.
Si vous lui donnez un texte, il le transforme en briques de mots.
Si vous lui donnez une voix, il la transforme en briques de sons.

OmniZip fait exactement cela. Il prend n'importe quelle donnée (une image médicale, un génome, une conversation) et la transforme en une langue commune de briques que son cerveau peut comprendre. Le plus important ? Il peut reconstruire l'original parfaitement à partir de ces briques. Rien n'est perdu !

2. Le Chef d'Orchestre (L'Apprentissage Contextuel par Routage)

Une fois les briques arrivées, OmniZip ne les traite pas toutes de la même manière. C'est là qu'intervient son Chef d'Orchestre.

Si le coffre reçoit une photo, le Chef dit : "Ok, équipe 'Visuel', vous prenez le relais ! Regardez les couleurs et les formes."
Si c'est un texte, il dit : "Équipe 'Langue', à vous ! Analysez la grammaire et le sens."
Si c'est de la musique, il appelle l'équipe "Son".

Au lieu d'avoir un seul gros cerveau qui essaie de tout comprendre en même temps (ce qui est lent et fatiguant), OmniZip utilise une technique appelée "Mixture of Experts" (Mélange d'experts). Il active seulement les spécialistes nécessaires pour chaque tâche. C'est comme si vous allumiez seulement la lampe de la pièce où vous êtes, au lieu d'éclairer toute la maison. Cela rend le processus très rapide et économe en énergie.

3. L'Entraînement Secret (Reparamétrisation)

Pour que ce coffre soit aussi performant, les chercheurs l'ont entraîné avec une astuce spéciale. Imaginez un étudiant qui, pendant ses révisions, utilise des notes supplémentaires, des tableaux complexes et plusieurs livres pour comprendre un sujet. Mais le jour de l'examen, il n'a droit qu'à un seul petit carnet.

OmniZip apprend avec "des notes supplémentaires" (des branches cachées) pour devenir très fort. Une fois l'entraînement terminé, il fusionne toutes ces connaissances dans son petit carnet final. Résultat : il est aussi intelligent qu'un géant, mais il reste léger comme une plume.

🏆 Pourquoi c'est une révolution ?

C'est un couteau suisse, pas un couteau suisse : Contrairement aux autres qui ne savent faire qu'une chose, OmniZip gère tout (images, textes, voix, ADN) avec la même efficacité.
Il est rapide et léger : Il fonctionne même sur votre téléphone ou votre ordinateur portable. Là où d'autres méthodes prennent des heures pour compresser une seule image, OmniZip le fait en une fraction de seconde.
Il économise de l'espace : Il compresse les données bien mieux que les méthodes classiques (comme le célèbre gzip), parfois jusqu'à 60% de mieux. C'est comme pouvoir ranger 100 livres dans une valise qui ne contenait que 40 livres auparavant.

🎒 En résumé

OmniZip, c'est comme avoir un camion de déménagement magique qui peut transporter n'importe quel type de meuble (du piano au canapé, en passant par la bibliothèque) sans les abîper, sans avoir besoin de plusieurs camions, et qui roule aussi vite qu'une voiture de sport.

C'est une avancée majeure pour l'avenir du stockage de données, permettant de sauvegarder le monde numérique de manière plus efficace, plus rapide et sur n'importe quel appareil, du super-ordinateur au smartphone.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

La compression sans perte est cruciale pour le stockage et la transmission efficaces des données. Cependant, les méthodes d'apprentissage automatique (learning-based) actuelles souffrent de deux limitations majeures :

Complexité excessive : Les approches basées sur les grands modèles de langage (LLM) offrent de bonnes performances mais sont trop lourdes (milliards de paramètres), rendant leur déploiement impossible sur des appareils aux ressources limitées (edge devices) et entraînant des temps de compression prohibitifs (ex: plusieurs minutes pour une seule image).
Manque d'universalité (Spécialisation par modalité) : La plupart des compresseurs sont conçus pour une seule modalité (texte, image ou audio). Dans un système multimodal, cela nécessite le déploiement de plusieurs compresseurs distincts, augmentant la complexité logicielle et les coûts matériels. De plus, les tentatives de compression multimodale existantes convertissent souvent toutes les données en texte ASCII, ce qui ignore les spécificités statistiques des autres modalités et dégrade les performances.

L'objectif est donc de concevoir un compresseur unifié, léger et efficace capable de gérer la diversité des formats (images, texte, parole, données tactiles, génétiques, bases de données) tout en restant déployable sur des appareils contraints.

2. Méthodologie : OmniZip

OmniZip repose sur une architecture légère basée sur RWKV-7 (une alternative efficace aux Transformers) et intègre trois composants clés pour gérer l'hétérogénéité des modalités :

A. Tokenisation Unifiée par Modalité (Modality-Unified Tokenization)

Pour traiter des données hétérogènes dans un espace commun, OmniZip propose une stratégie de tokenisation réversible :

Données textuelles (langage naturel, gènes, bases de données) : Utilisation d'un tokenizer BPE (SentencePiece) avec un vocabulaire de 16k, enrichi de symboles spécifiques (ex: bases nucléotidiques A/T/G/C, mots-clés SQL).
Données visuelles (images naturelles, médicales, tactiles) : Découpage en patches de $16 \times 16 \times 3$ . Les pixels sont aplatis et traités comme des sous-pixels (R, G, B) individuels, créant un vocabulaire de 256 tokens. Les données tactiles 3D (x, y, z) sont mappées en pseudo-RGB.
Données audio (parole) : Traitement direct du flux de bytes bruts (chaque byte = un token), vocabulaire de 256.
Préfixe de modalité : Chaque séquence est préfixée par un identifiant (ex: <image>, <speech>) pour aider le modèle à distinguer le contexte. Un masquage de modalité est appliqué avant le codage arithmétique pour éliminer les probabilités des tokens non pertinents.

B. Apprentissage Contextuel avec Routage de Modalité (Modality-Routing Context Learning)

Pour capturer les dépendances contextuelles spécifiques à chaque modalité, OmniZip intègre un mécanisme Mixture-of-Experts (MoE) dans le module Time Mixing de RWKV :

Un routeur apprenable assigne chaque token à un sous-ensemble d'experts.
L'architecture applique le MoE spécifiquement sur la couche V (Value), car elle encode le contenu mémoriel spécifique, tandis que les couches K (Key) et R (Receptance) sont partagées.
Cela permet une adaptation flexible aux dynamiques différentes (séquentiel pour le texte, spatial pour l'image, temporel pour l'audio) sans augmenter significativement le coût d'inférence.

C. Processus Feedforward avec Routage (Modality-Routing Feedforward)

Le module Feedforward (MLP) standard est remplacé par une structure MoE similaire, où les experts sont de petits MLP. Cela permet d'augmenter la flexibilité de la représentation non linéaire pour les différentes modalités tout en maintenant un nombre de paramètres activés par token constant.

D. Stratégie de Réparamétrisation

Pour améliorer la capacité du modèle sans alourdir l'inférence, une stratégie de réparamétrisation est utilisée durant l'entraînement :

Des branches auxiliaires (décomposition de matrices de rang élevé) sont ajoutées aux couches R, K et V.
Ces branches sont fusionnées dans le chemin principal lors de l'inférence, garantissant que la complexité d'inférence reste identique à celle d'un modèle standard, tout en bénéficiant de la capacité d'apprentissage accrue.

3. Contributions Clés

OmniZip : Un compresseur sans perte unifié et léger capable de traiter sept types de modalités (images naturelles/médicales/tactiles, texte/gènes/bases de données, parole).
Architecture Innovante : Intégration de tokenisation unifiée réversible et de mécanismes de routage MoE spécifiques aux modalités dans un backbone RWKV léger.
Efficacité et Déploiement : Capacité à fonctionner en temps quasi réel sur des appareils contraints (CPU de MacBook, NPU d'iPhone) tout en surpassant les méthodes de l'état de l'art (SOTA).

4. Résultats Expérimentaux

Les évaluations ont été menées sur 16 jeux de données couvrant 7 modalités.

Performance de Compression :
- OmniZip surpasse ou égale les compresseurs SOTA spécifiques à chaque modalité.
- Par rapport à gzip, OmniZip améliore l'efficacité de compression de 42% à 62% sur des jeux de données comme CLIC-M (images), TouchandGo (tactile), enwik9 (texte), LibriSpeech (parole) et WikiSQL (bases de données).
- Sur les données textuelles (enwik9), la version OmniZip-L atteint 0.980 bits/Byte, rivalisant avec des méthodes spécialisées lourdes.
- Sur la parole (LibriSpeech), il bat FLAC (compresseur audio classique) de 15% à 23%.
Efficacité et Vitesse :
- Le modèle est extrêmement rapide : il atteint environ 1 Mo/s sur les CPU de MacBook et les NPU d'iPhone, et jusqu'à 4 Mo/s sur GPU (A100).
- Contrairement aux méthodes basées sur LLM (ex: LLaMA3-8B) qui prennent des dizaines de minutes pour compresser une image, OmniZip le fait en quelques secondes.
Analyse de Complexité :
- Avec seulement 4,8M à 152M de paramètres (selon la version S, M, L), OmniZip offre un compromis bien meilleur entre taille du modèle et performance que les approches basées sur des LLM de plusieurs milliards de paramètres.

5. Signification et Impact

OmniZip représente une avancée significative vers la compression multimodale pratique.

Unification : Il élimine le besoin de déployer une multitude de compresseurs spécialisés, simplifiant l'architecture logicielle pour les systèmes multimodaux.
Accessibilité Edge : En étant léger et rapide, il rend la compression sans perte de haute qualité possible sur des appareils mobiles et embarqués, ouvrant la voie à de nouvelles applications en temps réel (IoT, santé mobile, robots tactiles).
Efficacité des Ressources : Il démontre qu'il n'est pas nécessaire d'utiliser des modèles massifs pour obtenir une compression optimale, en privilégiant une architecture adaptée aux spécificités des données plutôt que la brute force computationnelle.

En résumé, OmniZip résout le dilemme entre performance, universalité et légèreté, offrant une solution viable pour la compression sans perte de l'ère des données multimodales.