OmniZip: Learning a Unified and Lightweight Lossless Compressor for Multi-Modal Data

OmniZip es un compresor sin pérdidas unificado y ligero que, mediante un tokenizador unificado de modalidades y mecanismos de enrutamiento contextuales, logra una eficiencia de compresión superior a la de los métodos existentes en diversos tipos de datos mientras mantiene una inferencia en tiempo real en dispositivos de recursos limitados.

Lo esencial

¡Hola! Imagina que tienes una caja de herramientas llena de objetos muy diferentes: una foto de tu perro, un libro de cuentos, una grabación de tu voz, un mapa de un tumor médico, un código de base de datos y hasta la secuencia de tu ADN.

Hasta ahora, para guardar o enviar estos objetos, teníamos que usar cajas de herramientas separadas para cada tipo.

• Para las fotos, usabas un compresor de imágenes (como ZIP para fotos).
• Para el texto, usabas otro (como ZIP para documentos).
• Para la voz, otro más.

Esto es como tener un destornillador para los tornillos, un martillo para los clavos y una sierra para la madera, pero tener que llevar tres maletines gigantes solo para hacer una pequeña reparación en casa. Además, las "maquinarias" modernas que hacen esto (basadas en Inteligencia Artificial) son tan enormes y pesadas que tardan horas en comprimir una sola foto, como si necesitaras un camión para llevar un paquete de cartas.

Aquí es donde entra "OmniZip".

¿Qué es OmniZip?

OmniZip es como un "Maestro Chino de la Magia" o un cuchillo suizo digital ultra inteligente y ligero. Es un solo programa capaz de entender y comprimir cualquier tipo de dato (imágenes, texto, voz, genes, bases de datos) sin necesidad de cambiar de herramienta.

¿Cómo funciona? (La analogía del Traductor Universal)

Imagina que OmniZip tiene tres trucos principales para hacer su magia:

1. El Traductor Universal (Tokenización Unificada):

   • El problema: Las fotos son como mosaicos de colores, el texto son letras, y la voz es una onda continua. No se entienden entre sí.
   • La solución: OmniZip tiene un traductor mágico que convierte todo en un mismo idioma: una larga lista de "palabras" o fichas (llamadas tokens).
   • El truco: No importa si es una foto de un gato o una receta de cocina; el traductor las convierte en fichas numeradas que el sistema puede leer. Lo mejor es que este proceso es reversible: puede convertir las fichas de vuelta a la foto o al texto original sin perder ni un solo píxel o letra. ¡Es como traducir un libro a un código secreto y luego volver a escribirlo exactamente igual!

2. El Director de Orquesta (Aprendizaje de Contexto con Enrutamiento):

   • El problema: Un libro necesita entender la gramática, pero una foto necesita entender la proximidad de los colores. Un solo cerebro no puede pensar de las dos formas a la vez eficientemente.
   • La solución: OmniZip tiene un "Director de Orquesta" que decide qué expertos escuchar.
   • La analogía: Imagina un equipo de especialistas. Si entra una palabra de un libro, el director le dice: "¡Tú, experto en gramática, toma el micrófono!". Si entra un píxel de una foto, le dice: "¡Tú, experto en colores, actúa!".
   • Esto se llama Mixture of Experts (Mezcla de Expertos). En lugar de activar a todo el equipo (lo cual es lento y gasta mucha energía), solo despierta a los 2 o 3 expertos necesarios para esa tarea específica. ¡Es como tener un equipo de 100 personas, pero solo pagarle a las 3 que realmente hacen el trabajo!

3. El Entrenador de Fuerza (Reparametrización):

   • El problema: Queremos que el sistema sea muy inteligente (que aprenda mucho), pero que no sea pesado al trabajar.
   • La solución: Durante el "entrenamiento" (cuando el sistema aprende), le ponemos gafas de pesas y le hacemos practicar con muchas ramas de conocimiento. Pero, justo antes de que vaya a trabajar (cuando lo usas tú), le quitamos las pesas y fusionamos todo ese conocimiento en una sola estructura ligera.
   • Resultado: Tienes la inteligencia de un gigante, pero la velocidad y el peso de un atleta ligero.

¿Por qué es un gran avance?

• Es ligero y rápido: Mientras que otros sistemas modernos (como los grandes modelos de lenguaje) tardan 30 minutos en comprimir una sola foto, OmniZip lo hace en segundos, incluso en tu iPhone o MacBook.
• Ahorra espacio: Comprime mucho mejor que los métodos clásicos (como el gzip que todos usamos). En pruebas, comprimió datos de texto un 62% mejor y datos médicos un 57% mejor que los métodos tradicionales.
• Es universal: Ya no necesitas instalar 10 programas diferentes. Con uno solo, puedes comprimir tu biblioteca de música, tus fotos médicas y tus bases de datos de la empresa.

En resumen

OmniZip es como tener un camión de mudanza mágico que, en lugar de necesitar 10 camiones diferentes para mover muebles, libros y pianos, tiene un solo camión con un sistema de carga inteligente que adapta su espacio a cualquier objeto, lo empaqueta perfectamente y lo lleva a su destino a la velocidad de la luz, sin gastar gasolina extra.

Es un paso gigante hacia un futuro donde guardar y enviar cualquier tipo de información digital sea más rápido, más barato y mucho más simple.

Resumen técnico

Resumen Técnico: OmniZip

1. El Problema

La compresión sin pérdida es fundamental para el almacenamiento y transmisión eficiente de datos. Sin embargo, los métodos actuales basados en aprendizaje automático enfrentan dos desafíos críticos:

• Complejidad Excesiva: Muchos compresores modernos, especialmente aquellos basados en Grandes Modelos de Lenguaje (LLMs), tienen miles de millones de parámetros. Esto los hace demasiado pesados para su despliegue práctico, ya que el tamaño del modelo a menudo excede el de los datos comprimidos y la velocidad de inferencia es extremadamente lenta (ej. horas para comprimir una sola imagen).
• Falta de Unificación Multimodal: La mayoría de los compresores están diseñados para una sola modalidad (solo texto, solo imágenes, etc.). Esto obliga a desplegar múltiples compresores en sistemas multimodales, aumentando la complejidad del software y los costos de hardware. Además, las modalidades tienen heterogeneidad estructural (texto discreto, imágenes 2D, audio continuo, secuencias genéticas), lo que dificulta la generalización cruzada.

2. Metodología: OmniZip

OmniZip es un compresor sin pérdida unificado y ligero diseñado para manejar diversos tipos de datos (imágenes naturales/médicas, señales táctiles, texto, secuencias de genes, bases de datos y voz) con una arquitectura eficiente.

Componentes Clave:

• Backbone Ligero (RWKV):

  • En lugar de usar Transformers pesados o LLMs, OmniZip se basa en RWKV-7, una arquitectura que combina la eficiencia de las RNN con la capacidad de los Transformers.
  • Se seleccionó RWKV por ofrecer el mejor equilibrio entre eficiencia de compresión, costo computacional (MACs) y velocidad de inferencia en dispositivos de borde (CPU/NPU).

• Tokenización Unificada de Modalidad (Modality-Unified Tokenization):

  • Transforma datos heterogéneos en un espacio de tokens reversible y unificado.
  • Texto/Genes/Bases de Datos: Usa un tokenizador BPE (SentencePiece) con vocabulario de 16k, enriquecido con símbolos específicos (bases nucleotídicas, palabras clave SQL).
  • Imágenes (Naturales, Médicas, Táctiles): Se dividen en parches de $16 \times 16 \times 3$. Los píxeles se aplanan y sus valores RGB se tratan como tokens individuales (vocabulario de 256).
  • Voz: Se trata como un flujo de bytes crudos, donde cada byte es un token (vocabulario de 256).
  • Prefijos de Modalidad: Cada secuencia se precede con un token especial (ej. <image>, <speech>) para que el modelo aprenda priores específicos.

• Aprendizaje de Contexto con Enrutamiento de Modalidad (Modality-Routing Context Learning):

  • Se integra un mecanismo de Mezcla de Expertos (MoE) en el módulo de "Time Mixing" de RWKV.
  • Un router aprendible asigna tokens a expertos específicos.
  • Diseño Eficiente: El MoE se aplica solo a la capa V (Valor), ya que esta representa el contenido de memoria específico, mientras que las capas K (Clave) y R (Receptancia) se comparten. Esto permite adaptabilidad multimodal sin aumentar significativamente la complejidad. Se usan 4 expertos con top-k=2.

• Proceso de Alimentación Directa con Enrutamiento (Modality-Routing Feedforward):

  • Reemplaza el MLP estándar por un módulo MoE basado en MLPs pequeños.
  • Esto permite representaciones no lineales adaptativas para diferentes modalidades, manteniendo el número de parámetros activados por token similar al diseño original.

• Estrategia de Entrenamiento con Reparametrización:

  • Para mejorar la capacidad del modelo sin penalizar la inferencia, se utiliza una estrategia de reparametrización de alto rango (similares a RepVGG).
  • Durante el entrenamiento, se añaden ramas auxiliares a las capas R, K y V. En la inferencia, estas ramas se fusionan en una sola ruta, manteniendo la velocidad original pero con la capacidad aprendida de un modelo más grande.

3. Contribuciones Clave

1. Unificación: Primer compresor ligero que soporta nativamente imágenes, texto, voz, datos táctiles, genéticos y de bases de datos en un solo modelo.
2. Eficiencia: Logra un rendimiento de compresión superior o comparable a los métodos más avanzados (SOTA) utilizando una fracción de los parámetros (ej. 4.8M a 152M vs. modelos de 8B de Llama3).
3. Despliegue en el Borde: Diseñado para funcionar en tiempo casi real en dispositivos con recursos limitados (CPU de MacBook, NPU de iPhone), alcanzando velocidades de 0.1 a 1 MB/s.
4. Arquitectura Innovadora: Combina tokenización unificada reversible con mecanismos de enrutamiento MoE específicos para capturar la heterogeneidad de las modalidades.

4. Resultados Experimentales

El modelo se evaluó en 16 conjuntos de datos cubriendo 7 modalidades.

• Rendimiento de Compresión:
  • Imágenes y Datos Táctiles: OmniZip supera a compresores clásicos (gzip, zstd) en un 42% - 57% en eficiencia. En el conjunto de datos TouchandGo, OmniZip-L alcanza 0.987 bits/Byte, superando a métodos especializados.
  • Texto y Bases de Datos: En enwik9, OmniZip-L logra 0.980 bits/Byte, superando a gzip en un 62% y compitiendo con métodos basados en LLMs masivos.
  • Voz: En LibriSpeech, mejora a FLAC en un 15-23% y a gzip en un 36-42%.
• Velocidad y Eficiencia:
  • En una GPU NVIDIA A100, alcanza velocidades de hasta 4 MB/s.
  • En dispositivos de borde (MacBook CPU, iPhone NPU), mantiene velocidades de ~1 MB/s, permitiendo inferencia casi en tiempo real.
• Comparativa: OmniZip logra un mejor equilibrio entre parámetros y rendimiento que los compresores basados en LLMs (como Llama3-8B), que son demasiado lentos y pesados para uso práctico.

5. Significado e Impacto

OmniZip representa un avance significativo hacia la compresión universal sin pérdida. Su capacidad para manejar múltiples modalidades con un único modelo ligero elimina la necesidad de desplegar múltiples compresores especializados, reduciendo la huella de software y hardware.

Es especialmente relevante para:

• Dispositivos de Borde (Edge AI): Permite la compresión eficiente en teléfonos móviles y laptops sin depender de la nube.
• Aplicaciones Multimodales Futuras: Facilita el almacenamiento y transmisión de datos complejos (como robots táctiles, diagnósticos médicos y genómica) en un formato unificado y optimizado.
• Sostenibilidad: Al reducir drásticamente los parámetros y la energía computacional necesaria para la compresión, contribuye a una IA más eficiente energéticamente.

El código fuente ha sido liberado públicamente, fomentando la reproducibilidad y el desarrollo futuro en este campo.