⚡ electrical engineering

MoECodec: Image Compression for joint human and machine perception via Mixture-of-Experts

MoECodec es un marco de compresión de imágenes sensible a los tokens que integra una arquitectura de Mezcla de Expertos con una estrategia de enrutamiento estable y un ligero Group Shuffle MLP para adaptar dinámicamente la computación según el contenido de entrada y los objetivos de la tarea, logrando así un rendimiento superior tanto en tareas de percepción humana como de máquina dentro de un único modelo unificado.

Autores originales: Jiancheng Zhao, Xiang Ji, Yifan Zhan, Zunian Wan, Yinqiang Zheng

Publicado 2026-06-23

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jiancheng Zhao, Xiang Ji, Yifan Zhan, Zunian Wan, Yinqiang Zheng

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca gigante de fotos. Tradicionalmente, cuando queremos encoger estas fotos para ahorrar espacio (compresión), utilizamos un enfoque de "talla única". Tratamos cada píxel de la imagen exactamente de la misma manera, suavizando el césped, el cielo y el texto de un letrero con el mismo nivel de cuidado.

Pero aquí está el problema: Los humanos y las máquinas ven el mundo de forma diferente.

Los humanos se preocupan por los colores suaves y las texturas naturales.
Las máquinas (como la IA que conduce un coche o identifica una enfermedad) se preocupan por formas, bordes y detalles semánticos específicos. No les importa si el césped es perfectamente suave; les importa que la "señal de stop" esté claramente definida.

El artículo presenta MoECodec, una nueva forma de comprimir imágenes que actúa como un equipo de especialistas inteligente y dinámico en lugar de un trabajador único y rígido.

La idea central: El "Equipo de Especialistas" (Mezcla de Expertos)

Piensa en un modelo de compresión de imágenes estándar como un único chef intentando cocinar un banquete masivo. Corta cada verdura exactamente de la misma forma, ya sea una hierba delicada o una patata dura. Esto es ineficiente y a menudo no da en el clavo.

MoECodec reemplaza a ese chef único con un equipo de cuatro chefs especializados (Expertos) trabajando en la misma cocina.

El Experto 1 podría ser excelente preservando bordes afilados (perfecto para la visión de máquinas).
El Experto 2 podría ser excelente suavizando colores (perfecto para los ojos humanos).
Los Expertos 3 y 4 tienen sus propias habilidades únicas.

La magia no es solo tener el equipo; es el Gerente (El Enrutador/Router).
En los sistemas antiguos, el gerente obligaba a que cada píxel fuera cortado por el mismo chef. En MoECodec, el Gerente mira cada pequeña pieza de la imagen (llamada "token") y pregunta: "¿Qué necesita esta pieza específica ahora mismo?"

Si el token es parte de la matrícula de un coche, el Gerente lo envía al "Experto en Bordes Afilados".
Si el token es parte de un cielo borroso, el Gerente lo envía al "Experto en Colores Suaves".

Esto significa que la computadora solo utiliza el "chef" específico necesario para esa parte particular de la imagen, ahorrando energía y tiempo.

Resolviendo el problema del "Caos"

Los autores se dieron cuenta de que si simplemente dejaban que estos expertos eligieran su propio trabajo de forma aleatoria, los resultados parecerían estática de un televisor antiguo (ruidosos y fragmentados). Un experto podría tomar un píxel aquí, y otro toma el píxel que está justo al lado, creando un mosaico desordenado.

Para solucionar esto, introdujeron dos reglas ingeniosas:

La regla de "Elección del Experto": En lugar de que los píxeles elijan a los expertos, los expertos eligen los píxeles. Imagina que el "Experto en Bordes Afilados" escanea toda la imagen y dice: "¡Yo reclamo todos los bordes!". Esto asegura que todos los bordes sean manejados por el mismo experto, creando un plan suave y coherente en lugar de uno caótico.
La regla del "Vecindario": Añadieron una regla que dice: "Si estás manejando un píxel, probablemente deberías manejar también a tus vecinos". Esto evita el ruido de "sal y pimienta" y asegura que una región completa (como un árbol) sea procesada por el mismo especialista.

El truco "Ligero"

Normalmente, tener un equipo de expertos hace que el sistema sea enorme y lento porque tienes que almacenar la capacidad cerebral de todos ellos. Los autores solucionaron esto con un MLP de Mezcla de Grupos (Group Shuffle MLP).

Piensa en esto como un sistema de turnos rotativos. En lugar de dar a cada experto un cerebro completo y separado (lo cual es costoso), les dan un conjunto de herramientas modular y compartido. Dividen el trabajo en grupos pequeños, barajan las herramientas entre los grupos y dejan que los expertos trabajen de manera eficiente sin necesidad de una cantidad masiva de memoria. Esto mantiene el sistema lo suficientemente pequeño como para ejecutarse en dispositivos reales, siendo al mismo tiempo potente.

¿Qué descubrieron?

El artículo probó este sistema en dos frentes:

Visión Humana: Cuando intentaron que las imágenes se vieran bien para los humanos, MoECodec lo hizo mejor que los métodos anteriores, ahorrando más espacio mientras mantenía la imagen clara.
Visión de Máquina: Cuando probaron el sistema en tareas como el reconocimiento de objetos o la detección de coches, la máquina funcionó significativamente mejor que antes. Debido a que el sistema sabía exactamente qué partes de la imagen eran importantes para la máquina, no desperdició espacio en detalles irrelevantes.

La Conclusión

MoECodec es como actualizar de una línea de montaje de fábrica donde cada coche recibe el mismo trabajo de pintura, a un taller personalizado.

Observa cada pequeña parte de la imagen.
Decide qué especialista es el mejor para esa parte específica.
Hace esto de una manera que mantiene a todo el equipo organizado y las herramientas ligeras.

El resultado es un sistema único y listo que puede comprimir imágenes perfectamente tanto para los ojos humanos como para los cerebros de las máquinas, sin necesidad de construir un sistema separado y costoso para cada tarea.

Resumen Técnico: MoECodec

Declaración del Problema

La compresión de imágenes orientada a máquinas ha emergido como un área de investigación crítica para dar soporte a tareas de visión computacional descendentes, tales como la clasificación, detección y segmentación. Sin embargo, los enfoques existentes enfrentan limitaciones significativas:

Diseños Específicos de Tarea: La optimización de extremo a extremo para tareas específicas a menudo requiere pares de codificador-decodificador dedicados o arquitecturas de múltiples ramas, lo que conduce a una sobrecarga sustancial de parámetros y complejidad de despliegue.
Adaptación Basada en Transferencia: Los métodos que adaptan códecs base orientados a humanos utilizando pequeños parámetros entrenables (por ejemplo, adaptadores) permanecen conectados externamente y dependen de heurísticas específicas de la tarea en lugar de ser aprendidos intrínsecamente dentro de un modelo unificado.
Patrones de Computación Estáticos: Ambas líneas de trabajo aplican mayoritariamente transformaciones uniformes en todos los tokens de la imagen. Esto no tiene en cuenta el hecho de que diferentes regiones de la imagen exhiben diferencias marcadas en importancia semántica y complejidad para la percepción de la máquina, lo que conduce a una asignación ineficiente de recursos.

Metodología

Los autores proponen MoECodec, un marco de compresión de imágenes unificado que integra la Mezcla de Expertos (MoE) a nivel de token en modelos de Compresión de Imágenes Aprendida (LIC) basados en transformers. La innovación central es reemplazar las capas de Redes de Propagación hacia Adelante (FFN) estándar en los bloques de los transformers por capas MoE, permitiendo una computación dinámica a nivel de token condicionada al contenido de entrada y a los objetivos de la tarea.

Componentes Arquitectónicos Clave

Integración de MoE a Nivel de Token:
- MoECodec reemplaza las capas FFN tanto en el codificador como en el decodificador de los backbones de LIC basados en transformers (por ejemplo, TIC, TinyLIC, TCM).
- Los tokens de entrada son dirigidos adaptativamente hacia redes de expertos especializadas, permitiendo que el modelo soporte objetivos perceptuales heterogéneos dentro de un único modelo unificado.
Estrategia de Enrutamiento (Expert-Choice + Regularización Espacial):
- Desafío: Los modelos de LIC basados en Transformers estándar suelen utilizar una tokenización fina (por ejemplo, parches de 1×1). Un enrutamiento de elección de token (TC) ingenuo conduce a asignaciones de expertos ruidosas y fragmentadas (artefactos de sal y pimienta) debido a la falta de contexto espacial.
- Solución: Los autores adoptan el enrutamiento de Elección de Experto (EC - Expert-Choice), donde cada experto selecciona activamente sus top- $k$ tokens preferidos de toda la secuencia. Esto invierte la perspectiva de la decisión, permitiendo que los expertos consideren el contexto global y asegurando una utilización equilibrada sin pérdidas auxiliares de balanceo de carga.
- Regularización de Varianza Total Espacial (TV): Para abordar además las inconsistencias espaciales locales en el enrutamiento EC, se añade un término de regularización de TV espacial a la pérdida de entrenamiento. Este penaliza las variaciones de alta frecuencia en los mapas de afinidad de expertos espaciales, fomentando asignaciones de expertos coherentes y suavemente segmentadas.
Arquitectura de Experto Ligera (Group Shuffle MLP):
- Desafío: Reemplazar las FFN con $E$ expertos independientes suele introducir una sobrecarga de parámetros de $E\times$ , lo cual es prohibitivo para modelos de compresión donde las FFN dominan el recuento de parámetros. Simplemente reducir el tamaño del experto degrada las capacidades de agregación de canales.
- Solución: Los autores proponen el Group Shuffle MLP (GShMLP). Esta arquitectura particiona los canales de entrada en $G$ grupos y aplica proyecciones lineales independientes dentro de cada grupo. Se inserta un intercambio de canales (channel shuffle) sin parámetros entre las dos capas de proyección para restaurar la interacción entre canales. Este diseño reduce significativamente la complejidad de los parámetros manteniendo una agregación de canales efectiva.

Contribuciones Clave

Marco Unificado: MoECodec es el primer marco de LIC unificado que integra MoE a nivel de token en códecs basados en transformers, permitiendo que un solo modelo optimice conjuntamente la calidad de reconstrucción y múltiples tareas de visión de máquina.
Abordaje de Desafíos Específicos de LIC: El artículo identifica y resuelve dos desafíos específicos de la introducción de MoE en LIC:
- Discontinuidad Espacial: Resuelto mediante enrutamiento de Elección de Experto combinado con Regularización de Varianza Total Espacial.
- Sobrecarga de Parámetros: Resuelto mediante la arquitectura ligera de Group Shuffle MLP (GShMLP).
Asignación Dinámica de Computación: El marco establece un paradigma de computación dinámica donde los objetivos de tareas heterogéneas se acomodan intrínsecamente, permitiendo al modelo centrar la computación en las regiones relevantes para la tarea.

Resultados Experimentales

Experimentos extensos demuestran mejoras consistentes sobre bases sólidas tanto en reconstrucción como en tareas de máquina.

Reconstrucción de Imágenes: Aplicado a tres backbones basados en transformers (TIC, TinyLIC, TCM), MoECodec logró mejoras de BD-Rate del 11.54%, 8.12% y 6.42% respectivamente en el conjunto de datos Kodak (PSNR), mientras reducía simultáneamente el total de parámetros.
Tareas de Visión de Máquina Descendentes: Usando TIC como base, MoECodec superó a las bases Full Finetune, TransTIC y AdaptICMH:
- Clasificación (ImageNet-1K): Mejora de BD-Rate del 7.74%.
- Detección de Objetos (COCO): Mejora de BD-Rate del 8.98%.
- Segmentación de Instancias (COCO): Mejora de BD-Rate del 9.72%.
Eficiencia: MoECodec redujo los parámetros activados de 7.51M a 6.25M y logró una latencia de inferencia de 142ms en una RTX 4090, superando al TIC original (155ms) por un 8.4%.
Estudios de Ablación:
- Cambiar de enrutamiento de Elección de Token a Elección de Experto mejoró el BD-Rate del 19.57% al 15.90%.
- Añadir regularización de TV espacial redujo aún más el BD-Rate a 15.44%.
- GShMLP proporcionó un mejor equilibrio entre eficiencia y rendimiento que la reducción de las tasas de expansión de FFN.
- Colocar las capas MoE tanto en el codificador como en el decodificador produjo el mejor rendimiento.

Significado y Reivindicaciones

El artículo afirma que MoECodec ofrece un enfoque novedoso para el entrenamiento de códecs multitarea de extremo a extremo, alejándose de los paradigmas de entrenamiento personalizados estáticos y específicos de cada tarea. Al permitir una asignación de computación dinámica y de activación dispersa, el marco permite que un solo modelo se adapte para centrar los recursos computacionales en regiones semánticamente importantes para tareas específicas. Los autores sostienen que este enfoque equilibra con éxito la relación entre el costo del modelo (parámetros y latencia) y el rendimiento, tanto para la percepción humana (reconstrucción) como para las tareas de visión de máquina, demostando que la granularidad a nivel de token es efectiva para la computación heterogénea en la compresión de imágenes multitarea.