💻 computer science

MixCompress: Mixture of Experts for Variable Rate Learned Image Compression

MixCompress es un marco de compresión de imágenes de tasa variable unificado que supera el entrelazamiento de características y los cuellos de botella computacionales mediante la integración de enrutamiento de Mezcla de Expertos disperso, una extensión dinámica de Mezcla de Profundidades para capacidad escalable y Transformaciones Auxiliares Condicionales, logrando un rendimiento que iguala o supera al de los modelos de tasa única optimizados individualmente.

Autores originales: Calvin-Khang Ta, Praneet Singh, Tong Shao, Peng Yin

Publicado 2026-07-17

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Calvin-Khang Ta, Praneet Singh, Tong Shao, Peng Yin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enviar una foto a un amigo, pero tienes un límite estricto de cuántos datos puedes enviar. Si quieres enviar una miniatura diminuta y borrosa, puedes comprimir el archivo fuertemente. Si quieres enviar una obra maestra de alta definición y cristalina, necesitas enviar muchos más datos. En el mundo de la "Compresión de Imágenes Aprendida", los modelos de IA inteligentes utilizan formas de calcular la mejor manera de encoger estas fotos sin perder demasiada calidad. Piensa en estos modelos de IA como chefs superinteligentes que saben exactamente cómo picar, mezclar y empaquetar ingredientes (píxeles) para que quepan en una fiambrera (el archivo).

Durante mucho tiempo, estos chefs de IA tuvieron un problema importante: necesitaban un chef completamente diferente y separado para cada tamaño de fiambrera. Si querías una miniatura diminuta, necesitabas al Chef Diminuto. Si querías un póster gigante, necesitabas al Chef Gigante. Esto significaba almacenar docenas de diferentes "libros de recetas" (modelos) en tu teléfono o servidor, lo cual ocupaba mucho espacio y era un dolor de cabeza de gestionar. Los científicos intentaron solucionar esto enseñando a un "Súper Chef" a cocinar para todos los tamaños a la vez. Hicieron esto dándole al chef un dial para subir o bajar el sabor. Pero aquí está el truco: intentar hacer una sopa perfecta para un cuenco pequeño y un banquete masivo al mismo tiempo solía confundir al chef. Las instrucciones para "hacerlo suave y simple" (para tamaños pequeños) chocaban con las de "mantener cada detalle diminuto nítido" (para tamaños grandes), lo que resultaba en una comida que no era gran cosa en ninguno de los dos casos.

Aquí es donde el nuevo artículo, MixCompress, viene al rescate. Los investigadores, trabajando en Dolby Laboratories, se dieron cuenta de que en lugar de obligar a un solo chef a hacerlo todo mal, deberían construir una cocina con un equipo de expertos especializados que puedan intervenir solo cuando sea necesario. Crearon un sistema donde la IA no solo gira un dial; de hecho, intercambia partes de su cerebro dependiendo de qué tan grande deba ser la foto.

Así es como funciona su cocina mágica:

El Equipo de Expertos (Mixture of Experts)
Imagina un proyecto escolar donde tienes un grupo de amigos. Para un póster sencillo, solo necesitas a dos personas para dibujar el fondo. Pero para un mapa complejo y detallado, necesitas a todo el equipo, incluyendo a la persona que es excelente con los detalles diminutos. MixCompress utiliza una "Mezcla de Expertos" (Mixture of Experts, MoE). Tiene un cerebro principal que maneja lo básico para todos, pero también tiene un equipo de subredes "expertas" especializadas. Cuando la computadora necesita comprimir una foto para un tamaño de archivo pequeño, solo activa a los expertos que son buenos suavizando las cosas. Cuando necesita un archivo enorme y detallado, activa a los expertos que están obsesionados con preservar cada pequeño cabello y textura. Crucialmente, estos expertos no trabajan todos al mismo tiempo; el sistema elige a los mejores para el trabajo. Esto evita la "confusión" donde las instrucciones para una imagen borrosa arruinan las instrucciones para una imagen nítida.

El Equipo de Profundidad (Mixture of Depths)
A veces, incluso elegir los expertos adecuados no es suficiente; podrías necesitar más capacidad cerebral para los trabajos más difíciles. Los autores añadieron una característica llamada "Mezcla de Profundidades" (Mixture of Depths, MoD). Piensa en esto como una escalera. Para tareas fáciles, los datos toman un camino corto y rápido a través de la cocina. Para las tareas más difíciles y detalladas, los datos se dirigen a través de un camino más largo y profundo con más pasos y más potencia de procesamiento. Esto permite que el sistema aumente su capacidad cerebral exactamente cuando se necesita, sin desperdiciar energía en fotos simples.

El Sazonado Dinámico (Conditional Auxiliary Transforms)
Finalmente, el equipo añadió una herramienta especial llamada "Transformaciones Auxiliares Condicionales" (Conditional Auxiliary Transforms, CAT). Imagina que, mientras el chef principal está cocinando, un subchef está probando constantemente la sopa y añadiendo la cantidad justa de sal o pimienta según el tamaño del cuenco. En el caso de la computadora, esta herramienta ajusta la energía de diferentes partes de la imagen (como el cielo suave frente al césped ruidoso) basándose en el tamaño de archivo objetivo. Ayuda al sistema a decidir qué conservar y qué desechar de manera más eficiente, actuando como un filtro inteligente que cambia sus ajustes automáticamente.

Los Resultados
Los investigadores probaron este nuevo sistema con miles de imágenes. Descubrieron que MixCompress no solo resolvió el problema de tener demasiados modelos; de hecho, hizo que las imágenes fueran mejores. Al usar este equipo de expertos especializados, el sistema pudo manejar todos los diferentes tamaños de archivo en un solo modelo sin la "confusión" que plagaba a los métodos anteriores. De hecho, el modelo único de MixCompress funcionó tan bien que a menudo superó al antiguo método de tener chefs individuales entrenados para cada tamaño.

El artículo muestra que, al permitir que la IA cambie entre diferentes "cerebros" especializados y ajuste su propia profundidad, podemos obtener imágenes de alta calidad en cualquier tamaño sin necesidad de almacenar una enorme biblioteca de diferentes modelos. Es una forma más inteligente y flexible de empaquetar nuestras fotos digitales, demostrando que, a veces, tener un equipo de especialistas es mucho mejor que intentar ser un experto en todo.

Resumen Técnico: MixCompress

Planteamiento del Problema

La Compresión de Imágenes Aprendida (LIC, por sus siglas en inglés) ha logrado un alto rendimiento mediante la optimización conjunta de transformadas no lineales y modelos de entropía. Sin embargo, los modelos de LIC de vanguardia suelen requerir redes separadas e entrenadas independientemente para cada punto de operación de tasa-distorsión. Esto conlleva un sobrecoste significativo de almacenamiento, mayores costes de entrenamiento y complejidad en el despliegue.

Los enfoques actuales de Tasa de Bit Variable (VBR) intentan unificar estos puntos de operación dentro de un único modelo condicionando un backbone denso compartido a un parámetro de tasa (por ejemplo, mediante escalado de ganancia latente o transformaciones afines). El artículo identifica un fallo fundamental en esta estrategia de "modulación de parámetros densos": el conflicto de gradientes.

El Conflicto: La optimización de baja tasa de bits requiere un suavizado agresivo para reducir la tasa de bits, mientras que la optimización de alta tasa de bits requiere la preservación de detalles texturales de alta frecuencia.
La Consecuencia: Forzar a un backbone compartido a aproximar estos mapeos divergentes provoca un "entrelazamiento de características" (feature entanglement). Los gradientes de las muestras de baja tasa interfieren destructivamente con los parámetros necesarios para la reconstrucción de alta fidelidad, lo que conduce a un rendimiento subóptimo que no alcanza al de los modelos de tasa única optimizados individualmente.

Metodología

Los autores proponen MixCompress, un marco de trabajo VBR unificado que reemplaza la modulación de parámetros densos por una especialización estructural dispersa. La arquitectura integra tres componentes principales:

1. Enrutamiento Estructural Disperso (MoE y MoD)

En lugar de modular todos los parámetros, MixCompress reemplaza las capas de cuello de botella en la transformada de análisis, la transformada de síntesis y las redes de hiperprior con módulos de Mezcla de Expertos (MoE).

Mecanismo: Una red de compuerta (gating network), condicionada únicamente al embedding de la tasa ( $\lambda_e$ ), enruta las características de entrada a un subconjunto de $K$ expertos de un total de $N$ expertos.
Experto Compartido: Un experto global compartido ( $E_{global}$ ) está siempre activo para asegurar un flujo de información estable para características universalmente útiles.
Mitigación de Gradientes: Al aislar las trayectorias de optimización de diferentes tasas en subspaces de expertos separados, el marco mitiga la interferencia de gradientes. El producto escalar de los gradientes para tasas en conflicto está estrictamente limitado por la intersección de los expertos activos, desplazando la dinámica de optimización hacia la ortogonalidad.
Mezcla de Profundidad (MoD): Para abordar las mayores demandas de representación de las tasas de bits más altas, los autores introducen una extensión de MoD. En esta variante, los expertos no solo están especializados en parámetros, sino también en profundidad. Las muestras de alta tasa son enrutadas a redes de expertos más profundas y complejas (bloques Bi-RWKV o convolucionales apilados), escalando dinámicamente la capacidad del modelo según la tasa objetivo.

2. Transformadas Auxiliares Condicionales (CAT)

Para complementar el enrutamiento estructural, los autores introducen las Transformadas Auxiliares Condicionales (CAT), una extensión de los atajos basados en ondículas (AuxT).

Función: CAT realiza una transformada de ondícula discreta (DWT) de Haar 2D sobre las características intermedias, descomponiéndolas en subbandas de frecuencia (LL, LH, HL, HH).
Adaptabilidad de Tasa: A diferencia de los atajos estáticos, CAT utiliza una cabeza FiLM (Feature-wise Linear Modulation) para generar parámetros de escalado ( $\gamma_\lambda, \beta_\lambda$ ) condicionados al embedding de la tasa $\lambda_e$ .
Efecto: Esto permite la modulación dinámica de la energía de las subbandas. Los regímenes de baja tasa se benefician de una mayor compactación de energía, mientras que los regímenes de alta tasa preservan detalles más finos, todo ello sin alterar el modelo de entropía principal ni el flujo de codificación aritmética.

3. Eficiencia de Inferencia

Una restriccia de diseño crítica es que las redes de compuerta y las modulaciones CAT dependen estrictamente del embedding de la tasa $\lambda_e$ , el cual es independiente de la imagen de entrada $x$ .

Cero Sobrecarga: En consecuencia, la selección de expertos y los parámetros de modulación pueden precomputarse y almacenarse en una tabla de búsqueda (lookup table) antes de la inferencia. Esto introduce cero sobrecarga de enrutamiento durante el proceso real de codificación/decodificación, ya que los parámetros de la red no necesitan recomputarse por cada imagen.

Principales Contribuciones

Marco VBR Unificado: MixCompress logra una nueva frontera de Pareto para la codificación de imágenes computacionalmente eficiente, igualando o superando los modelos de tasa única optimizados individualmente mientras utiliza un único modelo unificado.
Resolución del Conflicto de Gradientes: El artículo demuestra que el enrutamiento estructural disperso (MoE/MoD) resuelve eficazmente la interferencia de gradientes inherente a los métodos de modulación densa, como lo evidencia el análisis de similitud de coseno de gradiente por capa, que se desplaza hacia la ortogonalidad.
Escalado Dinámico de Capacidad: La extensión MoD permite que el modelo expanda dinámicamente su capacidad de representación (mediante la profundidad) para tareas de alta tasa de bits, abordando una limitación de los modelos MoE de capacidad fija.
ే4. Eficiencia de Despliegue: El marco reduce significativamente la sobrecarga de almacenamiento. Por ejemplo, un único modelo MixCompress-MoD cubre la misma curva de tasa-distorsión que seis modelos de tasa única entrenados independientemente, pero requiere solo ~156M de parámetros totales (con ~120M activos por pasada) en comparación con los ~397M de parámetros requeridos por el conjunto de modelos de tasa única.

Resultados Experimentales

Los autores evaluaron MixCompress en los conjuntos de datos Kodak, CLIC (validación/test profesional) y Tecnick frente a modelos de tasa única de vanguardia (LALIC, LIC-TCM, FAT) y líneas base VBR densas (QRAF, CondConv).

Rendimiento vs. Líneas Base de Tasa Única: Las variantes de MixCompress igualan o superan consistentemente los puntos de control de tasa única optimizados individualmente. Notablemente, MixCompress-LALIC-MoD logró reducciones de BD-rate de -25.73% (CLIC Valid), -28.71% (CLIC Test) y -28.88% (Tecnick) respecto a VTM-23.1, superando por un margen significativo al ancla de tasa única LALIC.
Rendimiento vs. VBR Denso: Las líneas base de modulación densa (QRAF, CondConv) sufrieron una degradación sustancial del rendimiento (entre 3.7 y 12.0 puntos porcentuales peor que la LALIC de tasa única). MixCompress cerró eficazmente esta brecha, e incluso la variante MoD superó a su contraparte de tasa única.
Calidad Visual: Las comparaciones visuales mostraron que los métodos densos no lograron reconstruir detalles de alta frecuencia (por ejemplo, cables finos) en tasas de bits altas debido al exceso de suavizado causado por la interferencia de gradientes de baja tasa. MixCompress preservó con éxito estos detalles.
Eficiencia: A pesar de soportar múltiples tasas, MixCompress fue entrenado durante la misma duración total que un modelo de tasa única. La latencia de inferencia experimentó solo un ligero aumento, mientras que el uso de memoria para el modelo completo se mantuvo manejable en comparación con el almacenamiento de múltiples puntos de control.

Significado y Reivindicaciones

El artículo sostiene que la asignación estructural condicional es fundamentalmente más efectiva que la modulación de pesos densos para la compresión de imágenes de tasa variable. Al desacoplar las trayectoras de optimización de los puntos de tasa competidores mediante el enrutamiento disperso y la adaptación de profundidad dinámica, MixCompress resuelve el "entrelazamiento de características" que históricamente ha limitado a los modelos de VBR unificados.

Los autores afirman que este enfoque establece un nuevo estándar para la compresión de imágenes neuronal práctica, logrando una densidad de representación superior sin un aumento proporcional en el coste de inferencia. El trabajo sugiere que los futuros sistemas VBR deberían priorizar la especialización estructural sobre la simple condicionación de parámetros para realizar plenamente el potencial de la compresión aprendida a través de diversos puntos de operación.