Resumen Técnico: Aprovechamiento de Modelos de Lenguaje Multimodales Grandes para Restauración de Imágenes Todo-en-Uno mediante una Mezcla de Expertos en Frecuencia

Enunciado del Problema

La restauración de imágenes todo-en-uno tiene como objetivo recuperar imágenes limpias a partir de entradas afectadas por degradaciones diversas y desconocidas utilizando un marco unificado. Si bien los métodos recientes han mejorado el rendimiento al identificar las características de las degradaciones, a menudo tratan las degradaciones como categorías discretas. Este enfoque falla al modelar la estructura relacional continua inherente a las degradaciones compuestas (por ejemplo, una imagen con baja iluminación, niebla y lluvia simultáneas donde una degradación es dominante). Las representaciones sensibles a la degradación existentes, a menudo aprendidas mediante objetivos contrastivos, tienden a particionar los tipos de degradación en clústeres aislados, pasando por alto el espectro continuo de degradaciones mixtas. Además, los enfoques actuales que aprovechan los Modelos de Lenguaje Multimodales Grandes (MLLM) dependen frecuentemente únicamente de representaciones textuales de alto nivel, subutilizando el rico conocimiento visual interno codificado dentro de estos modelos, lo que crea una brecha de representación para la reconstrucción detallada a nivel de píxel.

Metodología

Los autores proponen MMFE-IR, un marco que integra un Modelo de Lenguaje Multimodal Grande preentrenado (específicamente Qwen2.5-VL) con una red de restauración de imágenes de bajo nivel. La arquitectura consta de tres componentes principales:

1. Bloque de Fusión Guiado por MLLM (MGFB)

Para cerrar la brecha entre el conocimiento semántico de alto nivel y la restauración de bajo nivel, el marco inyecta características derivadas del MLLM en una columna vertebral de codificador-decodificador (basada en Restormer). El MGFB utiliza un mecanismo de atención cruzada para asignar incorporaciones específicas del MLLM a diferentes etapas de la red:

• Codificador: Recibe $E_{Image}$, una incorporación derivada de la visión contextualizada agrupada a partir de los tokens de imagen del MLLM. Esto fortalece la extracción de características estructurales.
• Decodificador: Recibe $E_{Joint}$, incorporaciones condicionadas por visión-idioma agrupadas a partir de todos los tokens. Esto facilita la reconstrucción consciente de la degradación al incorporar el contexto semántico.
  La fusión se logra mediante una conexión residual donde el mapa de características visuales sirve como consulta y las incorporaciones del MLLM sirven como claves y valores.

2. Mezcla de Expertos en Frecuencia (MoFE)

Reconociendo que las diferentes degradaciones exhiben características de frecuencia distintas, los autores introducen un módulo MoFE que opera en el dominio de la frecuencia en lugar del dominio espacial.

• Descomposición de Frecuencia: La imagen degradada original se descompone utilizando la Transformada Discreta de Ondículas (DWT) en subbandas. El componente de baja frecuencia ($LL$) se excluye, ya que está intrínsecamente capturado por los mecanismos de autoatención en los Transformers. Se procesan las subbandas de alta frecuencia restantes ($LH, HL, HH$).
• Enrutamiento de Expertos: Un conjunto de expertos convolucionales ligeros ($N=8$) procesa estos componentes de alta frecuencia. Un enrutador, guiado por la incorporación textual de alto nivel del MLLM ($E_{Answer}$), predice los pesos de mezcla para estos expertos. Esto permite una composición dinámica para manejar diversas degradaciones.
• Fusión: Las características de frecuencia agregadas se fusionan de nuevo en las características espaciales utilizando Atención Transpuesta de Múltiples Cabezas de Dconv (MDTA), permitiendo que las características espaciales consulten adaptativamente los detalles de alta frecuencia necesarios.

3. Optimización del Enrutador Guiado por MLLM

Para asegurar que el enrutador preserve las relaciones semánticas continuas de las degradaciones capturadas por el MLLM, se introduce una función de pérdida específica.

• Pérdida de Alineación Relacional ($\mathcal{L}_{MGL}$): Esta pérdida calcula la similitud coseno por pares de las incorporaciones de alto nivel del MLLM y la alinea con la similitud por pares de los pesos de salida del enrutador. Esto alienta al enrutador a asignar combinaciones de expertos similares a degradaciones semánticamente similares y combinaciones distintas a degradaciones diferentes, manteniendo la estructura continua del espacio de incorporación.
• Estrategia de Entrenamiento: El modelo emplea una estrategia de entrenamiento progresivo multiescala, aumentando gradualmente la resolución de entrada para estabilizar la optimización del enrutador y mejorar la robustez a través de tamaños de imagen variables.

Contribuciones Clave

1. Modelado Continuo de Degradación: El marco aprovecha las incorporaciones de degradación continuas de los MLLM preentrenados para superar las limitaciones de la discretización rígida de los prompts, permitiendo una captura más precisa de estructuras de degradación complejas.
2. Integración de MGFB: Se introduce un bloque de fusión guiado por MLLM para cerrar la brecha de representación integrando tanto las incorporaciones de visión del MLLM como las incorporaciones condicionadas por visión-idioma directamente en el codificador y decodificador de la red de restauración.
3. Enrutamiento de Expertos en el Dominio de la Frecuencia: Se propone un módulo de Mezcla de Expertos en Frecuencia (MoFE), que utiliza un enrutador guiado por MLLM entrenado con una pérdida de alineación relacional. Esto permite que el modelo aprenda relaciones de degradación distribuidas y combine adaptativamente expertos de frecuencia para degradaciones diversas y compuestas.

Resultados Experimentales

El método fue evaluado en múltiples puntos de referencia, incluido el desafiante conjunto de datos CDD11 para degradaciones compuestas y configuraciones estándar todo-en-uno para degradaciones individuales.

• Degradación Compuesta (CDD11): El método propuesto logró un rendimiento de vanguardia, superando a los métodos anteriores en hasta 1.35 dB en el conjunto de datos CDD11. Demostró una robustez superior en escenarios de degradación doble (por ejemplo, Baja iluminación + Niebla) y triple (por ejemplo, Baja iluminación + Niebla + Lluvia), logrando un PSNR promedio de 30.40 dB y un SSIM de 0.889.
• Puntos de Referencia Todo-en-Uno: El método logró el PSNR promedio más alto (31.44 dB) en la configuración de cinco degradaciones y 32.94 dB en la configuración de tres degradaciones. Mostró una fuerza particular tanto en tareas de baja frecuencia (eliminación de niebla) como en tareas de alta frecuencia (desenfoque).
• Estudios de Ablación: Los experimentos confirmaron que:
  • El uso de $E_{Image}$ para el codificador y $E_{Joint}$ para el decodificador produce un rendimiento óptimo.
  • El módulo MoFE aumenta significativamente el rendimiento (+1.02 dB sobre la línea base) con un aumento mínimo de parámetros.
  • La pérdida guiada por MLLM y el entrenamiento progresivo multiescala son críticos para las ganancias de rendimiento.
  • El MoE en el dominio de la frecuencia supera al MoE en el dominio espacial.
  • El marco permanece robusto incluso al usar MLLMs más pequeños (por ejemplo, FastVLM-0.5B), aunque el MLLM más grande (Qwen2.5-VL-3B) proporciona el mejor equilibrio entre calidad y latencia.

Significado y Afirmaciones

El artículo afirma que MMFE-IR establece un nuevo estado del arte en la restauración de imágenes todo-en-uno, particularmente para degradaciones complejas y compuestas. La importancia del trabajo radica en su exitosa extensión de la guía del MLLM más allá de las meras representaciones textuales para incluir características visuales internas y enrutamiento de expertos en el dominio de la frecuencia. Al preservar las relaciones semánticas continuas de las degradaciones a través del enrutador y la pérdida guiados por MLLM, el marco mitiga eficazmente la brecha de representación que a menudo se encuentra en tareas de visión de bajo nivel. Los autores afirman que este enfoque permite que el modelo maneje la coexistencia y la interacción de múltiples degradaciones con mayor precisión que los métodos que tratan las degradaciones como categorías discretas e aisladas.