Resumo Técnico: Aproveitamento de Modelos de Linguagem Grandes Multimodais para Restauração de Imagens Tudo-em-Um via uma Mistura de Especialistas em Frequência

Declaração do Problema

A restauração de imagens tudo-em-um visa recuperar imagens limpas a partir de entradas afetadas por degradações diversas e desconhecidas, utilizando um framework unificado. Embora métodos recentes tenham melhorado o desempenho ao identificar características de degradação, eles frequentemente tratam as degradações como categorias discretas. Essa abordagem falha em modelar a estrutura relacional contínua inerente a degradações compostas (por exemplo, uma imagem com baixa luminosidade, neblina e chuva simultâneas, onde uma degradação é dominante). Representações sensíveis à degradação existentes, frequentemente aprendidas por meio de objetivos contrastivos, tendem a particionar tipos de degradação em clusters isolados, negligenciando o espectro contínuo de degradações mistas. Além disso, abordagens atuais que aproveitam Modelos de Linguagem Grandes Multimodais (MLLMs) frequentemente dependem exclusivamente de representações textuais de alto nível, subutilizando o rico conhecimento visual interno codificado nesses modelos, o que cria uma lacuna de representação para reconstrução em nível de pixel, fina e granular.

Metodologia

Os autores propõem o MMFE-IR, um framework que integra um Modelo de Linguagem Grande Multimodal pré-treinado (especificamente Qwen2.5-VL) com uma rede de restauração de imagens de baixo nível. A arquitetura consiste em três componentes principais:

1. Bloco de Fusão Guiado por MLLM (MGFB)

Para preencher a lacuna entre o conhecimento semântico de alto nível e a restauração de baixo nível, o framework injeta características derivadas do MLLM em uma espinha dorsal codificador-decodificador (baseada no Restormer). O MGFB utiliza um mecanismo de atenção cruzada para atribuir embeddings específicos do MLLM a diferentes estágios da rede:

• Codificador: Recebe $E_{Image}$, um embedding derivado de visão contextualizado agrupado a partir dos tokens de imagem do MLLM. Isso fortalece a extração de características estruturais.
• Decodificador: Recebe $E_{Joint}$, embeddings condicionados por visão e linguagem agrupados a partir de todos os tokens. Isso facilita a reconstrução consciente da degradação, incorporando contexto semântico.
  A fusão é alcançada por meio de uma conexão residual, onde o mapa de características visuais serve como consulta e os embeddings do MLLM servem como chaves e valores.

2. Mistura de Especialistas em Frequência (MoFE)

Reconhecendo que diferentes degradações exibem características de frequência distintas, os autores introduzem um módulo MoFE operando no domínio da frequência em vez do domínio espacial.

• Decomposição de Frequência: A imagem degradada original é decomposta usando a Transformada Wavelet Discreta (DWT) em sub-bandas. O componente de baixa frequência ($LL$) é excluído, pois é inerentemente capturado por mecanismos de auto-atenção em Transformers. As sub-bandas de alta frequência restantes ($LH, HL, HH$) são processadas.
• Roteamento de Especialistas: Um conjunto de especialistas convolucionais leves ($N=8$) processa esses componentes de alta frequência. Um roteador, guiado pelo embedding textual de alto nível do MLLM ($E_{Answer}$), prevê pesos de mistura para esses especialistas. Isso permite composição dinâmica para lidar com degradações diversas.
• Fusão: As características de frequência agregadas são fundidas de volta às características espaciais usando Atenção Transposta Multi-Cabeça com Múltiplas Convoluções (MDTA), permitindo que as características espaciais consultem adaptativamente os detalhes de alta frequência necessários.

3. Otimização do Roteador Guiado por MLLM

Para garantir que o roteador preserve as relações semânticas contínuas das degradações capturadas pelo MLLM, uma função de perda específica é introduzida.

• Perda de Alinhamento Relacional ($\mathcal{L}_{MGL}$): Esta perda calcula a similaridade cosseno par a par dos embeddings de alto nível do MLLM e alinha-a com a similaridade par a par dos pesos de saída do roteador. Isso incentiva o roteador a atribuir combinações de especialistas semelhantes a degradações semanticamente semelhantes e combinações distintas a degradações diferentes, mantendo a estrutura contínua do espaço de embedding.
• Estratégia de Treinamento: O modelo emprega uma estratégia de treinamento progressivo multi-escala, aumentando gradualmente a resolução de entrada para estabilizar a otimização do roteador e melhorar a robustez em tamanhos de imagem variados.

Principais Contribuições

1. Modelagem Contínua de Degradação: O framework aproveita os embeddings contínuos de degradação de MLLMs pré-treinados para superar as limitações da discretização rígida de prompts, permitindo uma captura mais precisa de estruturas complexas de degradação.
2. Integração do MGFB: Um bloco de fusão guiado por MLLM é introduzido para preencher a lacuna de representação, integrando tanto embeddings de visão do MLLM quanto embeddings condicionados por visão e linguagem diretamente no codificador e no decodificador da rede de restauração.
3. Roteamento de Especialistas no Domínio da Frequência: Um módulo de Mistura de Especialistas em Frequência (MoFE) é proposto, utilizando um roteador guiado por MLLM treinado com uma perda de alinhamento relacional. Isso permite que o modelo aprenda relações de degradação distribuídas e combine adaptativamente especialistas em frequência para degradações diversas e compostas.

Resultados Experimentais

O método foi avaliado em múltiplos benchmarks, incluindo o desafiador conjunto de dados CDD11 para degradações compostas e configurações padrão tudo-em-um para degradações únicas.

• Degradação Composta (CDD11): O método proposto alcançou desempenho de última geração, superando métodos anteriores em até 1,35 dB no conjunto de dados CDD11. Demonstrou robustez superior em cenários de degradação dupla (por exemplo, Baixa luminosidade + Neblina) e tripla (por exemplo, Baixa luminosidade + Neblina + Chuva), alcançando um PSNR médio de 30,40 dB e SSIM de 0,889.
• Benchmarks Tudo-em-Um: O método alcançou o maior PSNR médio (31,44 dB) na configuração de cinco degradações e 32,94 dB na configuração de três degradações. Mostrou força particular tanto em tarefas de baixa frequência (remoção de neblina) quanto em tarefas de alta frequência (desembaçamento).
• Estudos de Ablação: Experimentos confirmaram que:
  • O uso de $E_{Image}$ para o codificador e $E_{Joint}$ para o decodificador produz o desempenho ótimo.
  • O módulo MoFE aumenta significativamente o desempenho (+1,02 dB sobre a linha de base) com aumento mínimo de parâmetros.
  • A perda guiada por MLLM e o treinamento progressivo multi-escala são críticos para ganhos de desempenho.
  • O MoE no domínio da frequência supera o MoE no domínio espacial.
  • O framework permanece robusto mesmo ao usar MLLMs menores (por exemplo, FastVLM-0.5B), embora o maior MLLM (Qwen2.5-VL-3B) forneça o melhor equilíbrio entre qualidade e latência.

Significado e Alegações

O artigo afirma que o MMFE-IR estabelece um novo estado da arte na restauração de imagens tudo-em-um, particularmente para degradações complexas e compostas. O significado do trabalho reside em sua extensão bem-sucedida da orientação por MLLM além de meras representações textuais para incluir características visuais internas e roteamento de especialistas no domínio da frequência. Ao preservar as relações semânticas contínuas das degradações por meio do roteador e da perda guiados por MLLM, o framework mitiga efetivamente a lacuna de representação frequentemente encontrada em tarefas de visão de baixo nível. Os autores afirmam que essa abordagem permite que o modelo lide com a coexistência e interação de múltiplas degradações com maior precisão do que métodos que tratam as degradações como categorias discretas e isoladas.