Training-Free Model Ensemble for Single-Image Super-Resolution via Strong-Branch Compensation

Resumo Técnico: Ensemble de Modelo sem Treinamento para Super-Resolução de Imagem Única via Compensação de Ramo Forte

1. O Problema

A Super-Resolução de Imagem Única (SISR) evoluiu de bases de redes convolucionais profundas para arquiteturas mais potentes baseadas em Transformers e modelos de espaço de estado (como Mamba). No entanto, essas melhorias de desempenho geralmente vêm com custos elevados: maior tempo de treinamento, iterações de engenharia mais longas e uma carga de implantação mais pesada.

Em muitos cenários práticos, múltiplos modelos pré-treinados com comportamentos parcialmente complementares já estão disponíveis. A restrição principal deixa de ser a capacidade arquitetônica e passa a ser como combinar eficazmente as saídas desses modelos existentes sem necessidade de treinamento adicional. O artigo questiona se re-treinar um modelo mais forte é sempre o caminho mais eficiente, propondo que a combinação inteligente de modelos existentes é uma alternativa superior para ganhos incrementais com baixo custo.

2. Metodologia

O artigo propõe um framework de ensemble de nível de saída sem treinamento (training-free). A abordagem utiliza um pipeline de dois ramos assimétricos que processam a mesma imagem de baixa resolução (LR) independentemente e são fundidos no espaço da imagem.

• Ramo Base (Reconstrução Estável):

  • Utiliza uma rede de Atenção Híbrida com inferência TLC (Local Aggregation).
  • Função: Fornecer uma reconstrução estrutural estável e confiável. O TLC é aplicado apenas no momento da inferência para lidar com variações estatísticas locais sem alterar os parâmetros do modelo.
  • Este ramo atua como a "âncora" da previsão final.

• Ramo Forte (Compensação de Detalhes):

  • Utiliza o modelo MambaIRv2 combinado com Self-Ensemble Geométrico (agregando $K=8$ previsões transformadas geometricamente).
  • Função: Fornecer uma modelagem agressiva de altas frequências e recuperar detalhes locais difíceis que o ramo base pode perder.
  • O self-ensemble torna este ramo mais estável, tornando-o ideal como fonte de compensação.

• Fusão (Compensação):

  • A fusão ocorre diretamente no espaço da imagem (nível de saída), não no nível de características.
  • A imagem final ($I_{SR}$) é calculada como uma combinação linear ponderada:
    $$I_{SR} = (1 - \alpha)I_{base} + \alpha I_{strong}$$
  • Onde $\alpha \in [0, 1]$ é um peso escalar.
  • Vantagens: Não há atualização de parâmetros, não há módulos de fusão treináveis e a contribuição do ramo forte é controlável e interpretável através de $\alpha$.

3. Contribuições Principais

1. Framework sem Treinamento: Apresenta um método que atualiza sistemas de SR existentes sem re-treinar nenhum parâmetro ou introduzir módulos treináveis adicionais.
2. Design Assimétrico: Explicitamente formula o ramo forte não como um par simétrico, mas como uma fonte de compensação para corrigir o resultado base. Isso melhora a interpretabilidade e a clareza na implantação.
3. Validação Empírica: Demonstra que mesmo uma pequena injeção do ramo forte (peso $\alpha$ baixo) gera ganhos mensuráveis, e que a combinação supera o modelo forte isolado em pontos operacionais específicos.
4. Desempenho em Competição: O método foi a solução da equipe "wedream" para o Desafio NTIRE 2026 de Super-Resolução de Imagem (×4), onde alcançou a 2ª colocação.

4. Resultados

Os experimentos foram conduzidos sob um protocolo unificado de avaliação DIV2K bicúbico ×4 em 200 imagens.

• Métricas Quantitativas:

  • Ramo Base (Hybrid + TLC): 29.17 dB (PSNR) / 0.8548 (SSIM).
  • Ramo Forte (MambaIRv2 + Self-Ensemble): 30.35 dB (PSNR) / 0.8805 (SSIM).
  • Método Proposto (Ours): 30.35 dB (PSNR) / 0.8804 (SSIM).
  • Ganhos: O método proposto superou o ramo base em 1.18 dB de PSNR. Curiosamente, ele superou ligeiramente o ramo forte puro em PSNR (30.3527 vs 30.3451) no melhor ponto de operação (peso $\alpha \approx 0.89$), indicando que o ramo base contribui com informações complementares que o modelo forte sozinho não captura totalmente.

• Análise Visual:

  • As comparações qualitativas mostram que o resultado compensado preserva a estrutura global do ramo base enquanto absorve a recuperação de textura local mais forte do MambaIRv2.
  • Os ganhos são visíveis em padrões repetitivos, bordas locais e continuidade de textura, sem introduzir artefatos indiscriminados.

• Análise de Ponderação:

  • A curva de desempenho mostra que ganhos mensuráveis ocorrem mesmo com pequenas injeções do ramo forte. O ponto ótimo de PSNR ocorre em $\alpha = 0.89$, enquanto o SSIM atinge seu pico em torno de $\alpha = 0.92$, demonstrando robustez e não exigindo um ótimo estreito e frágil.

5. Significado e Conclusão

O trabalho demonstra que a compensação de nível de saída é um caminho prático e de baixo custo para atualizar sistemas de super-resolução em cenários de implantação real.

• Praticidade: Permite que usuários com modelos já implantados melhorem a qualidade sem a necessidade de novos dados de treinamento, ajuste fino ou alteração de pesos pré-treinados.
• Custo: A desvantagem é o aumento da latência de inferência (devido à execução de dois ramos), posicionando o método como uma atualização orientada à qualidade em vez de uma substituição focada em velocidade.
• Impacto: O sucesso no desafio NTIRE 2026 valida que a combinação inteligente de modelos heterogêneos pré-treinados pode superar a busca por arquiteturas únicas cada vez mais complexas, oferecendo uma solução robusta para a recuperação de detalhes em imagens de baixa qualidade.