Training-Free Model Ensemble for Single-Image Super-Resolution via Strong-Branch Compensation

Resumen Técnico: Ensemble de Modelos sin Entrenamiento para Super-Resolución de Imagen Única

1. El Problema

La Super-Resolución de Imagen Única (SISR) ha evolucionado desde arquitecturas basadas en convoluciones profundas hacia modelos más potentes como Transformers (SwinIR, HAT) y modelos de espacio de estado (MambaIR). Sin embargo, estos avances suelen implicar costos de entrenamiento más altos, ciclos de ingeniería más largos y una mayor carga de despliegue.

En muchos escenarios prácticos, ya existen múltiples modelos preentrenados con sesgos inductivos parcialmente complementarios. La restricción actual no es la capacidad arquitectónica en sí, sino cómo combinar eficazmente las salidas de estos modelos existentes sin necesidad de un entrenamiento adicional. El reto consiste en mejorar un sistema de super-resolución desplegado sin reentrenar parámetros ni introducir módulos de fusión aprendibles, manteniendo la viabilidad de implementación.

2. Metodología

El artículo propone un marco de ensemble a nivel de salida (output-level ensemble) sin entrenamiento, basado en un pipeline de doble rama asimétrica. El sistema no modifica los pesos de los modelos preexistentes ni aprende nuevos parámetros.

• Arquitectura General:

  • Se procesa la misma imagen de baja resolución ($I_{LR}$) de forma independiente a través de dos ramas.
  • La fusión final ocurre en el espacio de la imagen mediante una combinación ponderada ligera.

• Rama Base (Reconstrucción Estable):

  • Modelo: Red de atención híbrida con inferencia TLC (Transformación de Agregación Local a Global).
  • Función: Proporciona una reconstrucción estructural estable y fiable. No busca la máxima nitidez de detalles, sino servir como un "ancla" estructural sólida.
  • Salida: $I_{base} = F^{TLC}_{b}(I_{LR})$.

• Rama Fuerte (Compensación de Detalles):

  • Modelo: MambaIRv2 combinado con un ensemble geométrico (self-ensemble) con $K=8$ transformaciones.
  • Función: Actúa como una fuente de compensación agresiva para la recuperación de detalles de alta frecuencia y texturas difíciles. El ensemble geométrico estabiliza las predicciones de esta rama fuerte.
  • Salida: $I_{strong} = \frac{1}{K} \sum_{k=1}^{K} T^{-1}_k(F_s(T_k(I_{LR})))$.

• Mecanismo de Fusión (Compensación):

  • El resultado final ($I_{SR}$) se calcula mediante una suma ponderada simple en el espacio de píxeles:
    $$I_{SR} = (1 - \alpha)I_{base} + \alpha I_{strong}$$
  • Donde $\alpha \in [0, 1]$ es un peso escalar fijo.
  • Filosofía Asimétrica: La rama fuerte no reemplaza a la base, sino que la "compensa" o corrige. Esto evita la complejidad de aprender una fusión de características y mantiene la interpretabilidad del sistema.

3. Contribuciones Clave

1. Marco de Compensación sin Entrenamiento: Presentan un método que mejora sistemas SR existentes sin reentrenar ningún parámetro ni añadir módulos entrenables.
2. Diseño Asimétrico e Interpretativo: Formulan explícitamente la rama fuerte como una fuente de compensación para detalles difíciles, en lugar de tratar ambas ramas como pares simétricos. Esto mejora la claridad en el despliegue y el análisis.
3. Validación Empírica: Demuestran que incluso una inyección pequeña de la rama fuerte genera ganancias medibles. El método fue validado externamente en el Reto NTIRE 2026 de Super-Resolución (x4), donde el equipo "wedream" obtuvo el 2º lugar con un PSNR de 33.47 dB y SSIM de 0.9105.

4. Resultados

Las evaluaciones se realizaron bajo un protocolo unificado de DIV2K bicúbico x4 en 200 imágenes (índices 0801-1000).

• Comparación Cuantitativa:
  • Rama Base (Hybrid + TLC): 29.17 dB / 0.8548 SSIM.
  • Rama Fuerte (MambaIRv2 + Self-ensemble): 30.35 dB / 0.8805 SSIM.
  • Método Propuesto (Compensado): 30.35 dB / 0.8804 SSIM (con $\alpha \approx 0.89$ para la rama fuerte).
• Hallazgos:
  • El método supera consistentemente a la rama base (mejora de ~1.18 dB en PSNR).
  • Supera ligeramente a la rama fuerte pura en PSNR en el punto óptimo, lo que indica que la rama base aporta información complementaria (estructura global) que la rama fuerte por sí sola no cubre completamente.
  • Análisis de Pesos: La curva de rendimiento muestra que las mejoras son robustas en un amplio intervalo de pesos, no requiriendo un óptimo frágil. Un peso de la rama fuerte de 0.89 ofrece el mejor PSNR, mientras que 0.92 ofrece el mejor SSIM.
• Resultados Cualitativos: Las imágenes recuperadas mantienen la estructura global de la rama base pero incorporan una recuperación de texturas y bordes locales superior de la rama fuerte, evitando la sobre-agresividad o artefactos que a veces produce el modelo fuerte solo.

5. Significado e Impacto

• Viabilidad de Despliegue: Ofrece una ruta de actualización de "bajo costo" para sistemas SR ya desplegados. No requiere nuevos datos de entrenamiento ni reentrenamiento costoso.
• Eficiencia vs. Calidad: Aunque introduce una latencia de inferencia adicional (al ejecutar dos ramas), el enfoque prioriza la calidad de salida sobre la velocidad, siendo ideal para aplicaciones donde la fidelidad de la imagen es crítica y el costo computacional es aceptable.
• Paradigma de Fusión: Cambia el enfoque de "fusionar características aprendidas" a "compensación de salida ponderada", demostrando que la combinación inteligente de modelos heterogéneos preentrenados puede superar a los modelos individuales sin necesidad de optimización adicional.
• Limitaciones: El principal inconveniente es el aumento del tiempo de inferencia debido a la ejecución dual. Además, el peso actual es un escalar fijo; futuras investigaciones podrían explorar compensaciones espaciales o adaptativas al contenido, aunque esto podría reducir la simplicidad del marco actual.

En conclusión, el trabajo valida que la compensación a nivel de salida es una estrategia práctica y efectiva para maximizar el rendimiento de sistemas de super-resolución existentes, aprovechando la complementariedad de arquitecturas modernas como MambaIR y redes híbridas sin incurrir en costos de entrenamiento.