Training-Free Model Ensemble for Single-Image Super-Resolution via Strong-Branch Compensation

1. Problématique

La super-résolution d'image unique (SISR) a considérablement progressé, passant des réseaux de neurones convolutifs (CNN) aux architectures basées sur les Transformers et les modèles d'espace d'état (State-Space Models). Cependant, ces améliorations de performance s'accompagnent souvent de coûts d'entraînement élevés, de cycles d'ingénierie longs et d'une lourdeur de déploiement.

Dans de nombreux scénarios pratiques, plusieurs modèles pré-entraînés aux comportements complémentaires sont déjà disponibles. La contrainte majeure n'est plus la capacité architecturale pure, mais la manière d'exploiter efficacement leurs forces respectives sans réentraînement. La question centrale est : comment combiner les sorties de modèles hétérogènes préexistants pour obtenir des gains de performance immédiats, sans modifier les paramètres des modèles ni introduire de modules d'apprentissage supplémentaires ?

2. Méthodologie

L'article propose un cadre d'ensemble sans entraînement (training-free) au niveau de la sortie (output-level), structuré autour d'un pipeline à double branche asymétrique.

Architecture du Pipeline

Le système combine deux branches traitant la même image basse résolution ($I_{LR}$) de manière indépendante :

1. Branche de Base (Reconstruction Stable) :

   • Modèle : Un réseau d'attention hybride combiné à une inférence TLC (Train-Test Consistency via Local aggregation).
   • Rôle : Fournir une reconstruction structurelle stable et fiable. Elle sert de point de départ (ancrage) pour l'image finale, assurant la cohérence globale sans chercher la netteté extrême des détails.
   • Sortie : $I_{base} = F^{TLC}_{b}(I_{LR})$.

2. Branche Forte (Compensation de Détails) :

   • Modèle : MambaIRv2 (un modèle d'espace d'état) couplé à un self-ensemble géométrique (avec $K=8$ transformations).
   • Rôle : Apporter une compensation agressive pour la récupération des détails haute fréquence et des textures locales difficiles. Le self-ensemble stabilise les prédictions de ce modèle puissant.
   • Sortie : $I_{strong} = \frac{1}{K} \sum_{k=1}^{K} T^{-1}_k(F_s(T_k(I_{LR})))$.

Fusion et Compensation

La fusion ne se fait pas au niveau des caractéristiques (feature-level) ni par un module d'apprentissage, mais directement dans l'espace de l'image via une combinaison pondérée légère :
$$I_{SR} = (1 - \alpha)I_{base} + \alpha I_{strong}$$
Où $\alpha \in [0, 1]$ est un poids scalaire fixe attribué à la branche forte.

• Avantages de cette approche :
  • Aucun paramètre n'est mis à jour (pas de fine-tuning).
  • Les branches pré-entraînées restent inchangées.
  • L'interprétabilité est élevée : le poids $\alpha$ contrôle directement l'apport de détails.
  • C'est une mise à niveau "plug-and-play" pour les systèmes existants.

3. Contributions Clés

1. Cadre d'Ensemble Sans Entraînement : Proposition d'une méthode qui améliore un système SISR existant en combinant des branches hétérogènes sans réentraîner aucun paramètre.
2. Formulation Asymétrique : La branche forte n'est pas traitée comme un pair symétrique, mais explicitement comme une source de compensation. Cela clarifie le rôle de chaque composant et simplifie le déploiement.
3. Validation Empirique : Démonstration qu'une petite injection de la branche forte suffit à obtenir des gains mesurables, validé par des études d'ablation et une analyse visuelle.
4. Résultats de Challenge : La méthode a été utilisée par l'équipe "wedream" pour se classer 2ème au défi NTIRE 2026 (Super-Résolution d'Image x4), obtenant un PSNR de 33,47 dB et un SSIM de 0,9105.

4. Résultats Expérimentaux

Les expériences ont été menées sur un protocole unifié DIV2K (bilinear x4) sur 200 images.

• Comparaison Quantitative :

  • Branche Base (Hybrid + TLC) : 29,17 dB / 0,8548 SSIM.
  • Branche Forte (MambaIRv2 + Self-ensemble) : 30,35 dB / 0,8805 SSIM.
  • Méthode Proposée (Fusion optimale) : 30,35 dB / 0,8804 SSIM (avec un poids $\alpha \approx 0,89$ pour Mamba).
  • Note : La méthode proposée dépasse légèrement la branche forte pure en PSNR, prouvant que la branche base apporte des informations complémentaires non couvertes par le modèle puissant seul. Par rapport à la branche base, le gain est de +1,18 dB.

• Analyse des Poids :

  • Les courbes de performance montrent que même une faible injection de la branche forte améliore significativement la branche base.
  • Le point optimal se situe dans une région de poids élevé pour la branche forte (autour de 0,89), mais la méthode est robuste et ne nécessite pas un optimum fragile.

• Résultats Qualitatifs :

  • Les images super-résolues conservent la structure globale de la branche base tout en intégrant les textures et les bords nets de la branche MambaIRv2.
  • Les gains sont particulièrement visibles sur les motifs répétitifs et la continuité des textures.

5. Signification et Limites

Signification :
Ce travail démontre que l'amélioration des systèmes de super-résolution ne nécessite pas toujours de nouvelles architectures complexes ou un réentraînement coûteux. L'approche de compensation au niveau de la sortie offre une voie de mise à niveau pratique, à faible coût et orientée déploiement pour les systèmes existants. Elle s'inscrit dans la tendance vers des méthodes d'inférence plus efficaces et réutilisables.

Limites :

• Coût d'Inférence : La méthode double le temps de calcul car les deux branches doivent s'exécuter simultanément lors du test. Elle est donc une solution axée sur la qualité plutôt que sur la vitesse.
• Poids Fixe : L'approche actuelle utilise un poids scalaire global. Des mécanismes de compensation adaptatifs (spatiaux ou basés sur le contenu) pourraient être explorés, bien que cela complexifierait le système.
• Portée d'Évaluation : Les conclusions sont basées sur un protocole spécifique (DIV2K bicubic x4) et doivent être interprétées dans ce contexte.

En conclusion, ce papier propose une solution élégante et efficace pour l'ensemble de modèles, validée par des résultats de pointe dans un défi international, soulignant l'importance de l'exploitation intelligente des modèles pré-entraînés existants.