Résumé Technique : Tokenisation Hiérarchique d'Images pour la Super-Résolution d'Images Multi-Échelle

Énoncé du Problème

La Super-Résolution d'Images (ISR) vise à générer des images haute résolution (HR) à partir d'entrées basse résolution (LR). Bien que les récents modèles Visuels Auto-Régressifs (VAR) aient montré des promesses en s'alignant bien avec le paradigme de la « prédiction de l'échelle suivante », leur application à l'ISR se heurte à deux limitations critiques :

1. Incapacité à Générer des Échelles Intermédiaires : Les méthodes ISR basées sur VAR existantes (par exemple, VARSR) reposent sur une Quantification Résiduelle (RQ) où les résidus sont accumulés pour reconstruire une image finale de résolution fixe. Les résidus intermédiaires ne garantissent pas des reconstructions sémantiquement significatives aux échelles inférieures. Par conséquent, ces modèles ne peuvent pas produire de sorties intermédiaires valides (par exemple, une image suréchantillonnée 2×) lors d'un seul passage avant ; ils sont limités à un facteur d'échelle prédéfini et fixe.
2. Dépendance à l'égard de Ressources Importantes : Les approches actuelles de l'état de l'art nécessitent souvent des modèles de base massifs (par exemple, plus de 1 milliard de paramètres) ou des ensembles de données étendus et soigneusement annotés (incluant des échantillons négatifs pour le guidage sans classifieur) pour atteindre des performances compétitives.

Méthodologie

Les auteurs proposent un cadre novateur qui intègre deux composants clés dans le pipeline d'entraînement VAR pour remédier aux lacunes susmentionnées : la Tokenisation Hiérarchique d'Images (HIT) et la régularisation par Optimisation Directe des Préférences (DPO).

1. Tokenisation Hiérarchique d'Images (HIT)

Le RQVAE standard tokenise une image en décomposant les caractéristiques latentes en une séquence de résidus, mais ces résidus ne sont pas intrinsèquement alignés avec des échelles d'image spécifiques. L'approche HIT proposée modifie ce processus :

• Encodage Séquentiel : Au lieu de tokeniser la pleine résolution puis de sous-échantillonner, l'image d'entrée est progressivement sous-échantillonnée vers les échelles cibles (par exemple, 1×, 2×, 4×).
• Chevauchement des Jetons : La tokenisation est appliquée séquentiellement à ces versions sous-échantillonnées. Crucialement, les jetons générés pour les échelles inférieures sont réutilisés et partagés lors du calcul des résidus pour les échelles supérieures.
• Affinement (Fine-tuning) : Le vocabulaire et le décodeur d'un RQVAE pré-entraîné sont affinés en utilisant un décodeur spécifique à l'échelle et des pertes de reconstruction pour chaque échelle cible. Cela garantit que le vocabulaire est sémantiquement cohérent à travers différentes résolutions.
• Résultat : Cela crée un « fort biais inductif » où le modèle apprend que les premiers jetons représentent des structures sémantiques grossières valides à plusieurs échelles, permettant au décodeur de reconstruire des images valides à des résolutions intermédiaires (par exemple, 128×128, 256×256, 512×512) à partir de la même séquence de jetons.

2. Régularisation DPO

Pour améliorer la qualité de l'image sans dépendre de modèles de récompense externes ou d'ensembles de données négatives à grande échelle, les auteurs introduisent un terme de régularisation basé sur l'Optimisation Directe des Préférences (DPO) :

• Mécanisme : Le modèle est entraîné à maximiser la vraisemblance logarithmique des jetons HR de vérité terrain tout en pénalisant simultanément la vraisemblance des jetons qui ressemblent à un simple suréchantillonnage bilinéaire de l'entrée LR.
• Formulation : La fonction de perte est définie par $\mathcal{L}_{DPO} = - \log \sigma \left ( \beta \log \frac {p(z_{HR})}{p(z_{LR})} \right )$, où $p(z_{HR})$ et $p(z_{LR})$ sont les probabilités des séquences de jetons HR et LR, respectivement.
• Avantage : Cette approche exploite la capacité propre du modèle à distinguer les séquences HR et LR, éliminant ainsi le besoin de VLM externes ou de collecte d'échantillons négatifs.

Architecture et Entraînement

• Taille du Modèle : Les auteurs utilisent un transformateur relativement petit (310 millions de paramètres, 16 blocs) par rapport aux modèles de plus de 1 milliard de paramètres utilisés dans les travaux antérieurs.
• Données d'Entraînement : Le modèle est entraîné sur des ensembles de données ISR standards (DIV2K, DIV8K, Flickr2k, OST, et un sous-ensemble de FFHQ) sans corpus propriétaires ou externes massifs.
• Conditionnement : Contrairement à VARSR qui utilise ControlNet, cette méthode utilise directement les caractéristiques de l'encodeur RQVAE de l'image LR suréchantillonnée comme signaux de conditionnement.

Contributions Clés

1. Première ISR Basée sur VAR Multi-Échelle : L'article introduit la première approche basée sur VAR capable de décoder des échelles intermédiaires vers l'espace image tout en maintenant une cohérence sémantique à travers les échelles, permettant une sortie multi-échelle en un seul passage avant.
2. Fort Biais Inductif via HIT : La Tokenisation Hiérarchique d'Images proposée agit comme un fort biais inductif, permettant à un petit modèle de 310 millions de paramètres d'atteindre des résultats de l'état de l'art sans avoir besoin de modèles de base massifs.
3. Entraînement Simplifié via DPO : L'introduction d'un terme de régularisation basé sur DPO simplifie le processus d'entraînement en éliminant la dépendance aux échantillons négatifs annotés à grande échelle ou aux modèles de récompense externes, tout en produisant une netteté et une qualité supérieures.

Résultats Expérimentaux

La méthode proposée (H-VAR) a été évaluée sur des ensembles de données synthétiques (DIV2K-Val) et réels (RealSR, DRealSR) par rapport à des bases de référence basées sur GAN, diffusion et AR.

• Capacité Multi-Échelle : Contrairement aux bases de référence (VARSR, Baseline) qui échouent à produire des images cohérentes aux échelles intermédiaires (par exemple, 256×256), H-VAR reconstruit avec succès des images valides aux échelles 1×, 2× et 4× à partir d'un seul passage.
• Performance :
  • Sur RealSR, H-VAR atteint un PSNR de 25,55 et un LPIPS de 0,256, surpassant VARSR (PSNR 24,61, LPIPS 0,350) et d'autres méthodes diffusion/GAN.
  • Sur DRealSR, H-VAR atteint un PSNR de 28,73, dépassant VARSR (28,16) et StableSR (27,87).
• Efficacité : Le modèle de 310 millions de paramètres surpasse significativement le modèle VARSR de 1 milliard de paramètres tout en nécessitant moins de ressources de calcul (temps d'inférence de 0,25 s contre 0,93 s pour VARSR sur DIV2K-Val).
• Ablation : La suppression du composant HIT entraîne une baisse significative des performances, confirmant son rôle de biais inductif critique. De même, la suppression de la régularisation DPO conduit à des résultats plus flous et à des scores PSNR/LPIPS plus faibles.

Importance et Revendications

L'article revendique faire avancer le paradigme d'application de VAR à l'ISR en résolvant la limitation « d'échelle fixe » inhérente aux formulations RQVAE standard. En introduisant la Tokenisation Hiérarchique d'Images, les auteurs démontrent qu'il est possible d'atteindre des résultats de super-résolution de l'état de l'art avec un modèle compact (310 M de paramètres) entraîné sur des ensembles de données standards, sans avoir besoin de données propriétaires massives ou de mécanismes de guidage externes complexes. Le travail met en évidence que la structure de la tokenisation elle-même (HIT) est un puissant moteur de performance, agissant comme un fort biais inductif qui guide le modèle vers des représentations multi-échelles sémantiquement significatives.