Résumé Technique : ControlLight

Énoncé du Problème

Les méthodes existantes d'amélioration en faible luminosité (LLE) basées sur l'apprentissage profond rencontrent deux limitations principales dans les applications réelles :

1. Manque de Contrôlabilité : La plupart des modèles sont entraînés sur des jeux de données où chaque image en faible luminosité possède une seule cible de supervision fixe (une « vérité terrain » en « lumière normale » spécifique). Cela force le modèle à apprendre une intensité d'amélioration fixe, empêchant les utilisateurs d'ajuster flexiblement la luminosité ou l'intensité de restauration selon leurs préférences personnelles ou les exigences variables de la scène.
2. Problèmes de Généralisation et de Cohérence : Bien que les grands modèles d'édition d'images génératifs (par exemple, FLUX.2-klein) démontrent une forte généralisation et la capacité de récupérer des détails plausibles, ils souffrent souvent d'hallucinations, de distorsions structurelles et de décalages de pixels. De plus, le fine-tuning standard de ces modèles pour un contrôle continu conduit souvent à des résultats incohérents ou à une dérive structurelle lorsque l'intensité d'amélioration varie. En outre, les méthodes de contrôle continu existantes manquent souvent d'une supervision intermédiaire fiable, entraînant des trajectoires instables.

Méthodologie

Les auteurs proposent ControlLight, un cadre conçu pour réaliser une amélioration en faible luminosité contrôlable, cohérente et généralisable. La méthodologie se compose de trois composants principaux :

1. Light100K : Construction de Données Pseudo-Appariées Continues

Pour pallier la pénurie de données appariées réelles avec une supervision continue, les auteurs ont construit Light100K.

• Collecte de Données : Environ 30 000 images réelles de haute qualité en faible luminosité ont été collectées et filtrées selon leur pertinence sémantique et leurs niveaux de dégradation.
• Génération de Cibles Pseudo : Un modèle FLUX.2-klein-9B pré-entraîné a été utilisé pour générer des contreparties en « lumière normale » ($I_1$) pour chaque entrée en faible luminosité ($I_0$).
• Filtrage par Cohérence des Contours : Les paires présentant un désalignement structurel significatif ont été éliminées, aboutissant à environ 20 000 paires à haute cohérence.
• Interpolation Inspirée par le Modèle de Retinex : Au lieu d'un simple mélange alpha RGB (qui aplatit le contraste local et mélange l'illumination avec la réflectance), les auteurs ont employé une stratégie d'interpolation basée sur le modèle de Retinex. Ils ont décomposé les images en composantes de Réflectance ($R$) et d'Illumination ($L$). L'amélioration continue a été modélisée comme une transition fluide dans la composante d'illumination (interpolation dans le domaine logarithmique) tout en interpolant de manière conservatrice la réflectance. Cela génère une séquence continue de pseudo-vérités terrain ($I_s$) pour des intensités d'amélioration $s \in \{0.2, 0.4, 0.6, 0.8\}$.

2. Perte de Matching de Flux Pondérée et Consciente du Désalignement ($L_{wFM}$)

Les auteurs ont observé que même les paires pseudo-visuellement cohérentes peuvent contenir de légers désalignements de contours dus à la nature générative du modèle de base. Un matching de flux standard forcerait le modèle à apprendre et à amplifier ces désalignements, causant des artefacts structurels.

• Cartographie de la Différence de Contours : Une carte de différence de contours structurels est calculée entre l'entrée et la cible pseudo dans le domaine de la luminance logarithmique pour isoler les discrepancies structurelles haute fréquence.
• Supervision Pondérée : Une carte de poids spatiale est générée où les régions présentant un désalignement de contours significatif (loin des contours d'entrée) sont sous-pondérées.
• Fonction de Perte : La perte de matching de flux standard est modifiée pour appliquer ces poids, encourageant le modèle à préserver la structure de l'image d'entrée tout en apprenant l'amélioration de l'illumination, réduisant ainsi la dérive structurelle.

3. Architecture du Modèle ControlLight

• Modèle de Base : Le cadre effectue un fine-tuning de FLUX.2-klein-9B en utilisant l'Adaptation à Faible Rang (LoRA).
• Mécanisme de Contrôle Continu : L'intensité d'amélioration $s$ est directement incorporée en tant que facteur d'échelle LoRA ($W' = W + s \cdot AB$). Contrairement aux méthodes qui supposent une linéarité uniquement lors de l'inférence, ControlLight impose cette linéarité pendant l'entraînement en associant des valeurs spécifiques de $s$ à leurs pseudo-vérités terrain correspondantes ($I_s$) et en calculant la perte de matching de flux pondérée.
• Inférence : Les utilisateurs peuvent entrer une image en faible luminosité et un prompt de restauration fixe, en ajustant $s$ continûment de 0 à 1 pour contrôler l'intensité de l'amélioration.

Contributions Clés

1. Jeu de Données Light100K : Un jeu de données d'amélioration en faible luminosité continu à grande échelle contenant des images dégradées réelles et des cibles pseudo-améliorées cohérentes structurellement avec une supervision fine-granulaire sur plusieurs intensités d'illumination.
2. Perte de Matching de Flux Pondérée et Consciente du Désalignement : Une fonction de perte novatrice qui identifie et sous-pondère les régions de contours peu fiables dans les cibles pseudo générées par diffusion, assurant la cohérence structurelle et empêchant l'amplification des artefacts génératifs lors de l'amélioration continue.
3. Cadre ControlLight : Un modèle LLE contrôlable qui atteint des performances de pointe tant en qualité d'amélioration qu'en contrôlabilité linéaire, surpassant les méthodes continues et non continues existantes sur des benchmarks réels.

Résultats Expérimentaux

Les auteurs ont évalué ControlLight sur cinq benchmarks : LOL-v1 et LWSR (appariés), et DICM, LIME, et RealIR-Bench (sans référence).

• Qualité d'Amélioration : Sur les benchmarks appariés, ControlLight a obtenu des résultats de pointe sur la plupart des métriques perceptuelles (CLIPIQA, MANIQA, MUSIQ) et des résultats compétitifs sur NIQE. Sur les benchmarks réels sans référence, il a constamment surpassé tous les baselines, y compris les méthodes traditionnelles (Retinexformer, CIDNet) et d'autres approches basées sur la diffusion (CLE Diffusion).
• Contrôlabilité : Évaluée à l'aide de $\delta_{smooth}$ (lissité de la trajectoire) et de CLIP-Dir (directionnalité sémantique), ControlLight a démontré une contrôlabilité linéaire supérieure par rapport aux méthodes d'édition continue universelles comme ConceptSlider, KSlider et CLE Diffusion. Il a produit des transitions plus fluides et des trajectoires d'amélioration plus cohérentes sémantiquement.
• Études d'Ablation :
  • Le retrait de la perte de matching de flux pondérée ($L_{wFM}$) a entraîné une plus grande incohérence structurelle (LI-LPIPS plus élevé) et une qualité perceptuelle inférieure.
  • La comparaison des stratégies d'interpolation a montré que l'interpolation basée sur le modèle de Retinex fournissait un gradient de qualité plus physiquement raisonnable et des indices de dégradation plus riches par rapport au mélange alpha direct.

Importance et Revendications

L'article revendique que ControlLight établit un nouvel état de l'art pour l'amélioration en faible luminosité en comblant avec succès le fossé entre la puissance générative des grands modèles d'édition d'images et la cohérence structurelle stricte requise pour la restauration d'images.

Les revendications clés incluent :

• Applicabilité Réelle : En construisant un jeu de données à partir d'images réelles et en utilisant une perte préservant la structure, le modèle se généralise efficacement aux dégradations réelles où les méthodes traditionnelles échouent souvent.
• Contrôle Centré sur l'Utilisateur : La capacité d'ajuster continûment l'intensité d'amélioration ($s=0$ à $s=1$) permet aux utilisateurs d'adapter les résultats à des préférences spécifiques sans sacrifier la cohérence visuelle ou le réalisme.
• Intégrité Structurelle : La fonction de perte proposée atténue efficacement l'« hallucination » et la dérive structurelle courantes dans la restauration générative, garantissant que l'image améliorée reste fidèle à la structure de la scène originale.

Les auteurs concluent que ControlLight offre une solution robuste pour les scénarios pratiques d'amélioration en faible luminosité, offrant une cohérence, une contrôlabilité et une généralisation supérieures par rapport aux approches existantes.