Restoration Adaptation for Semantic Segmentation on Low Quality Images

Titre : Adaptation de la Restauration pour la Segmentation Sémantique sur Images de Faible Qualité (RASS)

1. Problématique

La segmentation sémantique, tâche cruciale pour la compréhension de scène, voit ses performances se dégrader considérablement lorsqu'elle est appliquée à des images de faible qualité (LQ - Low Quality) rencontrées dans des scénarios réels (flou, bruit, artefacts de compression, etc.).

• Limites des modèles actuels : Les modèles de segmentation entraînés sur des images de haute qualité (HQ) manquent de robustesse face aux dégradations réelles imprévisibles.
• Limites de la restauration préalable (Pipeline classique) : Une approche intuitive consiste à restaurer l'image avant de la segmenter. Cependant, les modèles de restauration d'images réels (Real-IR) actuels, souvent basés sur des modèles génératifs comme Stable Diffusion, se concentrent sur la fidélité pixelique ou esthétique. Ils peuvent introduire des artefacts sémantiques (ex: transformer un sac en boîte) ou des détails hallucinés qui nuisent à la tâche de segmentation en aval.
• Limites du fine-tuning direct : Réentraîner les modèles de segmentation uniquement sur des données LQ ne suffit pas, car l'architecture n'est pas conçue pour extraire des caractéristiques robustes à partir d'images dégradées, et cela ignore les priors riches des images de haute qualité.

2. Méthodologie : Le Framework RASS

Les auteurs proposent RASS (Restoration Adaptation for Semantic Segmentation), un cadre unifié qui intègre la restauration sémantique directement dans le processus de segmentation, plutôt que de les traiter comme des étapes disjointes. Le framework repose sur deux étapes principales utilisant un modèle de diffusion pré-entraîné (Stable Diffusion) comme colonne vertébrale.

A. Restauration Contrainte Sémantiquement (SCR - Semantic-Constrained Restoration)

• Objectif : Restaurer l'image en préservant la cohérence sémantique nécessaire à la segmentation, plutôt que de simplement améliorer la qualité visuelle.
• Mécanisme :
  • Utilisation de LoRA (Low-Rank Adaptation) pour adapter un modèle de diffusion pré-entraîné (OSEDiff) aux images LQ.
  • Introduction d'une Perte de Contrainte Sémantique (SCL) : Cette perte aligne les cartes d'attention croisée du modèle de diffusion avec des masques sémantiques de référence.
  • Fonctionnement : Le modèle est forcé de concentrer son attention sur les régions correspondant aux objets sémantiques (ex: "bâtiment", "personne") lors de la génération de l'image restaurée. Cela évite l'hallucination de détails incorrects qui pourraient tromper le segmenteur.
  • La perte totale combine une perte de restauration (MSE + LPIPS) et la perte SCL (composante de région et de pixel).

B. Adaptation de la Segmentation par Restauration (RAS - Restoration Adaptation Segmentation)

• Objectif : Transférer les connaissances acquises lors de la phase de restauration vers la tâche de segmentation.
• Mécanisme :
  • Fusion de modules LoRA : Les poids LoRA appris par le module SCR (pour la restauration) sont fusionnés dans le réseau de base.
  • Entraînement du segmenteur : Un nouveau module LoRA dédié à la segmentation (Seg LoRA) est entraîné sur le backbone restauré.
  • Architecture : Au lieu de reconstruire l'image finale via le décodeur VAE (ce qui serait coûteux), le modèle extrait les caractéristiques latentes "nettoyées" du réseau de diffusion et les alimente directement dans une tête de segmentation apprenable.
  • Avantage : Cela permet d'éviter la propagation d'erreurs liée au ré-encodage des pixels restaurés et permet au segmenteur de travailler sur des caractéristiques latentes déjà débruitées et sémantiquement cohérentes.

3. Contributions Clés

1. Premier Framework Unifié : RASS est, à la connaissance des auteurs, le premier cadre conçu spécifiquement pour la segmentation sémantique d'images LQ du monde réel, intégrant la restauration et la segmentation de manière synergique.
2. Modèle SCR Innovant : Proposition d'un modèle de restauration contraint par la sémantique, qui injecte des priors de segmentation (via des masques et des cartes d'attention alignées) pour garantir une reconstruction fidèle aux structures sémantiques.
3. Stratégie d'Adaptation Efficace : Utilisation du transfert de connaissances via LoRA et fusion de modules, permettant d'adapter un grand modèle pré-entraîné à la segmentation LQ sans réentraînement complet ni ajout de modules lourds.
4. Nouveau Dataset : Création et annotation d'un ensemble de données RealLQ contenant des images dégradées réelles avec des masques de segmentation de haute qualité, comblant un manque dans la littérature.

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks synthétiques (ADE20K dégradé) et réels (RealLQ, RealSR, DIV2K).

• Segmentation (mIoU) :

  • RASS obtient le meilleur score sur le dataset RealLQ avec 39.80 mIoU (après fine-tuning), surpassant le modèle de référence Mask2Former (34.41 mIoU) de plus de 5 points.
  • Sur ADE20K dégradé, RASS atteint 47.42 mIoU, battant les modèles SOTA actuels.
  • RASS démontre une robustesse supérieure même sans étape de restauration préalable explicite (contrairement aux pipelines R2S classiques).

• Restauration d'Image (Real-IR) :

  • Le module SCR, bien qu'entraîné avec des contraintes sémantiques, obtient des performances compétitives, voire supérieures, sur les métriques de qualité d'image (MUSIQ, MANIQA, CLIPIQA) par rapport aux modèles SOTA comme StableSR ou SeeSR, tout en utilisant un seul pas d'inférence.

• Efficacité et Coût :

  • Bien que le backbone (Stable Diffusion) soit volumineux, la stratégie LoRA permet de n'entraîner que 27.9M de paramètres (contre 215.5M pour Mask2Former).
  • L'inférence est optimisée en évitant le décodeur VAE complet, atteignant 3.4 FPS sur GPU H20, un compromis acceptable pour la qualité obtenue.

5. Signification et Impact

• Changement de Paradigme : L'article démontre que la restauration et la segmentation ne doivent pas être traitées comme des tâches séquentielles disjointes, mais comme un processus intégré où la sémantique guide la restauration.
• Robustesse Réelle : La méthode offre une solution viable pour les applications du monde réel (surveillance, véhicules autonomes, robotique) où les images sont souvent dégradées, comblant le fossé entre les performances en laboratoire (images HQ) et en conditions réelles.
• Généralisation : L'approche basée sur LoRA et les priors génératifs ouvre la voie à des modèles unifiés capables de s'adapter à diverses tâches de vision par ordinateur sur des données dégradées sans nécessiter de réentraînement massif.

En conclusion, RASS représente une avancée significative en démontrant que l'intégration de priors sémantiques dans la restauration d'images permet d'améliorer directement la précision des tâches de haut niveau comme la segmentation, même sur des images fortement dégradées.