Restoration Adaptation for Semantic Segmentation on Low Quality Images

1. Il Problema

Nelle applicazioni del mondo reale, le immagini acquisite sono spesso soggette a degradazioni complesse e imprevedibili (sfocatura, rumore, bassa risoluzione, ecc.). Questo porta a un drastico peggioramento delle prestazioni dei modelli di segmentazione semantica, che sono tipicamente addestrati su immagini di alta qualità (SQ - Standard Quality).

Esistono due approcci convenzionali che presentano limiti significativi:

1. Addestramento diretto su immagini degradate: I modelli esistenti (come Mask2Former o SegFormer) non sono progettati per estrarre caratteristiche robuste da immagini di bassa qualità (LQ), portando a una segmentazione imprecisa.
2. Pipeline di pre-elaborazione (Ripristino -> Segmentazione): Utilizzare modelli di ripristino dell'immagine (Image Restoration - IR) come passo preliminare è intuitivo, ma spesso fallisce. I modelli di ripristino tradizionali (Real-IR) si concentrano sulla fedeltà a livello di pixel e sulla generazione di dettagli visivamente realistici, ma spesso perdono o distorcono le informazioni semantiche cruciali. Ad esempio, un modello di ripristino potrebbe "inventare" dettagli errati (come trasformare una borsa in una scatola) che portano a errori di classificazione nel passo successivo di segmentazione. Inoltre, la propagazione degli errori tra i due modelli disgiunti riduce l'efficacia complessiva.

2. Metodologia: RASS

Gli autori propongono RASS (Restoration Adaptation for Semantic Segmentation), un framework unificato che integra il ripristino semantico direttamente nel processo di segmentazione, evitando pipeline separate. Il sistema si basa su un modello generativo pre-addestrato (Stable Diffusion) e utilizza l'architettura LoRA (Low-Rank Adaptation) per l'adattamento efficiente.

Il framework è composto da due fasi principali:

A. Fase 1: Modello di Ripristino a Vincolo Semantico (SCR - Semantic-Constrained Restoration)

L'obiettivo è addestrare un modello di ripristino che non solo migliori la qualità visiva, ma preservi la coerenza semantica necessaria per la segmentazione.

• Architettura: Utilizza un modello Stable Diffusion (SD) pre-addestrato come backbone. Vengono congelati il VAE encoder/decoder e il text encoder, mentre vengono introdotti moduli LoRA addestrabili nella rete di diffusione.
• Loss Semantica (SCL): Per guidare il ripristino, viene introdotta una Semantic-Constrained Loss. Questa loss allinea le mappe di attenzione incrociata (cross-attention maps) del modello di diffusione con le maschere semantiche di ground truth.
  • Invece di cercare solo la fedeltà pixel-per-pixel, il modello è costretto a generare contenuti che corrispondono alle regioni semantiche definite (es. "edificio", "persona").
  • Questo previene la generazione di dettagli errati o artefatti che potrebbero confondere il passo di segmentazione successivo.
• Input: LQ image + Prompt testuale (derivato da etichette di segmentazione e descrizioni aggiuntive estratte tramite RAM/DAPE).

B. Fase 2: Adattamento alla Segmentazione (RAS - Restoration Adaptation Segmentation)

In questa fase, la conoscenza appresa durante il ripristino viene trasferita al compito di segmentazione.

• Fusione dei Moduli: I pesi LoRA appresi nella fase SCR (che contengono la conoscenza per gestire le degradazioni) vengono fusi nel backbone del modello.
• Addestramento Specifico: Viene aggiunto un nuovo ramo LoRA dedicato alla segmentazione (Seg LoRA).
• Meccanismo: Invece di ricostruire l'immagine ad alta risoluzione (che richiederebbe il decoder VAE, costoso in termini computazionali), il modello utilizza le feature latenti "pulite" estratte dalla rete di diffusione (dopo il denoising) e le feature dell'encoder VAE. Queste feature latenti, arricchite dalla conoscenza del ripristino, vengono inviate direttamente a un head di segmentazione (basato su Mask2Former) per la classificazione pixel-per-pixel.
• Vantaggio: Questo approccio evita la propagazione di errori causata dalla ricostruzione intermedia dell'immagine e permette di operare direttamente nello spazio latente, mantenendo l'efficienza.

3. Contributi Chiave

1. Framework Unificato RASS: Il primo framework progettato specificamente per la segmentazione semantica di immagini LQ del mondo reale, che fonde ripristino e segmentazione in un'unica pipeline adattiva.
2. Modello SCR (Semantic-Constrained Restoration): Un modello di ripristino innovativo che inietta prior semantiche allineando le mappe di attenzione con le maschere semantiche, garantendo una ricostruzione visivamente e semanticamente coerente.
3. Dataset RealLQ: Gli autori hanno costruito e annotato un nuovo dataset di immagini LQ reali con segmentazioni di alta qualità per valutare i metodi in scenari realistici, colmando un vuoto nella ricerca esistente.
4. Strategia di Adattamento LoRA: Dimostrazione che la fusione di moduli LoRA permette di trasferire efficacemente la conoscenza del ripristino alla segmentazione senza bisogno di ri-addestrare l'intero modello da zero o aggiungere moduli pesanti.

4. Risultati Sperimentali

Il metodo è stato valutato su dataset sintetici (ADE20K degradato) e reali (RealLQ, RealSR, DIV2K).

• Segmentazione: RASS supera lo stato dell'arte (SOTA) in tutti gli scenari.
  • Su ADE20K degradato, RASS ottiene un mIoU di 47.42 (con adattamento FT), superando il miglior modello di base fine-tuned (Mask2Former) di 3.23 punti.
  • Su RealLQ (dati reali), RASS raggiunge un mIoU di 39.80, dimostrando una robustezza superiore rispetto ai modelli leggeri e pesanti esistenti.
  • RASS è in grado di gestire degradazioni complesse dove i modelli tradizionali falliscono (es. oggetti sfocati o rumorosi).
• Ripristino dell'Immagine: Il modello SCR, pur essendo un modello a singolo passo (one-step), ottiene prestazioni competitive o superiori rispetto a metodi multi-step (come StableSR o SeeSR) su metriche di qualità percepita (MUSIQ, MANIQA, CLIPIQA) e fedeltà (PSNR, SSIM).
• Efficienza: Nonostante l'uso di un backbone grande (Stable Diffusion), RASS addestra solo 27.9M di parametri (tramite LoRA), molto meno dei 215.5M richiesti da Mask2Former fine-tuned. All'inferenza, opera a 3.4 FPS, evitando il decoder VAE costoso.

5. Significato e Impatto

Il lavoro di RASS rappresenta un passo avanti significativo nel colmare il divario tra visione artificiale di basso livello (ripristino) e di alto livello (segmentazione).

• Superamento del paradigma "Ripristino come Pre-processing": Dimostra che trattare il ripristino e la segmentazione come compiti separati è subottimale. L'integrazione semantica diretta è fondamentale per evitare errori di classificazione causati da dettagli generati erroneamente.
• Robustezza nel Mondo Reale: Fornisce una soluzione pratica per applicazioni critiche (guida autonoma, sorveglianza, diagnostica medica) dove le immagini di input sono spesso degradate e non è possibile garantire condizioni di acquisizione perfette.
• Efficienza Computazionale: L'uso di LoRA e l'elaborazione nello spazio latente offrono un compromesso favorevole tra prestazioni elevate e costi computazionali, rendendo il modello più accessibile rispetto alle soluzioni basate su pipeline multi-stadio pesanti.

In sintesi, RASS trasforma la sfida della segmentazione su immagini degradate da un problema di "miglioramento dell'immagine" a un problema di "adattamento semantico", ottenendo risultati superiori sia nella qualità visiva che nell'accuratezza della segmentazione.