CA-LoRA: Concept-Aware LoRA for Domain-Aligned Segmentation Dataset Generation

1. Il Problema

La scarsità di dati etichettati rappresenta una delle principali sfide nel campo della segmentazione semantica, specialmente per scenari complessi o rari. La raccolta e l'annotazione a livello di pixel sono processi laboriosi e costosi.
Per ovviare a ciò, recenti studi hanno sfruttato i modelli di generazione da testo a immagine (Text-to-Image o T2I) per sintetizzare dataset di addestramento. Tuttavia, l'uso diretto di questi modelli presenta due criticità fondamentali:

1. Allineamento al dominio: I modelli T2I pre-addestrati (es. Stable Diffusion) generano immagini di alta qualità ma spesso non allineate allo stile, al punto di vista o alle condizioni specifiche del dominio target (es. scene urbane per la guida autonoma).
2. Memorizzazione vs. Diversità: Il fine-tuning tradizionale (es. tramite LoRA) su un dataset target tende a causare un overfitting e una memorizzazione dei dati di addestramento. Il modello impara tutti i concetti presenti (stile, forma degli oggetti, layout, punto di vista), limitando la sua capacità di generare campioni informativi e diversificati oltre la distribuzione originale.

2. Metodologia: Concept-Aware LoRA (CA-LoRA)

Gli autori propongono CA-LoRA, un nuovo approccio di fine-tuning che risolve il compromesso tra allineamento al dominio e diversità dei dati generati. L'idea centrale è aggiornare selettivamente solo i pesi del modello T2I associati ai concetti necessari per l'allineamento (es. punto di vista o stile), preservando la conoscenza pre-addestrata per gli altri concetti.

Il framework si articola in quattro fasi (illustrate nella Figura 2 del paper):

A. Identificazione dei Pesi Sensibili (Concept Awareness)

Prima di addestrare, il metodo identifica quali strati del modello T2I sono più sensibili al concetto desiderato (es. "stile" o "punto di vista").

• Viene definita una Concept Loss ($L_{Concept}$) che forza il modello a modificare il concetto specifico (es. trasformare una vista "fotorealistica" in uno "schizzo" o cambiare il punto di vista).
• Per evitare bias posizionali nei gradienti, il gradiente della Concept Loss viene normalizzato rispetto al gradiente della Loss di diffusione originale ($L_{Diff}$).
• Il risultato è una mappa di "Consapevolezza del Concetto" (Concept Awareness) che quantifica quanto ogni strato di proiezione (Q, K, V, OUT) reagisce al cambiamento del concetto.

B. Fine-Tuning Selettivo (CA-LoRA)

Invece di applicare LoRA a tutti gli strati di proiezione (come nel LoRA standard), CA-LoRA:

• Seleziona solo il top-k% degli strati con la più alta "consapevolezza del concetto".
• Aggiorna i pesi di LoRA solo su questi strati selezionati, mantenendo congelati tutti gli altri.
• Questo permette al modello di apprendere il concetto target (es. il punto di vista di guida) senza memorizzare lo stile o il contenuto specifico del dataset di addestramento, preservando la capacità di generare varietà stilistiche e strutturali.

C. Generatore di Etichette e Dataset

• Viene addestrato un generatore di etichette leggero (basato su Mask2Former) utilizzando le feature generative del modello T2I fine-tunato.
• Poiché il modello T2I è stato fine-tunato con CA-LoRA, le feature estratte durante l'inferenza sono statisticamente coerenti con quelle di addestramento, riducendo il domain gap e migliorando l'allineamento tra immagine e etichetta.
• Vengono generati coppie immagine-etichetta diversificate utilizzando prompt aumentati (es. aggiungendo condizioni meteorologiche avverse come "nebbia" o "notte").

3. Contributi Chiave

1. Metodo di Fine-Tuning Selettivo: Introduzione di CA-LoRA, che identifica e aggiorna automaticamente solo i pesi rilevanti per un concetto specifico, riducendo l'overfitting e preservando la conoscenza pre-addestrata.
2. Generazione di Dati Informativi ed Allineati: Capacità di generare dataset di segmentazione che sono sia ben allineati al dominio target (es. vista di guida) sia ricchi di diversità (stili, forme, layout) e condizioni estreme (meteo avverso), superando i limiti dei metodi basati su LoRA standard.
3. Prestazioni SOTA: Dimostrazione empirica che i dataset generati con CA-LoRA migliorano le prestazioni dei modelli di segmentazione in scenari in-domain (few-shot e fully-supervised) e di generalizzazione del dominio (Domain Generalization - DG).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti principalmente sul dataset Cityscapes (segmentazione urbana) e su benchmark di generalizzazione come ACDC, Dark Zurich, BDD100K e Mapillary Vistas.

• Segmentazione In-Domain:
  • Su Cityscapes con solo lo 0.3% dei dati reali (few-shot), CA-LoRA ha migliorato l'mIoU di +2.30% rispetto al baseline, superando significativamente metodi come DatasetDM (+0.99%) e LoRA standard.
  • Anche in setting fully-supervised (100% dati), ha ottenuto un miglioramento di +1.34%.
• Generalizzazione del Dominio (Domain Generalization):
  • CA-LoRA ha mostrato prestazioni superiori nella generazione di dati per condizioni avverse (nebbia, pioggia, notte).
  • Su ACDC (condizioni avverse), ha ottenuto un guadagno medio di +2.49% rispetto al baseline, superando approcci come DGInStyle e LoRA standard.
  • Il metodo mantiene una forte adesione al testo (text adherence), permettendo di generare scene con meteo diverso senza perdere l'allineamento al punto di vista di guida.
• Analisi Qualitativa:
  • Mentre il LoRA standard tende a memorizzare lo stile e il contenuto di Cityscapes (generando immagini ripetitive), CA-LoRA genera immagini con lo stesso punto di vista ma con stili, forme e layout diversificati, essenziali per la robustezza del modello.

5. Significato e Impatto

Questo lavoro è significativo perché affronta il problema fondamentale della memorizzazione nei modelli generativi adattati. Dimostra che è possibile allineare un modello generativo a un dominio specifico senza sacrificare la sua capacità creativa e diversificata.

• Efficienza: Permette di creare dataset sintetici di alta qualità con costi ridotti, cruciale per applicazioni reali come la guida autonoma dove i dati per condizioni estreme sono scarsi.
• Flessibilità: Il metodo è adattabile a diversi concetti (stile, punto di vista, oggetti) e può essere esteso ad altri domini oltre alle scene urbane (come dimostrato su Pascal VOC).
• Fondamento per Future Ricerche: Offre un approccio principled per il trasferimento di conoscenza e il fine-tuning, aprendo la strada a dataset sintetici più informativi e meno distorti.

In sintesi, CA-LoRA risolve il dilemma tra "allineamento al dominio" e "diversità dei dati", rendendo la generazione di dataset sintetici una soluzione praticabile ed efficace per la segmentazione semantica avanzata.