CA-LoRA: Concept-Aware LoRA for Domain-Aligned Segmentation Dataset Generation

Probleemstelling

Semantische segmentatie vereist grote hoeveelheden gelabelde data om hoge prestaties te behalen. Het verzamelen en handmatig annoteren van beelden, vooral in zeldzame of complexe scenario's (zoals slecht weer of specifieke viewpoints), is echter arbeidsintensief en duur. Hoewel Text-to-Image (T2I) generatiemodellen (zoals Stable Diffusion) worden gebruikt om synthetische datasets te genereren, lopen bestaande methoden tegen twee fundamentele problemen aan:

1. Gebrek aan domein-uitlijning: Pre-trained T2I-modellen genereren vaak beelden die niet overeenkomen met het doeldomein (bijv. verkeerde perspectieven of stijlen voor stedelijke scènes).
2. Overfitting en gebrek aan diversiteit: Wanneer T2I-modellen worden gefinetuned op een specifieke dataset om de domein-uitlijning te verbeteren, neigt het model vaak tot overfitting. Het "onthoudt" dan de trainingdata (stijl, objectvormen, lay-out) in plaats van het domein te leren, waardoor het geen diverse of informatieve nieuwe samples kan genereren die verder gaan dan de trainingdistributie.

Bestaande fine-tuning methoden (zoals standaard LoRA) updaten alle gewichten, wat leidt tot het verlies van de oorspronkelijke generatieve capaciteit van het model voor diverse concepten.

Methodologie: Concept-Aware LoRA (CA-LoRA)

De auteurs stellen Concept-Aware LoRA (CA-LoRA) voor, een nieuwe fine-tuning aanpak die selectief alleen de gewichten update die relevant zijn voor een specifiek gewenst concept (bijv. stijl of viewpoint), terwijl de rest van het model bevroren blijft om de vooraf getrainde kennis te behouden.

Het proces bestaat uit vier fasen:

1. Identificatie van Gevoelige Weegs (Sensitive Weights):

   • Het paper introduceert een Concept Loss ($L_{Concept}$). Hierbij worden geaugmenteerde prompts gebruikt (bijv. verandering van "fotorealistisch" naar "schets" voor stijl, of "eerste persoon" naar "top-down" voor viewpoint).
   • De gradienten van deze concept loss worden vergeleken met de gradienten van de originele diffusion loss ($L_{Diff}$).
   • Door het ratio te nemen van de concept loss gradienten ten opzichte van de diffusion loss gradienten, wordt een maat voor Concept Awareness berekend. Dit corrigeert voor de impliciete bias van gradienten over verschillende lagen en attention-heads.
   • De lagen met de hoogste "concept awareness" worden geïdentificeerd als de lagen die het meest gevoelig zijn voor het gewenste concept.

2. Selectieve Fine-tuning (CA-LoRA):

   • In plaats van LoRA toe te passen op alle attention-projectielagen (Q, K, V, OUT) zoals bij standaard LoRA, past CA-LoRA LoRA-lagen alleen toe op de top-$k\%$ van de lagen die specifiek gevoelig zijn voor het gekozen concept.
   • Dit zorgt ervoor dat het model alleen het gewenste concept (bijv. het viewpoint van Cityscapes) leert, terwijl het vermogen om diverse stijlen en objecten te genereren (van de pre-trained T2I) behouden blijft.

3. Label Generator Training:

   • Een lichte label-generator (gebaseerd op Mask2Former) wordt getraind met de features van het gefinetunde T2I-model. Omdat het T2I-model nu beter is uitgelijnd met het doeldomein, is de domein-kloof (domain gap) tussen training- en inferentie-features kleiner, wat leidt tot nauwkeurigere segmentatielabels.

4. Dataset Generatie:

   • Het systeem genereert diverse beeld-label paren door prompts te augmenteren met verschillende weersomstandigheden (mist, nacht, regen) en objectklassen, terwijl het model het specifieke concept (bijv. viewpoint) behoudt.

Kernbijdragen

1. Concept-Aware LoRA: Een nieuwe, parameter-efficiënte fine-tuning methode die automatisch de relevante gewichten identificeert en update voor specifieke concepten, waardoor overfitting wordt verminderd en de diversiteit van de gegenereerde data wordt behouden.
2. Verbeterde Domein-uitlijning zonder Diversiteitsverlies: De methode maakt het mogelijk om T2I-modellen aan te passen aan een doeldomein (zoals het viewpoint van een rijauto) zonder de mogelijkheid te verliezen om andere variaties (weer, objecten) te genereren.
3. State-of-the-Art Prestaties: De aanpak levert aanzienlijke verbeteringen op in zowel few-shot als fully-supervised settings, en presteert superieur in domein-generalisatie taken (DG), vooral onder uitdagende omstandigheden zoals slecht weer.

Resultaten

De methode is getest op de Cityscapes dataset (voor stedelijke scènes) en Pascal VOC (voor algemene objecten).

• In-Domain Segmentatie:

  • Op Cityscapes met slechts 0.3% van de data verbeterde CA-LoRA de mIoU met +2.30% ten opzichte van de baseline.
  • In fully-supervised settings (100% data) werd een verbetering van +1.34% behaald.
  • Het presteerde consistent beter dan bestaande methoden zoals DatasetDM, LoRA en AdaLoRA.

• Domein Generalisatie (Domain Generalization - DG):

  • De gegenereerde datasets verbeterden de prestaties op onzichtbare domeinen (ACDC, Dark Zurich, BDD100K, Mapillary Vistas).
  • Gemiddeld werd een verbetering van +1.53% mIoU behaald op DG-benchmarks.
  • In tegenstelling tot andere methoden die vastlopen in de stijl van de brondata, slaagde CA-LoRA erin om het viewpoint te leren terwijl het de tekstuele controle over weersomstandigheden behield, wat cruciaal is voor DG.

• Kwalitatieve Analyse:

  • Visualisaties tonen aan dat standaard LoRA neigt tot memorisatie van de trainingstijl, terwijl CA-LoRA diverse scènes genereert die wel uitgelijnd zijn met het doelpunt (bijv. het juiste perspectief) maar variëren in stijl en inhoud.

Betekenis en Toekomstperspectief

Dit paper biedt een fundamentele oplossing voor het dilemma tussen domein-uitlijning en generatieve diversiteit bij het synthetiseren van trainingsdata. Door te leren dat niet alle lagen van een T2I-model even belangrijk zijn voor elk concept, stelt CA-LoRA onderzoekers in staat om gerichte, hoogwaardige datasets te genereren zonder de flexibiliteit van het basismodel te offeren.

De methode is niet beperkt tot stedelijke scènes en kan worden toegepast op andere domeinen en concepten. Het opent nieuwe wegen voor het oplossen van data-schaarste in computer vision, met name voor zeldzame gebeurtenissen en langstaartverdelingen, en vormt een sterke basis voor toekomstig onderzoek in kennisoverdracht en fine-tuning.