CLIP-Guided Data Augmentation for Night-Time Image Dehazing

Probleemstelling

Het verwijderen van mist (dehazing) uit nachtelijke beelden is aanzienlijk complexer dan overdag. Waar daglichtdehazing voornamelijk te maken heeft met verstrooiing en transmissieschatting, combineert nachtelijke mist een unieke en heterogene degradatie:

• Gekoppelde factoren: Mistverstrooiing treedt op in combinatie met zwakke verlichting, ongelijkmatige belichting en sterke kunstmatige lichtbronnen.
• Gevolgen: Dit leidt tot halo's rond lichte bronnen, ruisaccumulatie in donkere gebieden, verlies van contrast en kleurvervorming.
• Data-schaarste: Er is een gebrek aan gepaarde trainingsdata (mistig vs. helder) voor de doel-domein (nacht). Het gebruik van externe datasets (vaak overdag) zonder controle leidt tot domeinverschil (domain shift), wat de prestaties verslechtert in plaats van verbetert.
• Instabiliteit: Bestaande methoden die vertrouwen op grote hoeveelheden data of complexe netwerkhervormingen, kampen met trainingsinstabiliteit en domein-drift bij beperkte supervisie.

Methodologie

De auteurs presenteren een unificerend raamwerk voor de NTIRE 2026 Night Time Image Dehazing Challenge. In plaats van de netwerkarchitectuur fundamenteel te herontwerpen, focussen ze op een gecoördineerde aanpak van data, training en inferentie. Het raamwerk bestaat uit drie kerncomponenten:

1. CLIP-geleide Data Curation (Data Screening)

Om het gebrek aan nachtelijke trainingsdata op te lossen zonder de domeinverschillen te vergroten, gebruiken ze een pre-getrainde CLIP visual encoder (ViT-B/32).

• Selectieproces: Kandidaat-externe samples (van datasets zoals I-HAZE, Dense-Haze en HAZE1K) worden vergeleken met de doel-nachtbeelden op basis van semantische similariteit.
• Filtering: Alleen samples die visueel, qua verlichting of degradatiestijl dicht bij de nachtelijke doel-domein liggen, worden behouden.
• Resultaat: Dit creëert een uitgebreide trainingsset van 59 paren (25 originele NTHazy paren + 34 geselecteerde externe paren), wat diversiteit biedt terwijl de distributie consistent blijft met het doel.

2. Stapsgewijze Restauratie Training (Stage-Wise Training)

Het model (gebaseerd op NAFNet) wordt in twee fasen getraind om domeinverschillen te overbruggen:

• Fase 1 (Target Adaptation): Het model wordt uitsluitend getraind op de 25 originele nachtelijke paren. Hierdoor leert het de basisrepresentaties van nachtelijke mist, zwakke verlichting en doel-domein texturen.
• Fase 2 (Extensie): Het model wordt fijngefineerd (fine-tuned) op de gecombineerde set (nacht + geselecteerde externe data). Omdat het model al een "nacht-prior" heeft, kan het nu de bredere degradatiepatronen van de externe data absorberen zonder de specifieke nachtelijke kenmerken te verliezen.

3. Inferentie-tijd Enhancements

Om de outputstabiliteit en kwaliteit te verbeteren zonder extra trainingskosten, worden drie strategieën tijdens de inferentie toegepast:

• TLC (Local Enhancement): Gebruik van NAFNetLocal met TLC-style aggregatie om lokale statistieken te reconciliëren met globale context, wat essentieel is voor complexe verlichting.
• ×8 Self-Ensemble: De invoer wordt 8 keer getransformeerd (via spiegeling en transpositie), voorspellingen worden teruggeprojecteerd en gemiddeld.
• Gewogen Snapshot Fusie: In plaats van één checkpoint te gebruiken, worden drie checkpoints (bij 80K, 100K en 200K iteraties) gewogen samengevoegd (respectievelijk 0.04, 0.01 en 0.95). Het laatste checkpoint heeft de zwaarste weging omdat het het beste past bij het doel-domein.

Belangrijkste Bijdragen

1. Domein-consistente Data Screening: Een strategie die pre-getrainde visuele representaties (CLIP) gebruikt om externe data te filteren, waardoor de schaarste aan nachtelijke data wordt opgelost zonder negatieve domeinverschuiving.
2. Gecoördineerd Trainingsraamwerk: Een bewezen aanpak waarbij data-screening, stapsgewijze training en inferentie-enhancement samenwerken. Dit toont aan dat een doelgerichte co-design van de trainingspijplijn effectiever kan zijn dan het simpelweg vergroten van de netwerkcomplexiteit.
3. Praktische Implementatie: Een robuuste pijplijn die geen zware backboneredesign vereist, maar wel hoge prestaties levert door slimme data-organisatie en optimalisatiestrategieën.

Resultaten

De methode werd geëvalueerd op de NHM-20 dataset (een publiek reproduceerbare evaluatie) en de NTIRE 2026 challenge.

• Kwantitatieve resultaten: De methode verbeterde aanzienlijk de Y-kanaal PSNR en SSIM (helderheid en structuur) ten opzichte van de mistige invoer en eerdere baselines.
• Beperkingen: De RGB-metrics en LPIPS (perceptuele kwaliteit) verbeterden minder of bleven onder de invoer-baseline. Dit suggereert dat de huidige pijplijn vooral effectief is in het herstellen van de helderheidsstructuur, maar dat kleurtrouw en perceptuele kwaliteit nog ruimte voor verbetering hebben.
• Ensemble-effect: De gewogen ensemble-methode stabiliseerde de output over diverse scènes, hoewel geen enkel checkpoint per definitie de beste was voor elke individuele metric.

Betekenis en Conclusie

Dit paper biedt een praktische en effectieve oplossing voor het complexe probleem van nachtelijke mistverwijdering. Het benadrukt dat bij beperkte data de kwaliteit van de trainingsset (via CLIP-gestuurde selectie) en de trainingsstrategie (stapsgewijs) crucialer zijn dan het gebruik van steeds complexere netwerken.

De belangrijkste inzichten zijn:

• Het direct mengen van dag- en nachtdatasets is schadelijk; semantische filtering is noodzakelijk.
• Een twee-fasen trainingsaanpak (eerst doel-domein, dan extensie) is superieur aan één-fasen training.
• Inferentie-technieken zoals self-ensemble en snapshot-fusie kunnen de robuustheid aanzienlijk verhogen zonder extra trainingskosten.

Toekomstig werk zou zich moeten richten op verfijndere cross-domein selectie en degradatiemodellering die nog dichter bij de realiteit van nachtelijke beeldvorming ligt, met name om de perceptuele kwaliteit en kleurweergave te verbeteren.