Technische Samenvatting: Lichtbewust Unify Model voor Instance Segmentatie

Probleemstelling

Fundamentmodellen zoals het Segment Anything Model (SAM) hebben indrukwekkende zero-shot generalisatie getoond over diverse visuele domeinen. Hun prestaties verslechteren echter vaak in real-world omgevingen die worden gekenmerkt door ongunstige verlichting, zoals nachtelijk rijden, scènes met weinig licht binnenshuis, overbelichte buitenscènes en gemengde kunstmatige/natuurlijke verlichting. Bestaand onderzoek behandelt lichtvariatie vaak als een secundaire zorg, en lost dit voornamelijk op via generieke data-augmentatie of domeinadaptatietechnieken die volledige hertraining van het model of toegang tot data van het doeldomein vereisen. Dit creëert een kritiek betrouwbaarheidsgat voor veiligheidskritische toepassingen (bijv. autonoom rijden, medische beeldvorming, landbouw) waar lichtomstandigheden variabel en onvoorspelbaar zijn.

Methodologie

De auteurs stellen PLAP-LCA (Pairwise Lighting Augmentation Pipeline with Lighting Convolutional Attention) voor, een raamwerk dat SAM uitrust met robuuste lichtinvariantie zonder computereconomisch onhaalbare fine-tuning van zijn zware backbone. De aanpak werkt op drie niveaus: data, architectuur en training.

1. Data Generatie: Pairwise Lighting Augmentation

Om te trainen voor lichtinvariantie vereist het model paren van afbeeldingen die dezelfde scène onder verschillende lichtomstandigheden weergeven, maar identieke ground-truth maskers delen. De auteurs maken gebruik van twee complementaire strategieën:

• PLAP (Image-Space): Een pijplijn die gecontroleerde, fysisch gemotiveerde lichtbewerkingen (bijv. blootstelling, directionele schaduwen, kleurtemperatuur, vignettering, nevel) toepast op bestaande benchmarkafbeeldingen (COCO, VOC, Cityscapes). Het maakt gebruik van conflictbewuste sampling om tegenstrijdige bewerkingen te vermijden (bijv. warm vs. koel) en een drie-niveau ernstprotocol (Mild, Matig, Ernstig) om een spectrum van lichtdegradatie te simuleren.
• Unity-Lighting (Synthetisch): Een fysisch gerenderde synthetische dataset gegenereerd binnen de Unity-engine. In tegenstelling tot 2D-image-space-bewerkingen, simuleert deze aanpak daadwerkelijk 3D-lichttransport, inclusief reflecties, inter-reflecties en complexe interacties tussen natuurlijke en kunstmatige lichtbronnen. Het levert pixel-perfecte instance-segmentatiemaskers op voor vier lichtomstandigheden: Schoon, Mild, Matig en Ernstig.

2. Architectuur: Lighting Convolutional Attention (LCA) Module

In plaats van de bevroren SAM ViT-B-encoder te fine-tunen, injecteren de auteurs een lichtgewicht LCA-adapter in de laatste twee transformerblokken. De LCA-module is ontworpen om structurele randinformatie te verwerken naast RGB-kenmerken om gevoeligheid voor objectgrenzen onafhankelijk van verlichting te behouden. Het maakt gebruik van een dual-branch architectuur met drie parallelle attentiegates:

• Channel Attention Gate: Kalibreert kenmerkkanalen opnieuw om globale verlichtingsbias te counteren (bijv. helderheidsverschuivingen, veranderingen in kleurtemperatuur) met behulp van statistieken van globale gemiddelde en maximale pooling.
• Spatial Attention Gate: Identificeert lokaal beïnvloede gebieden (bijv. geworpen schaduwen, spiegelende highlights) door kanaaldimensies te comprimeren tot ruimtelijke samenvattingskaarten en deze te verwerken met een groot 7×7 convolutiekern.
• Contrast Attention Gate: Modelleert expliciet de fysische signatuur van lichtvariatie (randen) met behulp van een vaste Laplaciaanse filter op een geleerde intensiteitsprojectie. Deze gate versterkt gedegradeerde structurele grenzen.

Deze gates worden samengevoegd via element-voor-element vermenigvuldiging en geprojecteerd via een depthwise-separable convolutie. Cruciaal wordt de residu-projectie geïnitieerd op nul, waardoor het netwerk begint met training als een exacte kopie van het voorgeöorde SAM, wat representatieschade voorkomt.

3. Trainingsstrategie: Dual-Stream Pairwise Training

Het raamwerk maakt gebruik van een dual-stream-opstelling waarbij schone en variant-afbeeldingen door de gedeelde bevroren encoder gaan.

• Gedeelde Prompts: Dezelfde voorgrondpunten en omhullende rechthoeken worden gebruikt als prompts voor beide streams om ervoor te zorgen dat voorspellingsverschillen uitsluitend voortkomen uit verlichting-geïnduceerde kenmerkvariaties.
• Supervised Loss: Een gewogen mengsel van segmentatieverliezen (BCE + Dice) voor zowel de schone als de variant-streams.
• Consistency Loss: Een nieuw kenmerkconsistentieverlies ($L_{cons}$) dat discrepanties tussen de met sigmoid geactiveerde outputs van de schone en variant-streams bestraft. Dit verlies dwingt het model om identieke voorspellingen te produceren voor dezelfde scène, ongeacht de verlichting, zonder dat extra annotaties nodig zijn.
• Curriculum-Based Weighting: Het gewicht van het consistentieverlies wordt afgestemd om het supervised signaal in evenwicht te brengen, waardoor wordt voorkomen dat het model tijdens de vroege training te sterk wordt beperkt.

Belangrijkste Bijdragen

1. LCA Module: Een lichtgewicht, dual-branch adapter die verlichtingsrobuste structurele representaties injecteert in fundamentmodellen zonder de gewichten van de voorgeöorde backbone bij te werken.
2. Pairwise Training Strategy: Een curriculum-gebaseerde trainingsaanpak die gebruik maakt van een nieuw kenmerkconsistentieverlies om expliciet het representatiegat tussen ideale en ongunstige lichtomstandigheden te overbruggen.
3. Uitgebreide Empirische Studie: Een rigoureuze evaluatie over drie publieke benchmarks (COCO, VOC, Cityscapes) en een nieuwe Unity-gebaseerde synthetische dataset ontworpen voor fysisch nauwkeurige verlichtingsevaluatie.

Experimentele Resultaten

De aanpak werd geëvalueerd op COCO, VOC, Cityscapes en de Unity-synthetische dataset.

• Prestaties: De LCA-module (gecombineerd met decoder-tuning) behaalde een superieure mean Intersection over Union (mIoU) in vergelijking met de baseline SAM en alleen decoder-fine-tuning, met name onder lichtvariant-omstandigheden. Bijvoorbeeld, op de Cityscapes-dataset behaalde LCA+Dec een mIoU van 0,784 onder variant-omstandigheden, vergeleken met 0,560 voor de zero-shot SAM-baseline.
• Robuustheid: De methode verkleinde het prestatiegat tussen schone en variant-afbeeldingen aanzienlijk. In ablatiestudies verbeterde de LCA-module alleen de mean IoU met 61,7% ten opzichte van de SAM-baseline in uitdagende lichtscenario's.
• Efficiëntie: De LCA-module voegt slechts ~2,4M trainbare parameters toe (ongeveer 2,6% overhead) aan het 93,7M SAM ViT-B-model, waardoor de computationele efficiëntie behouden blijft.
• Ablatie: Studies bevestigden dat de depthwise-separable residu-projectie (V3-variant) de belangrijkste architecturale drijver was voor prestatiewinsten. Het gewicht van het consistentieverlies ($\lambda_c$) bleek stabiel over een reeks waarden, waarbij 0,1 de beste balans bood.

Betekenis en Claims

Het artikel beweert dat PLAP-LCA het door lichtvariaties veroorzaakte domeingat succesvol overbrugt en superieure verlichtingsrobuste segmentatie levert. De auteurs benadrukken dat hun aanpak veiliger autonoom rijden 's nachts mogelijk maakt, betrouwbare medische beeldvorming onder variabele klinische verlichting en robuust agrarisch monitoring over dag-nachtcycli zonder dure modelhertraining of kostbare datacollectie in de echte wereld. Door lichtinvariantie te behandelen als een architecturaal en trainingsprobleem van de eerste orde in plaats van een secundaire augmentatietak, biedt het werk een schaalbare oplossing voor het implementeren van fundamentmodellen in veiligheidskritieke, real-world omgevingen. De zero-initialisatie van de adapter zorgt voor stabiele training, en het modulaire ontwerp maakt verlichtingsrobuustheid toegankelijk voor toepassingen met beperkte middelen.