CrevasseSeg: A Label-Efficient UAV Crevasse Segmentation Framework

Technische Samenvatting: CrevasseSeg

Probleemstelling
Automatische mapping van gletsjerspleten uit UAV-beelden is cruciaal voor glaciologisch onderzoek en veiligheid in het veld, maar wordt gehinderd door een gebrek aan geannoteerde data. Pixel-niveau semantische segmentatie vereist dichte labeling door domeinexperts, een proces dat arbeidsintensief, kostbaar en niet schaalbaar is. Hoewel self-supervised learning (SSL) de representatie-lering vanuit ongelabelde data heeft gevorderd, blijft de toepassing ervan op remote sensing segmentatie onderbelicht, met name met betrekking tot hoe verschillende feature readout-mechanismen interageren met foundation models in scenario's met weinig labels.

Methodologie
De auteurs introduceren CrevasseSeg, een benchmark-framework ontworpen om label-efficiënte segmentatiestrategieën te evalueren. Het framework maakt gebruik van een dataset van 1.938 ongelabelde UAV-orthomosaic tegels van de Borebreen-gletsjerterminus in Spitsbergen, samen met een vaste split van 24 gelabelde tegels voor validatie en 176 gelabelde tegels voor test.

De methodologie omvat een systematische benchmarking van:

1. Vijf Self-Supervised Objectives: BYOL, Jensen-Shannon Divergence (JSD), Barlow Twins, VICReg, en een gecombineerd BYOL–JSD objective.
2. Drie Architecturen:
   • O-Net: Een Siamese U-Net.
   • O-Net++: Een geneste U-Net++ architectuur.
   • DINOv3-O-Net: Een convolutionele decoder geïnitialiseerd met een bevroren DINOv3 ViT-L backbone (getest met zowel natuurlijke beeld- als satelliet-pre-trained checkpoints).
3. Twee Feature Readouts:
   • Linear Probe: Een lineaire classifier getraind op de bevroren features.
   • Non-linear Readout: Een XGBoost gradient-boosted tree classifier getraind op de bevroren features.

Cruciaal is dat de SSL pre-training/fine-tuning wordt uitgevoerd op de 1.938 ongelabelde tegels, terwijl de classifiers worden gefit alleen op de 24 gelabelde validatietegels. De uiteindelijke evaluatie vindt plaats op de 176 testtegels met behulp van mean Dice Score Similarity (mDSC) en mean Intersection over Union (mIoU).

Belangrijkste Bijdragen

1. CrevasseSeg Benchmark: Een nieuwe publieke dataset die specifiek is gestructureerd als een low-label benchmark (1.938 ongelabeld / 24 gelabeld / 176 gelabeld) om SSL in remote sensing te bestuderen.
2. Systematische Benchmarking: Een uitgebreide evaluatie van SSL objectives en architecturen onder zowel lineaire als non-lineaire readout-protocollen.
3. Analyse van de Interactie tussen Readout en Representatie: De paper identificeert een consistente inversie in prestaties op basis van het type readout. DINOv3-features, die slecht presteren onder linear probing, worden de sterkste performers onder non-lineaire readouts. Omgekeerd excelleren convolutionele architecturen (O-Net) onder linear probing, maar vallen achter onder non-lineaire readouts.
4. Label-Efficiënte Pipeline: De auteurs stellen een pipeline voor die gebruikmaakt van de satelliet-pre-trained DINOv3-O-Net met een BYOL-JSD objective en een XGBoost readout, wat een hoge prestatie bereikt met slechts 24 gelabelde afbeeldingen.

Resultaten

• De Lineaire/Non-Lineaire Inversie: Onder linear probing domineren convolutionele backbones (O-Net/O-Net++) (tot 71,79 mDSC), terwijl DINOv3-configuraties instorten naar bijna de prestatie van de meerderheidsklasse (~48 mDSC). Echter, onder de non-lineaire XGBoost readout keert de rangorde om: de satelliet-pre-trained DINOv3-O-Net met BYOL-JSD behaalt de hoogste scores (75,33 mDSC / 61,82 mIoU), waarmee de convolutionele backbones significant wordt overtroffen.
• Geometrie van de Feature Ruimte: UMAP-visualisaties laten zien dat DINOv3-features pixels fragmenteren in veel kleine, lokaal verweven clusters, waardoor ze onscheidbaar zijn door een enkele lineaire grens. In tegen plaats embedden convolutionele architecturen features op een enkele, klasse-gesorteerde manifold. Een non-lineaire classifier (XGBoost) kan deze lokale clusters effectief uitsnijden en de klassenstructuur herstellen.
• Satelliet Pre-training: Het gebruik van een satelliet-pre-trained DINOv3 checkpoint verbetert consequent de prestaties ten opzichte van natuurlijke beeld-initialisatie over alle objectives onder de non-lineaire readout, met gemiddelde winsten van ~6,4 mDSC.
• Ensemble Verbetering: Een soft-voting ensemble van de drie decoderblokken verbetert de prestaties verder naar 77,30 mDSC / 64,54 mIoU en verzacht de linear probe collapse, waardoor de lineaire evaluatiescore stijgt naar 73,64 mDSC.
• Baseline Vergelijking: De voorgestelde pipeline presteert beter dan standaard machine learning baselines (KNN, Random Forest, XGBoost op ruwe pixels) en recente unsupervised segmentatiemethoden (PriMaPs-EM, EAGLE, STEGO, etc.) wanneer deze op dezelfde 24 gelabelde afbeeldingen worden geëvalueerd.

Betekenis en Claims
De paper claimt dat foundation model features voor remote sensing taken niet uitsluitend beoordeeld moeten worden op basis van linear probing, aangezien deze metriek niet de rijke, non-lineair georganiseerde structuur kan vatten die aanwezig is in modellen zoals DINOv3. De auteurs demonstreren dat een label-efficiënte pipeline, die self-supervised fine-tuning combineert met een non-lineaire readout, state-of-the-art resultaten kan bereiken met minimale annotatie.

Het werk positioneert CrevasseSeg als een instrument om toekomstig onderzoek in label-efficiënte segmentatie te ondersteunen, waarbij specifiek wordt gepleit voor evaluatieprotocollen die rekening houden met non-lineaire scheidbaarheid. De auteurs merken op dat hoewel hun ensemble-aanpak competitief is met toegewijde unsupervised modellen, de resterende kloof in linear probing prestaties en de noodzaak voor multi-seed evaluatie om statistische significantie te bevestigen, gebieden zijn voor toekomstig werk. Ze benadrukken ook dat generalisatie naar verschillende gletsjers en seizoenen nog niet is getest.