Glass Segmentation with Fusion of Learned and General Visual Features

Probleemstelling

Het segmenteren van glasoppervlakken op basis van RGB-afbeeldingen is een uiterst uitdagende taak binnen de beeldverwerking en robotica. Glas is een transparant materiaal dat vaak geen eigen visuele kenmerken heeft; het reflecteert de omgeving en laat de achtergrond zien. Hierdoor kunnen sensoren zoals camera's en LiDAR glas moeilijk onderscheiden van de lucht of de ruimte erachter. Voor robotica is een accurate detectie echter cruciaal voor obstakelvermijding en navigatie, aangezien glas fysiek solide is ondanks zijn transparantie. Bestaande methoden worstelen vaak met de complexe en soms afwezige visuele verschijning van glas, waarbij het begrijpen van de visuele context (bijv. de omgeving eromheen) essentieel is voor een juiste detectie.

Methodologie: L+GNet Architectuur

De auteurs stellen L+GNet voor, een nieuw deep learning-architectuur die gebruikmaakt van een dubbele backbone-strategie om zowel taakspecifieke als algemene visuele kenmerken te combineren. De architectuur bestaat uit de volgende kerncomponenten:

1. Dubbele Backbone:

   • Learned Features Backbone (L): Een Swin-S Transformer model dat op een gesuperviseerde manier is getraind op glassegmentatie-data. Deze backbone leert taakspecifieke kenmerken en levert hiërarchische, multi-schaal features (op schalen van 1/4 tot 1/32 van de invoer) die belangrijk zijn voor het behoud van hoge resolutie details.
   • General Features Backbone (G): Een bevroren (frozen) DINOv3-L vision foundation model. Omdat glas weinig directe visuele informatie bevat, levert dit model algemene, contextuele visuele features die zijn geleerd via self-supervised training op enorme datasets. Deze features helpen het model om de aanwezigheid van glas af te leiden op basis van de omringende scène.

2. Fusie en Channel Reduction (SE Channel Reduction):

   • De output van beide backbones wordt samengevoegd (geconcentreerd). Omdat dit leidt tot een groot aantal feature-kanalen, wordt een nieuwe Squeeze-and-Excitation (SE) Channel Reduction module ingevoerd.
   • Deze module vermindert het aantal kanalen stapsgewijs (via convoluties) en past een SE-mechanisme toe om de netwerken in staat te stellen zich te focussen op de meest relevante features en minder belangrijke kanalen te dempen.

3. Segmentatie Decoder:

   • De gefuseerde features worden ingevoerd in een Mask2Former Decoder. Deze decoder gebruikt een pixel-decoder met deformable attention en een transformer-decoder om op basis van query's de uiteindelijke binaire segmentatiemaskers (glas vs. achtergrond) te genereren.

Belangrijkste Bijdragen

• L+GNet Architectuur: Een innovatieve aanpak die een gesuperviseerd getrainde backbone combineert met een bevroren foundation model (DINOv3) om zowel lokale details als globale context te benutten.
• SE Channel Reduction: Een nieuwe strategie voor het effectief fuseren van de output van twee verschillende backbones, waardoor redundantie wordt verminderd en de relevantie van features wordt versterkt.
• State-of-the-Art Prestaties: Het model bereikt nieuwe staat-van-de-kunst resultaten op meerdere glassegmentatie-datasets, met name in nauwkeurigheid, terwijl het een concurrerende inferentiesnelheid behoudt.

Resultaten

Het model werd geëvalueerd op vier veelgebruikte datasets: GDD, Trans10k-Stuff, GSD en HSO.

• Nauwkeurigheid: L+GNet behaalde de beste resultaten op de meeste metrics (IoU, Fβ, MAE, BER) in vergelijking met bestaande methoden zoals GlassWizard, VBNet en GDNet.
  • Op de GDD-dataset verbeterde het de IoU met +2,7% en de MAE met -36% ten opzichte van de vorige beste methode.
  • Op de GSD-dataset werd een IoU van 0,931 behaald (een verbetering van +4,5%).
• Ablatie Studies: Experimenten toonden aan dat beide backbones essentieel zijn. Het verwijderen van de General Features Backbone (alleen Swin-S) of de Learned Features Backbone (alleen DINOv3) resulteerde in een significante daling van de prestaties.
• Schaalbaarheid en Snelheid:
  • Hoewel het standaardmodel (met DINOv3-L) zeer nauwkeurig is, bleek een variant met het kleinere DINOv3-B backbone een betere afweging tussen snelheid en nauwkeurigheid voor robotische toepassingen.
  • De inferentiesnelheid op een RTX 3090 GPU is 14,2 fps (FP16), wat vergelijkbaar is met of sneller is dan de huidige state-of-the-art methoden, afhankelijk van de gebruikte backbone-variant.
• Kalibratie: Een beperking is dat het model moeite heeft met het leveren van goed gekalibreerde betrouwbaarheidscores (confidence scores), wat waarschijnlijk ligt aan de query-gebaseerde decoder van Mask2Former.

Betekenis en Toekomstperspectief

De studie demonstreert dat het combineren van gespecialiseerde, gesuperviseerde modellen met krachtige, algemene vision foundation models een zeer effectieve route is voor het oplossen van complexe visuele taken zoals glassegmentatie. De methode overwint de beperkingen van eerdere benaderingen die vaak afhankelijk waren van specifieke semantische klassen of minder robuuste contextuele informatie.

Voor de robotica-industrie biedt L+GNet een praktische oplossing die zowel nauwkeurig als snel genoeg is voor on-board verwerking, vooral wanneer gebruik wordt gemaakt van de lichtere backbone-varianten. Toekomstig werk zou kunnen focussen op het verbeteren van de kalibratie van de voorspellingen en het testen van andere backbone-architecturen om de prestaties verder te optimaliseren.