Technische Samenvatting: GOOSE 2D Fine-Grained Semantic Segmentation Challenge Inzending

Probleemstelling

Het artikel behandelt de GOOSE 2D Fine-Grained Semantic Segmentation Challenge, georganiseerd voor de ICRA 2026 Workshop on Field Robotics. Het kernprobleem betreft semantische segmentatie in ongestructureerde buitenomgevingen, wat unieke moeilijkheden met zich meebrengt vergeleken met stedelijke omgevingen. Deze uitdagingen omvatten:

• Fijnmazige discriminatie: Het onderscheiden van een groot aantal visueel gelijkaardige terrein- en obstakelklassen (56 fijnmazige klassen en 11 bredere categorieën).
• Long-tailed distributies: Een significante onbalans waarbij sommige klassen overvloedig aanwezig zijn terwijl andere ernstig ondervertegenwoordigd zijn.
• Cross-domain robuustheid: De noodzaak om te generaliseren over diverse omgevingen, weersomstandigheden en robotplatforms.
• Datascarciteit: De beperkte beschikbaarheid van geannoteerde data voor buitenopnames heeft de vooruitgang historisch gezien belemmerd.

De uitdaging maakt gebruik van de verenigde GOOSE en GOOSE-Ex datasets, bestaande uit meer dan 13.000 dicht geannoteerde afbeeldingen die zijn vastgelegd met vier verschillende camera-opstellingen.

Methodologie

De aanpak van de auteurs evolueerde van een standaard baseline naar een meer geavanceerde architectuur, waarbij de focus lag op twee primaire variabelen: de modelarchitectuur en de ruimtelijke context die tijdens de training wordt geboden.

1. Architecturale Transitie: SegFormer naar Mask2Former

• Baseline (SegFormer): De auteurs maakten aanvankelijk gebruik van SegFormer (B2 variant, voorgetraind op Cityscapes), een hiërarchische Transformer-encoder met een lichtgewicht MLP-decoder. Dit diende als een computationeel efficiënte baseline voor snelle exploratie.
• Voorgesteld Model (Mask2Former): De primaire architecturale verschuiving was naar Mask2Former (met een Swin-L backbone, voorgetraind op Cityscapes). Dit model behandelt segmentatie als een query-gebaseerd masker-classificatieprobleem. In plaats van pixel-niveau classificatie, gebruikt het een vaste set queries om segmentatiemaskers en semantische categorieën te voorspellen via gemaskeerde aandacht (masked attention). De auteurs hypothetiseren dat dit superieur is voor fijnmazige taken omdat het redeneert over coherente semantische regio's, waarbij gebruik wordt gemaakt van de omvang, vorm en context van objecten om visueel gelijkaardige klassen te onderscheiden.

2. Trainingsconfiguratie en Ruimtelijke Context

• Analyse van Crop-grootte: Een cruciaal onderdeel van de studie was de empirische analyse van trainings-crop-groottes. Modellen werden getraind met crops van ofwel 512 × 512 of 1024 × 1024 pixels. De auteurs stelden dat grotere crops de scène-brede contextuele aanwijzingen behouden die nodig zijn om visueel gelijkaardige categorieën te onderscheiden.
• Data-augmentatie: Er werd een robuuste augmentatie-pipeline toegepast, inclusief willekeurige herschaling, horizontale spiegeling, kleurjittering en verstoringen van de beeldkwaliteit (Gaussische ruis, vervaging, scherpte).
• Test-Time Augmentation (TTA): De uiteindelijke inzending maakte gebruik van TTA met drie schaalfactoren (0.75, 1.0, 1.25) en horizontale spiegeling om de voorspellingsrobuustheid te verbeteren.
• Optimalisatie: Modellen werden getraind met AdamW met een cosine learning rate decay over 50 epochs. SegFormer gebruikte pixel-gewijze cross-entropy loss, terwijl Mask2Former een gewogen combinatie gebruikte van cross-entropy, binary cross-entropy mask loss en Dice loss.

Belangrijkste Resultaten

De auteurs voerden een ablatie-studie uit op de validatieset (1.369 afbeeldingen) en rapporteerden de definitieve resultaten op de challenge testset.

Kwantitatieve Prestaties

• Impact van Crop-grootte: Het vergroten van de trainings-crop-grootte van 512×512 naar 1024×1024 leverde significante winst op. Voor SegFormer steeg de samengestelde mIoU ($mIoU_{comp}$) van 58,4% naar 61,5%. Voor Mask2Former was deze toename nog prominenter, met een sprong van 67,5% naar 73,4%.
• Architectuurvergelijking: De overstap van SegFormer naar Mask2Former (bij 512×512) resulteerde in een toename van +9,1 punt in $mIoU_{comp}$.
• Uiteindelijke Inzending: De combinatie van Mask2Former, training met grote crops en TTA bereikte een uiteindelijke $mIoU_{comp}$ van 69,6% op de testset, waarmee de 5e plaats in de competitie werd behaald.
  • Coarse mIoU: 76,6%
  • Fine mIoU: 62,7%

Observaties per Categorie

• Hoge Prestaties: Veelvoorkomende categorieën zoals Terrein, Vegetatie en Lucht bereikten meer dan 90% IoU.
• Uitdagingen: Ondervertegenwoordigde klassen zoals "Dier" (26,9%) en "Water" (58,8%) bleven moeilijk.
• Semantische Ambiguïteit: Er bestond een opvallend gat tussen "Voertuig" (92,6% IoU) en "Object" (62,7% IoU). De auteurs schrijven de lagere prestaties op "Object" toe aan de heterogene aard ervan, wat ambigue grenzen creëert met andere categorieën.

Kwalitatieve Bevindingen

• Structurele Preservatie: Mask2Former demonstreerde een superieur vermogen om dunne structuren (bijv. palen, draden) te behouden vergeleken met SegFormer, wat wordt toegeschreven aan de pixel decoder die voorkomt dat hoog-resolutie features verloren gaan.
• Coherentie: Mask2Former produceerde meer ruimtelijk coherente maskers en segmenteerde complexe vormen (bijv. trailers) correct, waar SegFormer gefragmenteerde resultaten produceerde.
• Contextueel Redeneren: Training met grote crops stelde het model in staat om tussen visueel gelijkaardige lokale verschijningsvormen te differentiëren op basis van globale context. Bijvoorbeeld, het model kon onderscheid maken tussen "voorgrondbomen" en "bos" (waar individuele bomen onduidelijk zijn) door de zichtbaarheid van stammen en de afstand tot het voertuig te analyseren. Op dezelfde manier identificeerde het correct een wazige muur als een muur in plaats van een heg door gebruik te maken van de aanwezigheid van de weg en de algemene vorm van de structuur.

Betekenis en Claims

Het artikel claimt dat de bevindingen een sterke baseline bieden voor fijnmazige semantische segmentatie in buitenomgevingen. De betekenis van het werk wordt als volgt samengevat:

1. Effectiviteit van Query-gebaseerde Benaderingen: De studie toont aan dat query-gebaseerde masker-classificatie (Mask2Former) conventionele dense prediction architecturen (SegFormer) aanzienlijk overtreft voor fijnmazig begrip van buitenomgevingen.
2. Cruciale Rol van Ruimtelijke Context: De auteurs benadrukken dat het vergroten van de ruimtelijke context tijdens de training (via grotere crop-groottes) essentieel is voor fijnmazige disambiguatie. Dit stelt modellen in staat om scène-brede aanwijzingen te gebruiken om visueel gelijkaardige elementen die tot verschillende semantische categorieën behoren, van elkaar te scheiden.
3. Reproduceerbaarheid: Om toekomstig onderzoek te faciliteren, hebben de auteurs hun code en gewichten publiekelijk beschikbaar gesteld, waarmee een reproduceerbare basis voor verder werk in dit domein is gelegd.

Het artikel concludeert dat hoewel er uitdagingen blijven bestaan voor long-tailed en ambigue klassen, de combinatie van query-gebaseerde architecturen en uitgebreide ruimtelijke context een robuust pad biedt voor het begrijpen van buitenomgevingen.