💻 computer science

Instance-Guided Unsupervised Domain Adaptation for Robotic Semantic Segmentation

Dit artikel presenteert een methode voor onbewaakte domeinadaptatie in robotische semantische segmentatie die gebruikmaakt van een volumetrische 3D-kaart en zero-shot instance-segmentatie van een fundamenteel model om multi-view consistente pseudo-labels te genereren, waardoor de prestaties van het perceptiesysteem tijdens de inzet worden verbeterd zonder dat er grondwaarheid in de doeldomein nodig is.

Oorspronkelijke auteurs: Michele Antonazzi, Lorenzo Signorelli, Matteo Luperto, Nicola Basilico

Gepubliceerd 2026-02-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Michele Antonazzi, Lorenzo Signorelli, Matteo Luperto, Nicola Basilico

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot hebt die net als een kind leert de wereld om zich heen te begrijpen. Deze robot is getraind in een perfecte, gecontroleerde "schoolomgeving" (de bron-dataset), waar alles helder, goed verlicht en netjes is. Maar zodra de robot de echte wereld in gaat (de doelomgeving), is het alsof hij plotseling in een donkere, rommelige kelder belandt. De muren zijn anders, het licht is anders, en de objecten zien er anders uit.

Omdat de robot alleen maar de "schoolomgeving" kent, raakt hij in de war. Hij denkt dat een stoel een tafel is, of dat een deur een muur is. Dit fenomeen noemen onderzoekers Domain Shift (een verschuiving in de omgeving).

Deze paper, getiteld "Instance–Guided Unsupervised Domain Adaptation", biedt een slimme oplossing voor dit probleem. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Goocheltruc" van de Robot

Normaal gesproken zou je de robot opnieuw moeten leren in de nieuwe omgeving door hem duizenden foto's te laten zien met de juiste antwoorden (bijv. "dit is een stoel"). Maar dat kost te veel tijd en geld.

De robot probeert het daarom zelf op te lossen door te kijken naar wat hij ziet. Hij maakt een 3D-kaart van de kamer. Omdat hij van verschillende hoeken naar dezelfde objecten kijkt, kan hij proberen een gemiddelde te maken: "Als ik van links een stoel zie en van rechts ook, dan is het zeker een stoel."

Maar hier zit een addertje onder het gras:
Soms ziet de robot een object slechts gedeeltelijk (bijvoorbeeld de hoek van een kast). In zijn 3D-kaart kan deze "halve" hoek per ongeluk worden gemengd met de muur. Omdat de robot vaak naar die hoek kijkt, wordt de fout in de kaart steeds sterker. Het is alsof je een foto van een stoel maakt, maar door een slechte belichting denkt de computer dat het een muur is. Als je dit herhaalt, wordt de "muur" in de kaart steeds duidelijker, terwijl het eigenlijk een stoel is.

2. De Oplossing: De "Super-Visie" van de Basis

De auteurs van dit paper hebben een slimme truc bedacht om die fouten te corrigeren. Ze gebruiken een heel krachtig, modern AI-model (genaamd SAM of Segment Anything Model) dat als een super-gevoelige detective werkt.

Dit model heeft een speciale gave: het kan objecten herkennen zonder dat het ooit is getraind op die specifieke objecten. Het is alsof je een detective vraagt: "Zoek alle losse voorwerpen op deze foto," en hij doet dat perfect, zelfs als hij nog nooit zo'n kamer heeft gezien.

3. Hoe het werkt: De Drie Stappen

Stel je het proces voor als het oplossen van een raadsel:

Stap 1: De Ruwe Schets (Multi-view Consistency)
De robot bouwt eerst zijn 3D-kaart, net als in de oude methodes. Hij kijkt van alle kanten en probeert een beeld te vormen. Dit geeft een ruwe schets, maar die bevat nog steeds die vervelende fouten (zoals de stoel die eruitziet als een muur).
Stap 2: De "Super-Detective" Check (Instance Refinement)
Hier komt de magie. De robot neemt de foto's en vraagt de "Super-Detective" (SAM) om: "Laat me zien waar de losse objecten precies beginnen en eindigen."
De detective zegt: "Kijk, dat is één hele stoel, en dat is één hele kast."
De robot gebruikt deze informatie om zijn ruwe schets te corrigeren. Als de detective zegt "Dit is één stoel", dan accepteert de robot dat, zelfs als zijn eigen 3D-kaart dacht dat het een muur was. De detective zorgt ervoor dat het hele object één kleur krijgt, in plaats van een bonte mix van fouten.
Stap 3: De Leren Momenten (Self-Supervised Fine-tuning)
Nu heeft de robot een perfecte, gecorrigeerde kaart van de kamer. Hij gebruikt deze kaart als een "antwoordenboekje" om zichzelf opnieuw te trainen. Hij leert: "Ah, oké, dit is dus hoe een stoel eruitziet in deze donkere kamer!"
Omdat de robot zichzelf corrigeert zonder dat een mens hoeft in te grijpen, noemen we dit Unsupervised (niet-toegevoegde) aanpassing.

4. Twee Manieren om de Detective te Vragen

De auteurs hebben ontdekt dat je de detective op twee manieren kunt vragen om te helpen:

Het Raster-methode: Je vraagt de detective om overal op de foto te kijken, alsof je een rooster over de foto legt. Dit is goed voor complexe vormen, maar kan soms te veel losse stukjes maken.
De Slimme-methode: Je vraagt de detective om te kijken naar de plekken waar de robot al een beetje zeker is. Dit is conservatiever en voorkomt dat de detective te veel in stukjes hakt.

De beste resultaten krijgen ze door beide methoden te combineren, net als een team van detectives dat van verschillende hoeken naar het bewijs kijkt.

Conclusie: Waarom is dit geweldig?

In het verleden moesten robots vaak vastlopen in nieuwe omgevingen omdat ze niet goed konden omgaan met fouten in hun eigen waarneming.

Met deze nieuwe methode:

Leerden ze zichzelf: Ze hoeven geen menselijke instructeur te hebben.
Zien ze scherper: Ze maken minder fouten over wat een object is (bijvoorbeeld: een deur is een deur, geen muur).
Werken ze beter: In tests bleek dat robots die deze methode gebruikten veel beter presteerden dan robots die alleen op hun eigen ruwe schetsen vertrouwden.

Kortom: De robot leert niet alleen wat hij ziet, maar ook hoe hij het moet groeperen. Hij stopt met het zien van losse pixels en begint echte objecten te begrijpen, zelfs als hij voor het eerst in een nieuwe kamer staat.

Titel: Instance-Guided Unsupervised Domain Adaptation voor Robotische Semantische Segmentatie

Auteurs: Michele Antonazzi, Lorenzo Signorelli, Matteo Luperto, Nicola Basilico (Universiteit van Milaan)
Doel: Verbeteren van de prestaties van semantische segmentatienetwerken voor robots in nieuwe omgevingen zonder gebruik te maken van handmatige annotaties (ground-truth).

1. Het Probleem

Semantische segmentatie is cruciaal voor robotperceptie, maar modellen die zijn getraind op brondatasets (bijv. gecontroleerde omgevingen) lijden vaak onder domeinverschuiving (domain shift) wanneer ze worden ingezet in nieuwe, onbekende doelen omgevingen. Dit leidt tot een significante prestatiedaling.

Uitdaging: Het verzamelen en handmatig annoteren van data in de doelomgeving is kostbaar en onpraktisch voor langdurige robotoperaties.
Bestaande oplossing (UDA): Unsupervised Domain Adaptation (UDA) probeert het model aan te passen zonder externe supervisie. Een veelgebruikte aanpak bij robots is het benutten van multi-view consistentie: het aggregeren van voorspellingen over meerdere kijkhoeken in een 3D-kaart om ruis te verminderen.
Beperking van bestaande methoden: Hoewel multi-view consistentie (zoals in eerdere werken [6]) helpt bij ruimtelijke consistentie, blijft het kwetsbaar voor inconsistenties op objectniveau (instance-level).
- Robots zien objecten vaak gedeeltelijk of verdraaid, wat leidt tot systematische fouten in de 3D-aggregatie (bijv. een kast wordt deels als "muur" gelabeld omdat de eerste hoekjes moeilijk te herkennen waren).
- Deze fouten domineren de 3D-kaart, zelfs als het object later volledig zichtbaar is.
- Het renderingproces introduceert ook artefacten (bijv. onnauwkeurige randen door voxel-discretisatie).

2. Methodologie

De auteurs stellen een nieuw raamwerk voor dat multi-view consistentie combineert met instance-aware refinement (verfijning op objectniveau) via een foundation model. Het proces verloopt in drie fasen (zie Figuur 2 in het artikel):

Fase A: Multi-view Consistente Pseudo-labels

De robot verzamelt een reeks beelden ( $I_t$ ) en dieptedata ( $D_t$ ) in de doelomgeving.
Een vooraf getraind model ( $f_{\theta_s}$ ) genereert per-frame segmentatie.
Deze voorspellingen worden geaggregeerd in een 3D semantische voxel-kaart (met behulp van Kimera Semantics).
Door het renderen van deze kaart vanuit verschillende camera-posities worden multi-view consistente pseudo-labels ( $Y_{MC}$ ) gegenereerd. Dit elimineert veel van de ruis van individuele frames, maar behoudt nog steeds object-niveau fouten en rendering-artefacten.

Fase B: Instance-Aware Refinement (De Kerninnovatie)

Om de fouten van $Y_{MC}$ te corrigeren, wordt een verfijningsstap toegevoegd die gebruikmaakt van Segment Anything Model (SAM), een foundation model voor instance-segmentatie met "zero-shot" capabilities.

Doel: Groeperen van pixels tot coherente objectinstanties en het toewijzen van het juiste semantische label aan het hele object, gebaseerd op de meest betrouwbare waarneming.
Prompting Strategieën: De auteurs testen twee automatische strategieën om prompts voor SAM te genereren:
1. Grid-strategie: Een vast rooster van punten wordt over het beeld gelegd. Dit is effectief voor complexe vormen en gedeeltelijk bedekte objecten, maar kan leiden tot over-segmentatie.
2. Informed-strategie: Prompts worden afgeleid uit de clusters van de $Y_{MC}$ -labels (bepalend voor bounding boxes en centroids van grote semantische gebieden). Dit is conservatiever en voorkomt over-segmentatie, maar kan minder precies zijn bij complexe vormen.
Refinement Proces:
- Voor elke gegenereerde instance-mask ( $b_{n,j}$ ) van SAM wordt het meest voorkomende semantische label uit de oorspronkelijke $Y_{MC}$ -kaart binnen die mask bepaald.
- Dit label wordt vervolgens over de hele instance-mask geprojecteerd, waardoor inconsistenties worden opgelost (bijv. als een kast deels als muur was gelabeld, wordt het hele object nu als "kast" gelabeld).
- Bij de grid-strategie worden masks gesorteerd op grootte om te voorkomen dat kleine objecten door grote worden overschreven.

Fase C: Self-Supervised Fine-tuning

De verfijnde pseudo-labels ( $Y_{IR}$ ) worden gebruikt als supervisie om het oorspronkelijke model ( $f_{\theta_s}$ ) aan te passen tot een nieuw model ( $f_{\theta_t}$ ) dat beter presteert in de doelomgeving.

3. Belangrijkste Bijdragen

Nieuw Framework: Een UDA-methode die multi-view consistentie combineert met instance-bewuste pseudo-label verfijning specifiek voor robotica.
Integratie van Foundation Models: Het gebruik van SAM voor zero-shot instance-segmentatie, aangevuld met twee complementaire, automatische prompting strategieën (Grid en Informed).
Robuustheid: De methode lost persistenten fouten op die ontstaan door gedeeltelijke observaties en rendering-artefacten, wat leidt tot stabielere en nauwkeurigere annotaties.
Experimentele Validatie: Uitgebreide evaluatie op echte robotdata (ScanNet-dataset) zonder gebruik van ground-truth labels in de doelomgeving.

4. Resultaten

De experimenten zijn uitgevoerd op de ScanNet-dataset (1513 sequenties in 707 indoor omgevingen). De prestaties werden gemeten met mIoU (mean Intersection over Union).

Verbetering van Pseudo-labels:
- De instance-refinement stap verbeterde de kwaliteit van de multi-view labels ( $Y_{MC}$ ) gemiddeld met 3,8% (Grid) en 4,1% (Informed) in mIoU.
- In tegenstelling tot de baseline, die in sommige omgevingen de prestaties verslechterde (tot -17%), verbeterde de voorgestelde methode consistent de labels in bijna alle omgevingen.
Prestaties van het Aangepaste Model:
- Zelfde sequentie (Train/Test): De methode verbeterde de baseline (multi-view consistentie) met gemiddeld 4,3% tot 6,7% mIoU, afhankelijk van de strategie en voxel-grootte.
- Verschillende sequenties (Realistische deploy): Wanneer training en testen op verschillende trajecten binnen dezelfde omgeving plaatsvonden (een realistischere test), overtrof de methode de baseline met gemiddeld 7% mIoU.
- Robuustheid tegen Voxel-grootte: De methode presteerde consistent goed, ongeacht of er een fijne (3cm) of grove (5cm) voxel-grootte werd gebruikt. Dit is belangrijk voor de rekenefficiëntie van robots.
- Combinatie (IRGI): Het combineren van beide prompting-strategieën tijdens het trainen gaf de beste resultaten, omdat de nadelen van de ene methode werden gecompenseerd door de andere.

5. Significatie

Dit werk is significant voor de robotica omdat het een praktische oplossing biedt voor het "koud starten" van robots in nieuwe omgevingen zonder menselijke tussenkomst.

Het adresseert een fundamentele beperking van bestaande UDA-methoden: het gebrek aan object-coherentie.
Het demonstreert hoe foundation modellen (zoals SAM) effectief kunnen worden ingezet voor self-supervised learning in robuuste, real-world scenario's.
De methode maakt het mogelijk dat robots hun perceptiesystemen continu verbeteren tijdens langdurige operaties, wat essentieel is voor autonome navigatie en interactie in dynamische omgevingen.

Kortom, de auteurs tonen aan dat het toevoegen van een "instance-aware" laag aan bestaande 3D-consistentie-methoden leidt tot aanzienlijk betere en betrouwbaardere semantische segmentatie voor robots in de praktijk.