💻 computer science

SAM3 Self-Distillation for Fine-Grained GOOSE 2D Semantic Segmentation

Dit artikel presenteert de oplossing voor de 4e plaats in de ICRA 2026 GOOSE 2D Fine-Grained Semantic Segmentation, die een mIoU van 69,73% bereikt door het SAM3-fundatiemodel aan te passen met een lichtgewicht decoder en de prestaties te verbeteren via een zelf-distillatieschema, beeldniveau multi-schaal test-time augmentatie en agressieve fotometrische distortie.

Oorspronkelijke auteurs: Xuesong Wang

Gepubliceerd 2026-06-19

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xuesong Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om off-road te rijden, maar in plaats van dat hij alleen "een boom" of "een rots" ziet, moet de robot 64 specifieke soorten dingen onderscheiden, zoals "laag gras", "struiken", "mos" en "stepjes". Dit is de uitdaging waar de auteur, Xuesong Wang, zich mee heeft aangepakt voor de ICRA 2026 GOOSE-competitie. Het doel was om een systeem te bouwen dat elke pixel in een camerabeeld kan labelen met de juiste objectnaam.

De inzending van de auteur behaalde de 4e plaats met een score van 69,73%. Hier is hoe ze het deden, uitgelegd via eenvoudige analogieën.

Het kernidee: Een slimme student en een superleraar

Het team heeft het brein van hun robot niet vanaf nul opgebouwd. In plaats daarvan gebruikten ze een vooraf getrainde "superleraar" genaamd SAM3 (Segment Anything Model 3). Denk aan SAM3 als een genie-kunstenaar die miljoenen afbeeldingen heeft gezien en precies weet hoe hij de contouren van bijna elk object moet tekenen als je ernaar wijst.

Deze genie-kunstenaar is echter een beetje rigide; hij werkt alleen goed op specifieke prompts en kent de specifieke 64 "off-road" klassen niet die de robot moet leren.

De oplossing:

De student: Ze namen het "brein" (de image encoder) van de genie-leraar (SAM3) en gaven het een kleine, eenvoudige "kop" (een decoder) om de specifieke off-road klassen te leren.
Gedeeltelijke training: Ze hebben niet het hele genie-brein opnieuw getraind. Ze hebben alleen de bovenste lagen (het deel dat complexe details afhandelt) aangepast, terwijl de onderste lagen (die basisvormen en randen kennen) bevroren bleven. Dit is als het inhuren van een meesterkok om een nieuw restaurant te onderwijzen; je traint hen niet opnieuw in hoe ze uien snijden (dat weten ze al), je leert ze alleen jouw specifieke geheime recept.

De drie geheime ingrediënten

Het artikel benadrukt drie specifieke trucs die de score een boost gaven:

1. De "Oracle Box" Self-Distillation (De leraar helpt de student)

Normaal gesproken leert een student van een leraar door te kijken hoe deze een probleem oplost. Hier zijn de student (de robot) en de leraar (SAM3) eigenlijk hetzelfde modeltype.

De truc: Voordat de training begon, vroeg het team de "genie-leraar" (SAM3) om perfecte contouren rond objecten te tekenen met behulp van de juiste grondwaarheid-boxen (zoals een spiekbriefje).
De adder onder het gras: De leraar is niet overal perfect in; hij is geweldig in het tekenen van een "vrachtwagen" of "boom", maar slecht in "hekken" of "mos" (hij tekent buiten de lijntjes).
De oplossing: Het team liet de leraar alleen helpen bij de klassen waar hij duidelijk beter was dan de student. Voor die 22 specifieke klassen (zoals vrachtwagens, bussen en verkeerskegels) werd de student gedwongen om de perfecte tekening van de leraar te kopiëren. Voor de andere klassen leerde de student het op zijn eigen manier.

2. De "Agressieve Kleurmake-over" (De moeilijkste les)

Off-road omgevingen veranderen drastisch: sneeuw in de winter, modder in de lente, felle zon in de zomer en regen in de herfst. Een robot die vertrouwt op "groen betekent gras" zal falen wanneer het gras bedekt is met sneeuw of bruin oogt in de winter.

De truc: Tijdens de training nam het team elke afbeelding en veranderde ze agressief de kleuren. Ze veranderden willekeurig de helderheid, het contrast, de verzadiging en de tint.
De analogie: Stel je voor dat je een student traint om een "verkeersbord" te herkennen, niet alleen aan de rode kleur, maar ook aan de achthoekige vorm. Je laat ze het bord zien in zwart-wit, in neon groen, in sepia en in het donker.
Het resultaat: Dit was de enkele grootste verbetering (+0,86 punten). Het dwong de robot om te stoppen met gokken op basis van kleur en te beginnen met het herkennen van vormen en texturen.

3. De "In- en Uitzoomen" Truc (Multi-Scale Testing)

De meeste moderne AI-modellen zijn als camera's met een vaste lens; ze kunnen alleen naar een afbeelding kijken op één specifieke grootte. Als je ze een kleine afbeelding voert, worden ze wazig; als je ze een enorme afbeelding voert, worden ze gepixelerd.

Het probleem: De standaardmanier om dit op te lossen is door het model aan te passen om naar verschillende formaten te kijken, maar dit model was te rigide om van lens te wisselen.
De workaround: In plaats van het model te veranderen, veranderden ze de afbeelding. Voordat de afbeelding naar het brein van de robot ging, maakten ze de afbeelding kleiner naar 75% van de grootte en vergrooten ze deze juist naar 125%.
Het proces:
1. Neem de originele foto.
2. Maak hem kleiner, haal hem door het brein van de robot, en noteer het antwoord.
3. Maak hem groter, haal hem door het brein, en noteer het antwoord.
4. Haal de originele grootte ook door het brein.
5. Middel het resultaat.
Waarom het werkt: Een "verkeerskegel" van veraf bekijken (verkleind) helpt de robot het hele object te zien. De kegel van dichtbij bekijken (vergroot) helpt de robot de fijne details te zien. Het combineren van beide perspectieven maakt de gok veel nauwkeuriger. Dit voegde nog eens +0,34 punten toe zonder dat er extra training nodig was.

Wat werkte niet?

De auteur was eerlijk over wat hij probeerde dat mislukte:

Zwaardere Breinen: Ze probeerden een complexere "kop" (decoder) voor het model te gebruiken, maar dat maakte de robot juist slechter in het spotten van kleine, zeldzame objecten.
Andere Leraren: Ze testten andere beroemde AI-modellen (zoals DINOv2), maar geen van hen was zo goed als SAM3 voor deze specifieke taak.
Willekeurig Resizen: Het willekeurig aanpassen van de grootte van afbeeldingen tijdens de training hielp niet zoveel als de agressieve kleurveranderingen.

De essentie

De robot behaalde de 4e plaats door een krachtig vooraf getraind AI-model als basis te gebruiken, een "genie-leraar" te laten helpen bij het leren van de makkelijke klassen, de robot te dwingen om kleurkenmerken te negeren zodat hij vormen leert herkennen, en een slimme "zoom-truc" te gebruiken tijdens de uiteindelijke test om objecten van verschillende afstanden te bekijken.

Wat is het enige waar het nog steeds mee worstelt? "Mos". De robot blijft mos verwarren met laag gras of de bosbodem, waarschijnlijk omdat mos zo zeldzaam is en er zo vergelijkbaar uitziet als andere dingen in de dataset.

Technisch overzicht: SAM3 Zelf-distillatie voor fijnmazige GOOSE 2D semantische segmentatie

Probleemstelling

Het artikel behandelt de ICRA 2026 GOOSE 2D Fine-Grained Semantic Segmentation Challenge, die vereist dat elke pixel in off-road beelden wordt gelabeld met een van de 64 fijnmazige klassen (bijv. specifieke vegetatietypes, voertuigmodellen) die aggregeren in 11 grove supercategorieën. De uitdaging wordt geëvalueerd op een testset van 1.815 afbeeldingen die zijn vastgelegd door vier verschillende robotische cameraplatforms (MuCAR-3, ALICE en twee Spot-configuraties).

De auteurs identificeren drie primaire moeilijkheden in dit domein:

Long-tailed Class Distribution (Lange staart-verdeling): Een paar klassen (bijv. bos, laag gras) domineren de trainingsdata, terwijl andere (bijv. step, pijp) slechts in enkele delen per miljoen voorkomen.
Visuele Nabijheid (Visual Near-Equivalence): Veel klassen binnen dezelfde supercategorie (bijv. verschillende vegetatietypes) verschillen slechts subtiel in kroon dichtheid of hardheid, wat leidt tot hoge verwarringspercentages.
Platform Heterogeniteit: Variaties in resolutie, belichting en gezichtspunt over de vier cameraplatforms maken het moeilijk om een model te creëren dat generaliseert zonder te overfitten op een specifieke geometrie.

Methodologie

De voorgestelde oplossing past het Segment Anything Model 3 (SAM3) visuele foundation model aan voor off-road segmentatie. De architectuur en de trainingspipeline bestaan uit de volgende componenten:

1. Backbone en Decoder

Backbone: De auteurs maken gebruik van de vooraf getrainde image encoder van SAM3. In plaats van deze volledig te bevriezen of vanaf nul opnieuw te trainen, passen ze partiële fine-tuning toe: de onderste lagen (die generieke visuele kenmerken vastleggen) blijven bevroren, terwijl de bovenste 12 transformer blocks worden gefinetuned. Dit balanceert het behoud van algemene kennis met de aanpassing aan het off-road domein.
Decoder: Een lichtgewicht Feature Pyramid Network (FPN) stijl decoder wordt aan de encoder gekoppeld. Deze fuseert multi-resolutie kenmerken tot een enkele per-pixel klassekaart. De auteurs ontdekten dat een complexere decoder (UPerNet) iets slechter presteerde, waarschijnlijk door het vervagen van kleine of zeldzame objecten.

2. SAM3 Oracle-Box Zelf-distillatie

Een nieuw zelf-distillatieschema wordt geïntroduceerd waarbij SAM3 zelf als docent fungeert voor het studentmodel:

Mechanisme: SAM3 wordt geprompt met grondwaarheid bounding boxes ("oracle-box prompting") om hoogwaardige soft masks te genereren voor specifieke objecten.
Selectiecriterium: SAM3 wordt niet gebruikt als docent voor alle klassen. De auteurs evalueren klassen vooraf en passen distillatie alleen toe voor 22 klassen waar de oracle-box masks van SAM3 aantoonbaar superieur zijn aan de initiële voorspellingen van de student (meestal compacte, goed gedefinieerde objecten zoals vrachtwagens, verkeersborden en bomen).
Loss Functie: De trainingsdoelstelling combineert standaard cross-entropy loss ( $L_{CE}$ ) voor alle 56 klassen met een distillatie loss ( $L_{teach}$ ) voor de geselecteerde 22 klassen, gewogen met $\lambda = 0.3$ .

3. Agressieve Fotometrische Distortie

De pipeline hanteert een agressieve kleuraugmentatiestrategie van een winnende 2025-entry. In tegen afhankelijk van standaardmethoden die helderheid, contrast, verzadiging en tint gelijktijdig verstoren, past deze aanpak elke verstoring onafhankelijk toe met een waarschijnlijkheid van 0,5. Dit creëert een rijkere distributie van trainingsbeelden, waardoor het model wordt gedwongen te vertrouwen op vorm en textuur in plaats van kleurkenmerken, wat cruciaal is gezien de variërende lichtomstandigheden en seizoensgebonden condities in off-road scènes.

4. Image-Level Multi-Scale Test-Time Augmentation (TTA)

Standaard multi-scale TTA houdt in dat de modelinput wordt geschaald. Echter, de encoder van SAM3 accepteert alleen een vaste inputgrootte (1008×1008). De auteurs stellen een workaround voor:

Proces: In plaats van de modelinput te schalen, wordt de volledige testafbeelding geschaald naar factoren van {0,75, 1,0, 1,25}.
Inference: Elke geschaalde afbeelding wordt verwerkt via sliding-window inference (tiling) op de natuurlijke resolutie van het model.
Fusie: De resulterende score maps worden teruggeschaald naar de originele afbeeldingsdimensies, gewogen met een Hann-venster om de randen van de tiles te verzachten, en geaccumuleerd over de schalen. De uiteindelijke voorspelling is de klasse met de hoogste geaccumuleerde score. Dit herstelt de voordelen van multi-scale inference zonder de fixed-input model opnieuw te trainen.

Belangrijkste Resultaten

Het uiteindelijke model behaalde een composiete mean Intersection-over-Union (mIoU) van 69,73% op de officiële testset, waarmee de 4e plaats in de uitdaging werd behaald. De uitsplitsing van de prestatiewinst is als volgt:

Base Model (Encoder + Decoder): 67,71% composiete mIoU.
+ SAM3 Zelf-distillatie: Verbeterd naar 68,38% (+0,67).
+ Flip Augmentatie: +0,13 tot +0,15 verbetering.
+ Agressieve Kleur Augmentatie: De grootste bron van verbetering, voegde +0,86 toe (bereikte 69,24%). Dit was bijzonder effectief voor zeldzame klassen (bijv. de IoU van de step steeg van 7,90% naar 29,65%).
+ Image-Level Multi-Scale TTA: Voegde nog eens +0,34 toe (bereikte 69,73%), wat vooral ten goede kwam aan middel-zeldzame, goed gedefinieerde objecten zoals verkeerskegels en borden.

Waarnemingen per klasse:

Succes: Het model presteerde sterk op de supercategorieën Lucht (97,47%), Vegetatie (94,01%) en Voertuig (90,94%). Kleuraugmentatie redde de zeldzame klassen aanzienlijk.
Falen: Het model had moeite met mos (daalde naar bijna 0% IoU met kleuraugmentatie), en boomwortel, waarschijnlijk door de visuele gelijkenis met andere vegetatieklassen en extreme zeldzaamheid. Categorieën Water en Dier bleven ook zwak (<50% IoU).

Betekenis en Bijdragen

Het artikel claimt drie primaire bijdragen:

Zelf-distillatie vanuit het Foundation Model: Aantonen dat een foundation model (SAM3), wanneer geprompt met grondwaarheid boxen, kan dienen als een hoogwaardige docent voor specifieke klassen in een gespecialiseerd domein, waardoor de voorspellingen van het studentmodel worden verfijnd zonder externe docentnetwerken te vereisen.
Image-Level Multi-Scale TTA: Het bieden van een generaliseerbare methode om multi-scale inference mogelijk te maken voor elk model dat aan een vaste inputgrootte is gebonden door de afbeelding te schalen in plaats van de modelinput, waardoor de nauwkeurigheidswinst wordt hersteld zonder extra trainingskosten.
Empirische bevinding over Kleur Augmentatie: Benadrukken dat agressieve, onafhankelijke fotometrische distortie — eerder succesvol in een 2025 challenge — de meest impactvolle component is voor deze specifieke pipeline, wat aanzienlijk beter presteert dan andere architecturale aanpassingen of loss functies.

De auteurs merken op dat hoewel de aanpak effectief is, het het fundamentele probleem van binnen-vegetatie verwarring voor extreem zeldzame klassen (zoals mos) niet oplost, wat suggereert dat toekomstige verbeteringen mogelijk aanvullende pretraining op gerelateerde off-road datasets vereisen.