🤖 machine learning

Trinity: Unifying Class-Agnostic Terrain and Semantic Segmentation for Unstructured Outdoor Environments by Leveraging Synthetic Data

Dit artikel introduceert Trinity, een op transformatoren gebaseerde architectuur die klassiek-specifieke semantische segmentatie en klassiek-agnostische terreinsegmentatie verenigt met behulp van een nieuw synthetisch dataset (RUGDSynth) en een in de echte wereld geannoteerd dataset (EXTerra) om robot-onafhankelijk terreinbegrip voor ongeordende buitenomgevingen mogelijk te maken.

Oorspronkelijke auteurs: Marcus G Müller, Wout Boerdijk, Maximilian Durner, Riccardo Giubilato, Abel Gawel, Wolfgang Stürzl, Roland Siegwart, Rudolph Triebel

Gepubliceerd 2026-05-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Marcus G Müller, Wout Boerdijk, Maximilian Durner, Riccardo Giubilato, Abel Gawel, Wolfgang Stürzl, Roland Siegwart, Rudolph Triebel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een robot voor die probeert een wilde, rommelige bos te doorkruisen. Om van punt A naar punt B te komen, moet het de grond op twee zeer verschillende manieren tegelijkertijd begrijpen.

Het Probleem: Het Dilemma van "Eén Maat Slaat Niemand"
Huidige robotvisiesystemen zijn als stijve regelboeken.

De "Labeler"-aanpak: Sommige systemen zoeken alleen naar specifieke, benoemde dingen zoals "boom", "rots" of "hek". Maar in het wild is de grond niet zomaar een lijst met items; het is een mengsel van modder, zand en gras dat in elkaar overloopt. Als de robot een stuk modder ziet dat op zand lijkt, kan een stijve labeler in de war raken omdat het niet in een vooraf geschreven categorie past.
De "Bereikbaarheid"-aanpak: Andere systemen proberen te beslissen of de grond "begaanbaar" is of "niet begaanbaar". Maar dit is als het stellen van een vraag die alleen zin heeft voor één specifieke persoon. Een zandpad is makkelijk voor een vrachtwagen maar onmogelijk voor een fiets. Als je een robot traint om te weten wat begaanbaar is voor zijn specifieke wielen, dan is die kennis niet overdraagbaar naar een andere robot met andere poten of wielen.

Het resultaat? Elke keer als je de robot of de omgeving verandert, moet je opnieuw beginnen, nieuwe data verzamelen en de robot vanaf nul opnieuw leren.

De Oplossing: "Trinity"
De auteurs stellen een nieuw systeem voor dat Trinity heet. Denk aan Trinity als het brein van een robot dat tegelijkertijd twee paren bril draagt:

De "Specifieke" Bril (Klasse-specifiek): Deze bril zoekt naar benoemde objecten die belangrijk zijn voor de missie, zoals "rotsen", "bomen" of "hekken". Het is als een bibliothecaris die precies weet waar de secties "Fictie" en "Geschiedenis" zich bevinden.
De "Algemene" Bril (Klasse-agnostisch): Deze bril negeert namen en kijkt alleen naar textuur en kleur. Ze groepeert de grond in visuele brokken op basis van hoe het eruit ziet, niet wat het heet. Het is als een schilder die een vlek "bruine ruwe stof" en een vlek "groene zachte stof" ziet zonder te hoeven weten of ze technisch gezien "modder" of "gras" zijn. Dit perspectief is universeel; het werkt voor een vrachtwagen, een drone of een rover omdat het gewoon beschrijft wat het oog ziet.

Het Geheime Ingrediënt: Synthetische Training
Een robot leren dit in de echte wereld te doen is een nachtmerrie. Je zou mensen naar modderige velden moeten sturen om duizenden lijnen op foto's te tekenen en elk stukje grond te labelen. Het is traag, duur en saai.

Om dit op te lossen, bouwde het team een virtuele speeltuin (met behulp van een simulator genaamd OAISYS). Ze creëerden een enorme bibliotheek met nep-buitenwerelden vol digitale bomen, rotsen en meer dan 200 verschillende soorten grondtexturen. Ze noemen deze dataset RUGDSynth.

De Analogie: Stel je voor dat je een piloot traint. In plaats van een echt vliegtuig 10.000 keer te laten crashen om te leren landen, zet je ze in een vliegsimulator. De simulator kan oneindig veel verschillende weersomstandigheden en startbanen direct genereren. Trinity leerde zijn "grondbesef" in dit digitale zandbakje, waarbij het visuele patronen herkende zonder dat een mens elk afzonderlijk pixel hoefde te labelen.

De Resultaten: Een Nieuw Soort Kaart
Het team testte Trinity op data uit de echte wereld, waaronder een laboratorium voor planetaire verkenning (een nep-Mars-omgeving).

Het Resultaat: Trinity slaagde erin om de wereld in één keer op te splitsen in "benoemde objecten" (zoals een hek) en "visuele terreinbrokken" (zoals een ruw, rotsachtig gebied).
De Vergelijking: Ze vergeleken Trinity met andere toptop-systemen. Terwijl andere systemen worstelden wanneer de grond wazig leek of wanneer grenzen onduidelijk waren, bleef Trinity kalm en identificeerde het correct de visuele textuur van de grond, zelfs wanneer het de specifieke naam niet kende.

Kortom
Trinity is een robotvisiesysteem dat stopt met proberen de rommelige, natuurlijke wereld te forceren in een stijve lijst met categorieën. In plaats daarvan leert het de wereld te zien in twee lagen: de objecten die belangrijk zijn (zoals bomen) en de visuele textuur van de grond (zoals ruw of glad). Door eerst te trainen op een enorme, computergenererde wereld, leert het terrein zo goed te begrijpen dat het kan worden gebruikt door verschillende robots op verschillende plaatsen zonder elke keer opnieuw te hoeven worden onderwezen.

Technische Samenvatting: Trinity: Unificatie van klassenongebonden terrein- en semantische segmentatie voor ongestructureerde buitenomgevingen

Probleemstelling
Mobiele robots die opereren in ongestructureerde buitenomgevingen vereisen robuust terreinbegrip voor navigatie, toestandschatting en missieplanning. Bestaande visiegebaseerde benaderingen staan voor twee primaire beperkingen:

Bereikbaarheidsschatting: Huidige methoden vertrouwen vaak op robotspecifieke annotaties of semantische klassenmappings. Dit creëert een afhankelijkheid waarbij modellen opnieuw getraind of geannoteerd moeten worden wanneer de robotcapaciteiten veranderen of bij inzet in nieuwe omgevingen, wat de overdraagbaarheid en schaalbaarheid beperkt.
Semantische segmentatie: Standaard methoden richten zich op vooraf gedefinieerde semantische klassen (bijvoorbeeld "weg", "gebouw"). Buitenlandse terreinen vertonen echter vaak onregelmatige gebieden, geleidelijke overgangen en visuele gelijkenissen die vaste taxonomieën ontoereikend maken. Bovendien is de bereikbaarheid van een terrein (bijvoorbeeld aarde of gras) contextafhankelijk, variërend met omgevingscondities en het specifieke robotplatform, waardoor absolute semantische labels universeel moeilijk te definiëren zijn.

Methodologie: Trinity-Net
De auteurs stellen Trinity-Net voor, een geünificeerde transformer-gebaseerde architectuur die is ontworpen om gezamenlijk klassenspecifieke (CS) semantische segmentatie en klassenongebonden (CA) terreinsegmentatie uit te voeren zonder te vertrouwen op een vaste terreintaxonomie.

Architectuur: Het netwerk maakt gebruik van een bevroren DINOv2-afbeeldingencoder om kenmerken te extraheren. Deze kenmerken worden verwerkt door een Gesplitste Transformer die de kenmerkruimte impliciet verdeelt in CS- en CA-componenten met behulp van leerbare querysets ( $q_{CS}$ en $q_{CA}$ ).
- Splitsmechanisme: Een hulpverlies wordt toegepast op de bijgewerkte query-embeddings om de scheiding van CS- en CA-regio's te bevorderen. De queries worden vervolgens uitgebreid en doorgegeven aan twee daaropvolgende modules: de CS-Transformer (die missiekritieke, platformonafhankelijke categorieën zoals bomen of rotsen verwerkt) en de CA-Transformer (die visueel coherente grondregio's verwerkt zonder vooraf gedefinieerde labels).
- Query-aggregatie: Om de variabiliteit van real-world terreinen te hanteren, worden meerdere queries per regio gebruikt. De uitvoer wordt geaggregeerd, geupsampled en geconcateneerd om een geünificeerde voorspellingstensor te vormen.
- Matching: Aangezien de CA-component geen vaste uitlijning tussen queries en regio's afdwingt, wordt een Hongaarse matcher gebruikt om voorspelde CA-regio's uit te lijnen met ground-truth maskers voordat cross-entropy-verlies wordt toegepast.
Datageneratie (RUGDSynth): Om de CA-component te trainen, hebben de auteurs de OAISYS-simulator uitgebreid. Zij introduceerden RUGDSynth, een grootschalige synthetische dataset met meer dan 42.000 samples over 4.500 werelden.
- Materiaalgebaseerde labelering: In tegenstelling tot typische objectgebaseerde simulators, maakt OAISYS gebruik van materiaalgebaseerde semantics, wat de simulatie van diverse grondtexturen (bijvoorbeeld zand, modder, grind) mogelijk maakt, essentieel voor klassenongebonden leren.
- Verbeteringen: De simulator werd uitgebreid met een op fysica gebaseerde plaatsingsmodule (MeshPhysicsScatter) voor realistische objectspawning en een aangepaste materiaalmodule (MaterialCSCATerrain) om grondtexturen en schalen te randomiseren, waardoor een hoge visuele diversiteit wordt gewaarborgd.
Evaluatiemetric: Met erkenning dat de standaard Intersection over Union (IoU) ontoereikend is voor klassenongebonden taken waar het aantal voorspelde regio's willekeurig is, introduceren de auteurs Residual Recall (resR). Deze metric aggregeert alle niet-gekoppelde voorspellingsmaskers om de surplus van voorspelde regio's ten opzichte van ground truth te kwantificeren.

Belangrijkste Bijdragen

Trinity-Net: Een geünificeerde architectuur die robotongebonden terreinrepresentatie ontkoppelt van missie-relevante semantische voorspelling, waardoor het leren van visuele terreinpriors mogelijk wordt die kunnen worden gecombineerd met robotspecifieke ervaring.
RUGDSynth: Een synthetische dataset afgeleid van de uitgebreide OAISYS-simulator, die klassenongebonden terreinsamples en klassenspecifieke categorieën biedt om grootschalige training te faciliteren.
EXTerra-dataset: Een real-world dataset verzameld van een locatie voor een analoge missie voor planetaire verkenning, geannoteerd met zowel klassenspecifieke als klassenongebonden labels, gebruikt om domeinverschuivingscapaciteiten te evalueren.

Resultaten
Experimenten werden uitgevoerd op de RUGD-benchmark en de EXTerra-dataset.

Klassenspecifieke prestaties: Op de RUGD-dataset behaalde Trinity-Net de hoogste mean IoU (51,80%) onder vergeleken modellen (m1, CRLNet en SAM), wat sterke prestaties aantoont bij het identificeren van specifieke objecten zoals hekken, gebouwen en voertuigen.
Klassenongebonden prestaties: Trinity-Net presteerde aanzienlijk beter dan het Segment Anything Model (SAM) en andere baselines in klassenongebonden segmentatie, met een mean IoU van 69,01% op RUGD. Kwalitatieve resultaten geven aan dat terwijl SAM de neiging heeft om voorgronddetails te oversegmenteren of moeite heeft met vage terreingrenzen, Trinity-Net terreinregio's effectief onderscheidt.
Relevantie van synthetische data: Training uitsluitend op RUGDSynth leverde betere metrics op dan training uitsluitend op real RUGD-data, wat de hoge waarde van de synthetische data aangeeft. De beste prestatie werd bereikt door beide datasets te combineren, wat suggereert dat ze elkaar aanvullen.
Domeintransfer: Het model dat op synthetische en RUGD-data was getraind, slaagde erin succesvol over te gaan naar de EXTerra-dataset (context van planetaire verkenning), en presteerde beter dan SAM in klassenongebonden taken, zelfs wanneer grenzen visueel dubbelzinnig waren.

Betekenis en Claims
Het artikel claimt dat Trinity-Net een flexibele aanpak voor scènebegrip biedt die de rigiditeit van vaste terreintaxonomieën vermijdt. Door robotongebonden visuele priors te leren, kan het systeem dienen als fundament voor downstream-taken zoals bereikbaarheidsschatting, visuele odometrie en missieplanning, aanpasbaar aan verschillende robotplatforms en omgevingen. De auteurs stellen dat de voorgestelde taakformulering, samen met de release van de RUGDSynth- en EXTerra-datasets, verdere research in ongestructureerde buitenomgevingen zal stimuleren en zal bijdragen aan de vooruitgang van de autonomie van toekomstige robotsystemen. Het werk benadrukt dat hoewel semantische labels en bereikbaarheid contextafhankelijk zijn, segmentatie op basis van visuele verschijning een stabiele, overdraagbare representatie biedt.

Meer zoals dit