Open-vocabulary 3D scene perception in industrial environments

Deze paper presenteert een trainingsvrije pipeline voor open-vocabulaire 3D-perceptie in industriële omgevingen die, door het samenvoegen van superpunten op basis van semantische kenmerken in plaats van het gebruik van niet-geoptimaliseerde modellen, een betere segmentatie van industriële objecten mogelijk maakt.

De kern

De Kern van het Probleem: De "Huiselijke" Bril

Stel je voor dat je een robot wilt bouwen die een fabriekshuis kan "zien" en begrijpen. Je wilt dat de robot vraagt: "Waar staat die vijzelspanner?" of "Toon me de freesmachine."

Het probleem is dat de slimme camera's (kunstmatige intelligentie) die we vandaag de dag hebben, zijn getraind op foto's van gewone huiskamers. Ze kennen stoelen, tafels, bedden en deuren als de achterkant van hun hand. Maar in een fabriek? Daar staan geen bedden. Daar staan zware machines, gereedschappen en onderdelen die er totaal anders uitzien.

De auteurs van dit paper hebben ontdekt dat als je deze "huiselijke" slimme camera's in een fabriek zet, ze in de war raken. Het is alsof je iemand vraagt om een auto te herkennen, maar je hebt die persoon alleen maar foto's van fietsen laten zien. Ze zien de wielen, maar begrijpen niet wat het voertuig is. Ze zien een vijzelspanner en denken: "Geen idee, dat is geen stoel."

De Oplossing: Geen Nieuwe School, maar Slimmer Kijken

In plaats van de robot maandenlang te laten leren (wat duur en moeilijk is omdat er weinig foto's van fabrieken zijn), hebben de onderzoekers een slimme, trainingsvrije truc bedacht.

Stel je voor dat je een enorme pot met losse LEGO-stenen hebt (de 3D scan van de fabriek).

1. De oude manier: Je probeert de LEGO-stenen eerst in vooraf gemaakte bakjes te stoppen (zoals "stoel", "tafel"). Maar omdat de bakjes alleen voor huiskamers zijn, passen de fabrieks-Lego's er niet in.
2. De nieuwe manier (van dit paper): Je doet het andersom. Je pakt de LEGO-stenen en plakt ze eerst aan elkaar op basis van hoe ze eruitzien en hoe ze tegen elkaar aan liggen (dit noemen ze superpoints). Je maakt geen vooraf gedefinieerde bakjes, maar bouwt groepjes die logisch bij elkaar horen.

De Creatieve Analogie: De "Kleefmuts" en de "Magische Lijst"

Hier is hoe hun methode werkt, stap voor stap:

1. De Superpoints (De Kleefmuts):
   In plaats van te proberen elk object direct te benoemen, kijken ze eerst naar kleine groepjes punten in de 3D-ruimte. Stel je voor dat je een magische kleefmuts over de 3D-scène trekt. Alle punten die dicht bij elkaar zitten en een glad oppervlak vormen, plakken aan elkaar. Zo krijg je een hoopje "deeltjes" die samen een object vormen, zonder dat je weet wat het is.

2. De Magische Lijst (SAM & CLIP):
   Nu hebben ze die groepjes. Ze nemen een foto van een groepje en laten een slimme AI (die ze SAM noemen) een masker eromheen tekenen, zodat alleen dat specifieke object zichtbaar is. Vervolgens laten ze een andere slimme AI (CLIP) kijken naar die foto en vragen: "Wat zie je hier?" of "Is dit een vijzelspanner?".

   De AI geeft een score: "Ja, dit lijkt erg op een vijzelspanner!" of "Nee, dit is een tafel."

3. Het Samenvoegen (De Puzzel):
   Als twee naast elkaar liggende groepjes punten allebei zeggen: "Ik ben een vijzelspanner!", dan plakt de robot ze aan elkaar tot één groot object. Als één groepje zegt "Ik ben een vijzelspanner" en de buurman zegt "Ik ben een muur", dan blijven ze gescheiden.

Wat hebben ze ontdekt? (De "Industrie-Bril")

Ze hebben ook getest met een speciale bril die speciaal voor fabrieken is gemaakt, genaamd IndustrialCLIP.

• De goede kant: Deze bril herkent industriële spullen veel beter dan de standaard-bril. Als je vraagt om een "vijzelspanner", ziet deze bril precies waar die zit.
• De slechte kant: Deze bril is soms te specifiek. Hij ziet een freesmachine en een boormachine als bijna hetzelfde, omdat ze op de foto's in de catalogus op elkaar lijken. Hij is zo gespecialiseerd op fabrieksdingen, dat hij andere dingen soms minder goed ziet.

Het Resultaat

De conclusie is simpel:
Je hoeft geen dure, nieuwe robot te bouwen die alles van nul af moet leren. Je kunt bestaande slimme systemen gebruiken, maar je moet ze slimmer laten werken door eerst de objecten in groepjes te plakken (superpoints) en die groepjes dan te laten "lezen" door een AI die gespecialiseerd is in fabrieken.

Het is alsof je een vertaler hebt die alleen Nederlands spreekt (de standaard AI). Als je hem in een fabriek zet, begrijpt hij de taal van de machines niet. Maar als je hem eerst laat kijken naar de vorm van de machines (de superpoints) en hem dan een woordenboek geeft met fabriekstermen (IndustrialCLIP), kan hij ineens perfect vertellen waar de gereedschappen staan, zonder dat hij ooit een fabrieksopleiding heeft gehad.

Kortom: Ze hebben een manier gevonden om robots te laten zien in een fabriek, zonder dat ze eerst jarenlang hoeven te studeren aan de hand van duizenden foto's. Ze gebruiken slimme "plaktechnieken" en een gespecialiseerd woordenboek.

Technische samenvatting

Titel: Open-vocabulary 3D-scenewaarneming in industriële omgevingen

Auteurs: Keno Moenck, Adrian Philip Florea, Julian Koch, en Thorsten Schüppstuhl (Technische Universiteit Hamburg).

---

1. Het Probleem

Autonome visuele toepassingen in productie-, intralogistiek- en fabricageomgevingen vereisen waarnemingsmogelijkheden die verder gaan dan een kleine, vaste set van klassen. De huidige staat van de kunst voor open-vocabulary 3D-perceptie (het herkennen van objecten op basis van natuurlijke taal zonder vooraf gedefinieerde klassen) leunt zwaar op een multi-stap pipeline:

1. Het genereren van objectvoorstellen (masks) via vooraf getrainde, klassen-agnostische segmentatiemodellen (zoals Mask3D).
2. Het selecteren van de beste 2D-weergaven.
3. Het toepassen van Vision-Language Foundation Models (VLFMs), zoals CLIP, om semantische features te extraheren.

De kernproblematiek:
Deze bestaande modellen zijn getraind op niet-industriële datasets (bijvoorbeeld huishoudelijke scènes zoals ScanNet). Het paper toont aan dat deze modellen falen in industriële contexten. Objecten zoals draaibanken, bankschroeven en frezen worden niet herkend of slecht gesegmenteerd, terwijl huishoudelijke objecten (stoelen, tafels) wel goed worden gedetecteerd. Daarnaast is er een gebrek aan grote, openbare 3D-datasets specifiek voor industriële omgevingen, wat het trainen van nieuwe modellen moeilijk en duur maakt.

---

2. Methodologie

De auteurs stellen een trainingsvrije (training-free) pipeline voor die de beperkingen van bestaande methoden overwint door te vertrouwen op superpoints in plaats van vooraf getrainde instance-segmentatiemodellen.

De voorgestelde pipeline:

1. Superpoint-gegenereerde voorstellen:
   • In plaats van een model als Mask3D te gebruiken, worden superpoints gegenereerd met behulp van BPSS (een algoritme dat puntenclustert op basis van geometrie en energie-minimalisatie).
   • Deze superpoints respecteren de randen en krommingen van echte objecten in de scène.
2. Feature Extractie en Maskering:
   • Elke superpoint wordt geprojecteerd op de beschikbare 2D-beelden van de 3D-scan.
   • De beste weergaven (top-k views) worden geselecteerd.
   • SAM (Segment Anything Model) wordt gebruikt om 2D-masks te genereren voor deze superpoints. Belangrijk: de auteurs "maskeren" de achtergrond weg (whitening) om de focus puur op het object te houden, wat leidt tot scherpere features.
   • Vervolgens worden CLIP-features geëxtraheerd uit deze gemaakte crops en gemiddeld per superpoint.
3. Semantische Merging (Samenvoegen):
   • Op basis van een adjacentie-graaf (connectiviteit tussen superpoints) worden buren samengevoegd als hun CLIP-features een hoge cosinus-ähnelijkheid hebben.
   • Dit proces wordt iteratief herhaald om coherente objectmasks te vormen die contextbewust zijn.
4. Open-vocabulary Querying:
   • Na het samenvoegen worden de resterende superpoints vergeleken met tekst-embeddings (via een VLFM) om open-vocabulary vragen te beantwoorden.
   • Voor de evaluatie wordt IndustrialCLIP gebruikt, een op industriële data (ILID-dataset) aangepaste versie van CLIP, in plaats van de standaard CLIP.

---

3. Belangrijkste Bijdragen

• Demonstratie van falen in industriële context: Het paper levert het bewijs dat bestaande, op huishoudelijke data getrainde instance-segmentatiemodellen niet generaliseren naar industriële scènes.
• Trainingsvrije oplossing: Een nieuwe methode die geen zwaar getrainde 3D-segmentatiemodellen vereist, maar in plaats daarvan superpoints gebruikt die semantisch worden samengevoegd.
• Evaluatie van IndustrialCLIP: Een kwalitatieve evaluatie van een domein-aangepast VLFM (IndustrialCLIP) voor 3D-perceptie, waarbij wordt aangetoond dat dit model superieur is aan standaard CLIP voor industriële objecten, maar ook beperkingen heeft.

---

4. Resultaten

De experimenten zijn uitgevoerd op een 3D-scan van een industriële werkplaats (met objecten zoals een draaibank, bankschroef, freesmachine en handgereedschap), opgenomen met een Leica BLK 360.

• Vergelijking Mask3D vs. Superpoints:
  • Mask3D slaagde erin huishoudelijke objecten te detecteren, maar faalde volledig bij industriële machines en gereedschappen.
  • De superpoint-methode slaagde erin deze industriële objecten correct te segmenteren zonder extra training.
• IndustrialCLIP vs. Standaard CLIP:
  • Bij het queryen van een "bankschroef" (vise) toonde IndustrialCLIP hoge similariteitsscores op het daadwerkelijke object, terwijl standaard CLIP slechts willekeurige verschillen liet zien tussen het object en de omgeving.
  • Beperkingen: IndustrialCLIP heeft moeite om semantisch zeer vergelijkbare objecten te onderscheiden (bijv. een freesmachine vs. een boormachine) en neigt tot overfitting op catalogus-achtige afbeeldingen. Het model mist soms contextuele nuances.
• Kwalitatieve uitkomst: De methode slaagde erin succesvolle segmentatie van industriële objecten te realiseren op basis van natuurlijke taalprompts, zonder dat er ground-truth data nodig was voor training.

---

5. Betekenis en Conclusie

Dit werk is significant omdat het een praktische, trainingsvrije route biedt voor open-vocabulary 3D-perceptie in niches waar data schaars is (zoals de industrie). Het toont aan dat het "liften" van 2D Vision-Language modellen naar de 3D-domein mogelijk is, mits de juiste strategie voor objectvoorstelling (superpoints i.p.v. getrainde masks) wordt gekozen.

Conclusie:
Hoewel domein-aangepaste VLFMs zoals IndustrialCLIP veelbelovend zijn voor specifieke industriële taken, blijft er een uitdaging bestaan bij het onderscheiden van zeer vergelijkbare objecten en het behouden van een breed contextueel begrip. De voorgestelde methode biedt een robuust alternatief voor bestaande pipelines die vastlopen in out-of-context scenario's, en opent de deur voor meer flexibele autonome systemen in productieomgevingen.