Technische Samenvatting: SteelDS Dataset

Probleemstelling

Het recyclen van metalen, met name het scheiden van koperverontreinigingen uit vermalen E40-staalafval, vormt een kritieke knelpunt in de industriële sortering na magnetische scheiding. Hoewel sensorgebaseerde sortering (SBS) met behulp van X-ray Transmission (XRT) of Hyperspectrale Imaging (HSI) effectief is, zijn deze modaliteiten kapitaalintensief en bieden ze lagere ruimtelijke resoluties. Daarentegen biedt standaard visuele sortering met diep leren en RGB-camera's een kosteneffectief alternatief, maar ontbreekt het aan gespecialiseerde, hoogwaardige datasets voor dit specifieke domein.

Bestaande afvaldatasets (bijv. TACO, TrashNet, ZeroWaste) richten zich op macroscopisch, intact huishoudelijk of gemeentelijk afval, en slagen er niet in om de mechanisch vermalen, microscopische en stochastisch vervormde aard van industrieel schroot aan te pakken. Bovendien berustten eerdere pogingen om vermalen metaalschroot te classificeren op grove omhullende vakken of annotaties op beeldniveau, die de sterk onregelmatige grenzen en fijne draden die typerend zijn voor vervormd schroot, niet kunnen afbakenen. Er is een aanzienlijke kloof in publiek beschikbare benchmarks voor instantie-niveau segmentatie voor staal-koperscheiding in een heterogene stroom na magnetische sortering.

Methodologie

Dataverwerving

Het SteelDS-dataset is vastgelegd in een gecontroleerde laboratoriumomgeving aan de Technische Universiteit Leoben om industriële transportbandcondities na te bootsen.

• Materiaalbron: 497 vermalen metalen objecten (396 staal, 101 koper) afkomstig van Scholz Austria GmbH. Het materiaal vertegenwoordigt de fractie na magnetische scheiding van E40-staalafval (gefragmenteerd oud staal van voertuigen aan het einde van hun levenscyclus en witgoed).
• Fysieke opstelling: Een transportband van 1,0 m breed die opereerde met 0,4–0,5 m/s. Objecten werden in twee configuraties gerangschikt: geïsoleerde deeltjes (minimaal 1 cm tussenruimte) en dichte clusters (geen geforceerde tussenruimte) om variërende industriële dichtheden en occlusies te simuleren.
• Beeldvorming: Een GoPro Hero 11-camera legde 4K Ultra HD (3680 × 2160) video vast met 100 fps vanuit een strikte nadir-perspectief (van bovenaf). Diffuse LED-verlichting minimaliseerde reflecties op metalen oppervlakken, en een behuizing blokkeerde omgevingslicht.
• Beperkingen: De 2D-opstelling met één gezichtspunt verbergt inherent kopercomponenten die zich aan de onderkant van de deeltjes bevinden; dit is een standaardbeperking bij industriële 2D-optische sortering.

Annotatie en Voorverwerking

• Frame-extractie: Ruwe 100 fps-video werd downsampled naar 20 fps, en frames werden geëxtraheerd als verliesvrije PNG-afbeeldingen.
• Annotatietool: Een aangepast semi-autonoom hulpmiddel (FOST) genereerde maskervoorstellen, die handmatig werden gecorrigeerd en geverifieerd door menselijke annotators.
• Annotatieregels: Strikte richtlijnen op pixelniveau werden afgedwongen. Maskers traceerden fysieke grenzen, waarbij gegoten schaduwen en bewegingsonscherpe sporen werden uitgesloten. Fragmenten die ontstonden door transportbreuk, werden gelabeld als onafhankelijke instanties.
• Klassen: Objecten werden gecategoriseerd in twee primaire klassen: Staal (ijzerhoudende componenten) en Koper (bevat zichtbare kopercomponenten). Daarnaast werden objecten heuristisch gegroepeerd op grootte (S1–S5 voor staal, C1–C3 voor koper) op basis van visuele inspectie en het gewicht bij hantering, hoewel deze groottegroepen geen afzonderlijke ground-truth-klassen zijn.

Datasetstructuur

Het dataset bestaat uit 24.297 gelabelde frames verdeeld over vijf subsets (a1–a5) met toenemende complexiteit:

• Subsets a1–a3: Cumulatieve opname van objecten met >1 cm tussenruimte.
• Subset a4: Dichte clusters zonder tussenruimte (hoge occlusie).
• Subset a5: Een holistische evaluatieset die alle materialen en beide tussenruimteconfiguraties combineert.
• Splits: Strikte isolatie wordt afgedwongen tussen trainings-, validatie- en testsets; objecten worden nooit gedeeld over splits.

Belangrijkste Bijdragen

1. Benchmark voor instantie-niveau segmentatie: SteelDS biedt de eerste publiek beschikbare, hoogresolutie videodataset specifiek voor instantiesegmentatie van mechanisch vermalen E40-staal- en koperschroot.
2. Realistische industriële complexiteit: In tegenstelling tot eerdere datasets met intacte objecten, vangt SteelDS de stochastische vervorming, gescheurde randen en structurele fragmentatie op die inherent zijn aan industriële shredding.
3. Pixel-voor-pixel ground truth: Het dataset biedt precieze pixel-voor-pixel segmentatiemaskers, waardoor het trainen van modellen voor fijnmazige grensafbakening mogelijk wordt in plaats van alleen grove detectie.
4. Open-wereldsimulatie: Door variërende objectdichtheden, occlusies en complexe topologieën op te nemen (bijv. koperdraden ingebed in staal), adresseert het dataset de "open-wereld"-uitdaging waarbij modellen onvoorspelbare vormen en gemengde materialen moeten hanteren.

Experimentele Resultaten

De auteurs hebben baselines vastgesteld met behulp van state-of-the-art objectdetectie- en instantiesegmentatiemodellen: YOLOv8n-seg, YOLO11n-seg, YOLO12n-seg, YOLO26n-seg en Mask R-CNN (ResNet-50). Modellen werden getraind met 5 verschillende willekeurige zaden om reproduceerbaarheid te waarborgen.

• Prestatiehiërarchie: Mask R-CNN presteerde consistent beter dan alle YOLO-nano-architecturen over alle subsets. Bijvoorbeeld, op Subset a1 behaalde Mask R-CNN een gecombineerde Fitness-score van 189,65, vergeleken met een maximum van 168,74 voor YOLOv8n. Dit verschil wordt toegeschreven aan de twee-trapsarchitectuur van Mask R-CNN en de superieure behouding van ruimtelijke kenmerken.
• Detectie versus segmentatie: Detectie met omhullende vakken (mAP50-95) presteerde consistent beter dan instantiesegmentatie (mAP50-95). Voor Subset a1 was de detectie-mAP 86,63%, terwijl de segmentatie-mAP 81,67% bedroeg.
• Materiaalverschillen:
  • Staal: Over het algemeen makkelijker te detecteren vanwege stijve, omvangrijke structuren.
  • Koper: Moeilijker voor segmentatie vanwege hoge spiegelende reflectie, verwarde bundels draden en assemblages van gemengde materialen (bijv. stalen pinnen in koperen netten). De prestaties bij koperdetectie waren echter in sommige metrieken vergelijkbaar met staal, wat suggereert dat omhullende vakken robuust zijn voor oppervlaktetextuur, terwijl segmentatie worstelt met fijne grenzen.
• Schaalgevoeligheid: De prestaties daalden aanzienlijk voor middelgrote objecten in vergelijking met grote objecten. Kleine objecten werden weggelaten uit de metrieken aangezien het dataset geen ground-truth-instanties in die dimensie bevat.
• Foutmodi: Modellen vertoonden specifieke fouten, waaronder:
  • Het verkeerd segmenteren van de interne achtergrond van ringvormige objecten als onderdeel van het object.
  • Het fragmenteren van lange, gedraaide staven of gekreukelde platen in meerdere instanties.
  • Moeite hebben met koperdraadbundels vanwege dunne, multidirectionele draden.

Betekenis en Claims

Het artikel positioneert SteelDS als een fundamentele bron voor de vooruitgang van geautomatiseerde sortering in metaalrecycling. De betekenis ligt in:

• Overbruggen van de datakloof: Het adresseert het gebrek aan gespecialiseerde bronnen voor industrieel metaalschroot, met name voor staal-koperscheiding, wat tot nu toe is gehinderd door restricties van propriëtaire data.
• Mogelijk maken van geavanceerde perceptie: Door pixel-voor-pixel baselines te bieden voor bekende doelen in een heterogene stroom, ondersteunt het dataset de ontwikkeling van robuuste open-wereld sorteringsarchitecturen die extreme variatie binnen klassen kunnen hanteren.
• Nuttigheid voor benchmarking: Het dataset dient als een strenge testomgeving voor het evalueren van de grenzen van huidige computer vision-modellen bij het hanteren van stochastisch vervormde, hoogreflecterende industriële materialen.

De auteurs merken op dat hoewel basismodellen veelbelovend zijn, het dataset specifieke uitdagingen onthult (complexe vormen, verborgen delen, gemengde materialen) die openstaande problemen blijven voor het vakgebied, wat verdere onderzoek motiveert naar robuustere segmentatie- en classificatiealgoritmen.