An Ensemble Learning Approach towards Waste Segmentation in Cluttered Environment

Probleemstelling

Afvalbeheer is een kritieke wereldwijde uitdaging, waarbij recycling een van de meest haalbare oplossingen is. Een essentiële stap in dit proces is de segregatie van afval om grondstoffen te winnen. Traditionele methoden in Material Recovery Facilities (MRF's) vertrouwen vaak op menselijke arbeid, maar er is een verschuiving naar geautomatiseerde systemen met robots.

De kernuitdaging ligt in de complexiteit van de werkelijke afvalomgeving:

• Gestoorde en overlappende objecten: Afvalitems liggen vaak in een rommelige (cluttered) omgeving, overlappen elkaar en zijn vervormd.
• Variatie in grootte en vorm: Er is een grote diversiteit aan maten en vervormingen, wat het herkennen en localiseren van objecten bemoeilijkt.
• Beperkingen van bestaande modellen: Hoewel er veel modellen zijn voor classificatie en detectie (bounding boxes), zijn deze onvoldoende voor volledige automatisering. Voor robotgrepen is een nauwkeurige segmentatie (pixel-voor-pixel classificatie) nodig om de exacte vorm en locatie van elk afvalstuk te bepalen. Bestaande diepe leermodellen presteren vaak suboptimaal in deze specifieke, rommelige scenario's.

Methodologie

De auteurs stellen een Ensemble Learning-benadering voor om de segmentatie-accuraatheid te verbeteren door de sterktes van twee hoogpresterende modellen te combineren: U-Net en FPN (Feature Pyramid Network).

1. Dataset:

   • Er wordt gebruikgemaakt van de ZeroWaste-f dataset, een publiek beschikbare dataset die specifiek is ontworpen voor industriële afvaldetectie.
   • De dataset bevat beelden die de werkelijkheid nabootsen: sterk rommelig, met vervormde objecten en moeilijk te onderscheiden items.

2. Preprocessing:

   • Afbeeldingen worden herschaald naar 320x480 pixels om rekentijd te besparen.
   • Data-augmentatie (flippen, schalen, roteren, ruis toevoegen, perspectieftransformaties) wordt toegepast om het trainingsdataset te diversifiëren.
   • Normalisatie gebeurt op basis van ImageNet-statistieken.

3. Architectuur en Ensemble-strategie:

   • Backbone: In plaats van standaard convolutieblokken, gebruiken de modellen EfficientNet (varianten B0 tot B4) als encoder. Dit verlaagt de rekenkosten terwijl de prestaties worden behouden.
   • Modellen: Zeven state-of-the-art modellen werden eerst geëvalueerd (U-Net, U-Net++, MANet, LinkNet, FPN, PSPNet, PAN).
   • Selectie: U-Net en FPN werden geselecteerd voor het ensemble omdat ze complementaire sterktes hebben:
     • U-Net: Uitstekend in het vastleggen van fijne details en randen (hoge IoU).
     • FPN: Effectief in het hanteren van schaalvariaties en context (lage Dice Loss).
   • Ensemble-methode: De segmentatiemaskers van beide modellen worden parallel gegenereerd en vervolgens samengevoegd via een gewogen gemiddelde (stacking and averaging). Dit benut de diversiteit van de voorspellingen om de uiteindelijke nauwkeurigheid te verhogen.

4. Training:

   • Gebruik van de Dice Loss-functie en de Adam-optimizer.
   • Trainen op een NVIDIA Tesla T4 GPU met CUDA-ondersteuning.

Belangrijkste Bijdragen

1. Uitgebreide Evaluatie: Een systematische evaluatie van zeven state-of-the-art segmentatiemodellen op de ZeroWaste-f dataset, waarbij U-Net en FPN als de beste individuele modellen werden geïdentificeerd.
2. Ontwikkeling van een Ensemble-model (EL-4): Een nieuw model dat U-Net en FPN combineert via een gewogen gemiddelde, specifiek ontworpen voor rommelige afvalomgevingen.
3. Efficiëntie-optimalisatie: Het gebruik van EfficientNet-encoders (B0-B4) om vijf varianten van het ensemble-model (EL-0 tot EL-4) te creëren, waardoor de rekenkosten worden verlaagd zonder in te leveren op nauwkeurigheid.

Resultaten

De prestaties werden gemeten aan de hand van IoU (Intersection over Union) en Dice Loss (waarbij een lagere score beter is).

• Individuele Modellen:
  • U-Net behaalde de hoogste IoU-score (0,8065).
  • FPN behaalde de laagste Dice Loss (0,1183).
• Ensemble Model (EL-4):
  • Het beste ensemble-model, EL-4 (gebruikmakend van EfficientNet-B4), behaalde een IoU-score van 0,8306 op de testset. Dit is een verbetering ten opzichte van het beste individuele model (U-Net: 0,8065).
  • De Dice Loss daalde naar 0,09019, een significante verbetering ten opzichte van FPN (0,1183).
  • De resultaten tonen aan dat het ensemble-model beter generaliseert naar onbekende data en zowel fijne details als context beter vastlegt dan de individuele modellen.

Betekenis en Impact

Dit onderzoek biedt een praktische oplossing voor de automatisering van afvalsortering in Material Recovery Facilities. Door de nauwkeurigheid van de segmentatie te verhogen, kunnen robots afvalitems preciezer lokaliseren en oppakken op lopende banden. Dit leidt tot:

• Efficiëntere recycling: Betere kwaliteit van gewonnen grondstoffen door minder contaminatie.
• Minder menselijke interventie: Mogelijkheid tot volledig geautomatiseerde sortering.
• Verhoogde doorvoer: Snellere verwerking van afvalstromen.

De studie bewijst dat ensemble learning een krachtige techniek is om de beperkingen van individuele deep learning-modellen in complexe, rommelige omgevingen te overwinnen.