Efficient Waste Sorting for Circular Economy: A Confidence-guided comparison between One-Vs-All and One-Vs-Rest Classification Strategies with Human-in-the-Loop for Automated Waste Sorting

Technische Samenvatting: Efficiënte Afvalscheiding voor de Circulaire Economie

Probleemstelling
De transitie naar een circulaire economie wordt gehinderd door de complexiteit van afvalverwerkingsvoorschriften, die aanzienlijk variëren tussen Europese gemeenten. In Duitsland verschillen de scheidingsvereisten bijvoorbeeld niet alleen tussen deelstaten, maar ook tussen individuele districten. Deze heterogeniteit maakt het voor inwoners moeilijk om afval correct weg te gooien, wat leidt tot hoge contaminatiegraden (bijvoorbeeld is tot 30% van het plastic afval in Duitsland onjuist weggegooid) en verhoogde verwerkingskosten. Hoewel AI-gebaseerde mobiele applicaties een potentiële oplossing bieden door inwoners te begeleiden, missen bestaande systemen vaak de configureerbaarheid die nodig is om aan specifieke lokale scheidingsschema's te voldoen. Bovendien hebben standaard multi-class classificatiebenaderingen moeite met modulariteit; het aanpassen van een model aan nieuwe regelgeving vereist doorgaans volledige hertraining. Daarnaast is er een behoefte aan een balans tussen voorspellende prestaties en menselijke annotatie-inspanning, specifiek door onzekere monsters te identificeren voor menselijke beoordeling zonder excessieve handmatige arbeid.

Methodologie
De auteurs evalueerden en vergeleken twee prominente classificatiestrategieën: One-vs-All (OvA) en One-vs-Rest (OvR), gebruikmakend van een dataset die is afgestemd op het afvalscheidingsschema van Goslar, Duitsland.

• Datasetconstructie: De studie maakte gebruik van een zes-klassen afvalbeheerdataset, geconstrueerd door afbeeldingen uit de TACO- en TrashNet-datasets te mergen en te mappen naar een lokaal kader. De definitieve categorieën omvatten Organisch Afval, Papierafval, Plastic en Metaalafval, Recyclingcentrum, Glas en Restafval. De dataset werd gestratificeerd in 18.515 trainings-, 2.000 validatie- en 2.000 testafbeeldingen.
• OvA-strategie: Er werd een enkele multi-class classifier gebouwd met een voorgetrainde InceptionV3-backbone (ImageNet) met aangepaste Global Average Pooling, Fully Connected (FC) en Dropout-lagen. De outputlaag maakte gebruik van een Softmax-activatiefunctie om een genormaliseerde waarschijnlijkheidsverdeling over de zes klassen te genereren.
• OvR-strategie: Er werden zes onafhankelijke binaire classifiers getraind, één voor elke doelklasse. Elke classifier gebruikte dezelfde InceptionV3-backbone en architectuur, maar maakte gebruik van een Sigmoid-activatiefunctie voor de enkele outputneuron. Positieve monsters voor een specifieke classifier waren instanties van de doelklasse, terwijl negatieve monsters alle andere klassen omvatten.
• Vertrouwensgestuurde Analyse: Om de afweging tussen misclassificatiegraden en menselijke annotatie-inspanning aan te pakken, pasten de auteurs variërende betrouwbaarheidsdrempels toe. Testmonsters werden in vier groepen gecategoriseerd op basis van voorspellingskansen:
  1. Hoge Betrouwbaarheid (Groep 1): Eén klasse met $p \ge 0,95$.
  2. Enkele Stem (Groep 2): Eén klasse met $0,50 < p < 0,95$.
  3. Meervoudige Stem (Groep 3): Meerdere klassen met $0,50 < p < 0,95$ (exclusief voor OvR).
  4. Geen Stem (Groep 4): Alle klassen met $p \le 0,50$.

Belangrijkste Resultaten

• Algehele Nauwkeurigheid: De OvA-strategie behaalde een marginaal hogere algehele nauwkeurigheid, waarbij 49 afbeeldingen verkeerd werden geclassificeerd tegenover 54 voor de OvR-strategie.
• Foutpatronen: Slechts 29 afbeeldingen werden door beide strategieën gemeenschappelijk verkeerd geclassificeerd, wat wijst op verschillende foutpatronen voor elke benadering.
• Identificatie van Onzekerheid:
  • OvA: De strategie had moeite met het identificeren van onzekere monsters. Groep 3 bevatte geen monsters (omdat de kansen optellen tot 1), en Groep 4 bevatte slechts 2 monsters (beide misgeclassificeerd). Bijgevolg ving het richten op Groep 3 en 4 slechts ~4% van de misclassificaties op. Fouten met een hoge betrouwbaarheid (Groep 1) waren moeilijk te detecteren, waarbij 27 misgeclassificeerde monsters "verloren" gingen door hoge voorspelde waarschijnlijkheden.
  • OvR: Deze strategie demonstreerde een superieur vermogen om onzekere monsters te signaleren. Groep 3 (Meervoudige Stem) en Groep 4 (Geen Stem) bevatten een significante concentratie van fouten. Specifiek stelde het richten op Groep 3 en 4 in staat om meer dan 50% van de misclassificaties te identificeren, terwijl er minder dan 5% van de totale data aan menselijke annotatie nodig was. Het richten op enkel Groep 4 identificeerde meer dan 35% van de misclassificaties met minder dan 2,5% annotatie-inspanning.

Betekenis en Claims
Het artikel beweert dat hoewel de OvA-strategie een iets betere ruwe nauwkeurigheid biedt voor multi-class afvalsortering, de OvR-strategie superieur is voor iteratieve modelverfijning en aanpasbaarheid. De betekenis van het werk ligt in het aantonen dat OvR:

1. Modulariteit Verbetert: Het maakt het mogelijk om selectief afvalcategorieën toe te voegen of te verwijderen (bijvoorbeeld om te voldoen aan nieuwe gemeentelijke regelgevingen) zonder het hele systeem opnieuw te trainen.
2. Human-in-the-Loop Inspanningen Optimaliseert: Het biedt een effectiever mechanisme voor het identificeren van onzekere monsters voor menselijke beoordeling, waardoor de benodigde annotatie-inspanning om een groot deel van de fouten te corrigeren aanzienlijk wordt verminderd.
3. Doelen van de Circulaire Economie Ondersteunt: Door een configureerbaar kader aan te bieden dat kan worden aangepast aan gedecentraliseerde lokale regelgeving, ondersteunt de OvR-benadering de implementatie van schaalbare, gebruiksvriendelijke instrumenten voor afvalscheiding.

De auteurs concluderen dat toekomstig werk zich moet richten op het verkennen van ensemble-frameworks die beide strategieën combineren om hun complementaire sterktes te benutten, en het onderzoeken van adaptieve drempelwaarden als hyperparameters.