Learning to Weigh Waste: A Physics-Informed Multimodal Fusion Framework and Large-Scale Dataset for Commercial and Industrial Applications

1. Probleemstelling

Het nauwkeurig schatten van het gewicht van commercieel en industrieel (C&I) afval is cruciaal voor efficiënte logistiek en afvalbeheer, aangezien transport en inzameling tot 70% van de totale kosten kunnen uitmaken. Bestaande visuele methoden voor gewichtschatting stuiten op fundamentele beperkingen:

• Dichtheidsvariatie: Objecten met een vergelijkbare vorm en grootte kunnen zeer verschillende gewichten hebben door verschillen in materiaaldichtheid (bijv. een blok schuim versus een blok staal).
• Perspectief en schaal: De zichtbare grootte van een object in een afbeelding hangt af van de afstand tot de camera, wat leidt tot schaalambiguïteit.
• Gebrek aan fysieke context: Alleen RGB-beelden bevatten geen informatie over interne dichtheid of 3D-dimensies, wat maakt dat op uiterlijk gebaseerde voorspellingen onbetrouwbaar zijn in real-world scenario's.
• Data-tekort: Er ontbreekt een groot, divers dataset dat gekoppeld is aan fysieke metingen voor C&I-afval, wat de ontwikkeling van robuuste modellen belemmert.

2. Methodologie

De auteurs stellen Multimodal Weight Predictor (MWP) voor, een deep-learning framework dat visuele informatie combineert met "physics-informed" metadata.

A. Dataset: Waste-Weight-10K

Om het probleem van data-schaarste aan te pakken, hebben de auteurs een nieuwe dataset geïntroduceerd:

• Omvang: 10.421 gesynchroniseerde paren van afbeeldingen en metadata.
• Bron: Verzameld op echte logistieke en recyclinglocaties (niet in een laboratorium).
• Diversiteit: Dekking van 11 afvalcategorieën (o.a. autoscrap, ferreus metaal, karton, rubber, batterijen) met een gewichtsbereik van 3,5 kg tot 3.450 kg.
• Metadata: Bevat objectdimensies (Lx, Ly, Lz), camera-afstand, camerahoogte en objectcategorie.

B. Architectuur van het Model

Het MWP-framework bestaat uit drie hoofdcomponenten:

1. Visuele Encoder: Een aangepaste Vision Transformer (ViT-B/16) die hoge-level semantische kenmerken (textuur, vorm, materiaalintegriteit) uit de RGB-afbeelding haalt.
2. Metadata Encoder: Een netwerk dat gestructureerde fysieke gegevens verwerkt. Categorieën worden ge-embed en numerieke kenmerken (zoals volume en compactheid) worden genormaliseerd via een MLP.
3. Mutual Attention Fusion (Kerninnovatie): In plaats van eenvoudige concatenatie, gebruikt het model een Stacked Mutual Attention mechanisme. Dit laat de visuele en metadata-kanalen twee-richtings communiceren:
   • De metadata corrigeert de schaal van visuele kenmerken (oplossing voor perspectief).
   • Visuele texturen verfijnen de dichtheidsschatting gebaseerd op de geometrie.
   • Dit zorgt ervoor dat het model onderscheid maakt tussen visueel vergelijkbare objecten met verschillende dichtheden.

C. Training en Loss Functie

Gezien het enorme dynamische bereik van de gewichten (van enkele kg tot tonnen), is standaard Mean Squared Error (MSE) ongeschikt omdat het model zou worden gedomineerd door zware objecten.

• Loss Functie: Het model wordt getraind met Mean Squared Logarithmic Error (MSLE). Dit straalt relatieve fouten af, waardoor een 10% fout bij een licht object even zwaar weegt als bij een zwaar object.
• XAI (Explainable AI): Een module met SHAP-waarden en een Large Language Model (LLM) genereert menselijk leesbare verklaringen voor elke voorspelling, waardoor de beslissingen transparant en betrouwbaar zijn.

3. Belangrijkste Bijdragen

1. Nieuwe Dataset: Introductie van Waste-Weight-10K, een grootschalige, real-world benchmark voor C&I-afval met multimodale data.
2. Multimodaal Framework: Een nieuw diep leermodel dat visuele waarneming koppelt aan fysieke wetten via een Mutual Attention Fusion mechanisme.
3. Schaal-invariantie: Het gebruik van MSLE en fysiek onderbouwde metadata om betrouwbare prestaties te garanderen over een gewichtsbereik van 1000x.
4. Interpreteerbaarheid: Integratie van een neuro-symbolische module voor fysiek onderbouwde uitleg van voorspellingen.

4. Resultaten

Het model werd getest op een gehouden testset en leverde de volgende resultaten op:

• Algemene prestaties:
  • Mean Absolute Error (MAE): 88,06 kg
  • Mean Absolute Percentage Error (MAPE): 6,39%
  • R²-coëfficiënt: 0,9548
• Prestaties per gewichtsklasse:
  • Licht (0–100 kg): Zeer hoge precisie met een MAE van 2,38 kg en MAPE van 3,1%.
  • Zwaar (1000–3500 kg): Behoudt stabiele relatieve nauwkeurigheid met een MAPE van 11,1%, wat aantoont dat het model niet vooroordeels is ten opzichte van zware monsters.
• Ablatiestudies: Toonden aan dat het verwijderen van de Mutual Attention of het gebruik van alleen beelden/metadata leidt tot een significante daling in prestaties. Ook bleek dat ViT-architecturen beter presteren dan traditionele CNN's (zoals ResNet) voor deze taak.

5. Betekenis en Impact

Dit werk vormt een belangrijke stap in de automatisering van afvalbeheer. Door de beperkingen van visuele-only methoden te overwinnen door fysieke metadata en aandachtmechanismen te integreren, biedt MWP een schaalbare oplossing voor de complexe realiteit van industrieel afval.

• Economisch: Kan de kosten voor afvalinzameling en -transport verlagen door nauwkeurigere planning.
• Veiligheid: Vermindert de noodzaak voor gevaarlijke handmatige sortering en audits.
• Schaalbaarheid: Het framework is robuust genoeg om te worden ingezet in diverse logistieke omgevingen, van kleine containers tot grote industriële ladingen, en biedt een nieuwe standaard voor fysiek onderbouwde computer visie.