From Classification Accuracy to Decision Value: Multimodal Sensor Fusion for Economic Prioritization of Landfill Mining Simulation-based Value-of-Information Analysis

Onder het oppervlak van veel steden liggen enorme, vergeten opslagplaatsen voor afval: stortplaatsen. Decennialang werden deze locaties simpelweg afgedekt en behandeld als permanente graven voor weggegooid materiaal. Vandaag de dag probeert een groeiende beweging deze locaties te heropenen, niet alleen om de grond terug te winnen, maar om de grondstoffen die erin begraven liggen op te graven. Dit proces, bekend als landfill mining (stortplaatsmijnbouw), houdt in dat oud afval wordt opgegraven om waardevolle metalen, plastics en andere materialen terug te winnen, terwijl ook milieurisico's worden verwijderd. De economie van een dergelijk project is echter uiterst fragiel. De winstgevendheid van het opgraven van een stortplaats hangt volledig af van wat er daadwerkelijk onder de grond verborgen ligt. Als de locatie rijk is aan hoogwaardige metalen, kan de operatie een goudmijn zijn; als het voornamelijk uit laagwaardig puin of inert zand bestaat, kan het project snel een financiële ramp worden. Omdat deze locaties vaak decennia oud zijn en slecht gedocumenteerd, worden exploitanten gedwongen om miljardenbeslissingen te nemen op basis van onvolledige informatie, wat leidt tot een hoog percentage mislukkingen waarbij projecten worden gestaakt of geld verliezen.

De kernuitdaging is onzekerheid. Voordat de eerste schep de grond raakt, weet niemand de exacte samenstelling van de materialen of de locatie van gevaarlijke gaszakken. Om dit op te lossen, hebben onderzoekers voorgesteld om geavanceerde sensoren te gebruiken om de grond van bovenaf te scannen, waardoor een gedetailleerde kaart wordt gemaakt van wat eronder ligt zonder eerst te hoeven graven. Deze sensoren fungeren als verschillende soorten ogen: sommige detecteren magnetische metalen, andere voelen veranderingen in de bodemdichtheid, en sommige kunnen zelfs lekke gassen "ruiken". Het idee is dat we door de gegevens van deze verschillende sensoren te combineren, de inhoud van de stortplaats met voldoende nauwheid kunnen voorspellen om te beslissen of het de moeite waard is om de grond uit te graven. Maar een kritische vraag blijft: bespaart deze hoogtechnologische scanning werkelijk geld, of is het slechts een dure manier om een iets beter vermoeden te krijgen?

Een recente studie door onafhankelijk onderzoeker Leon Sandler pakt deze vraag aan door een geavanceerde computersimulatie van een landfill mining-project op te zetten. In plaats van te testen op een echte, rommelige stortplaats waar variabelen oncontroleerbaar zijn, creëerde de onderzoeker een virtuele locatie die een gebied van 1.024 vierkante meter beslaat. Dit digitale landschap werd gevuld met realistische verdelingen van afval, inclusief metaal, plastic, glas, organisch materiaal en bouwafval, gerangschikt in lagen zoals in een echte vuilnisbelt. De simulatie voerde vervolgens een virtuele survey uit met vijf verschillende soorten sensoren: een magnetometer om metaal te vinden, een elektromagnetische inductiesensor om de bodemgeleidbaarheid te meten, een grondradar (GPR) om dichtheidsveranderingen te zien, een thermische camera om warmte te detecteren, en een gassensor om naar gevaarlijke dampen te snuiven. Het doel was om te zien of een computerprogramma de gegevens van deze sensoren kon gebruiken om correct te identificeren wat er in elke vierkante meter van de locatie zat en, belangrijker nog, om te bepalen of die informatie de financiële beslissing om te graven zou veranderen.

De resultaten van de simulatie toonden een verrassende discrepantie tussen waar de sensoren goed in waren en wat er werkelijk toe deed voor de portemonnee. De computermodellen, gebruikmakend van geavanceerde machine learning-algoritmen, waren opmerkelijk succesvol in het identificeren van bepaalde materialen. Ze konden metaal, organisch afval en bouwafval met bijna perfecte nauwkeurigheid opsporen, met succespercentages van bijna 99% voor metaal. Ze hadden echter grote moeite met plastic en glas, en slaagden er vaak niet in om ze te onderscheiden van de omringende aarde. Dit was geen falen van de intelligentie van de computer, maar een beperking van de sensoren zelf; plastic en glas zenden simpelweg geen sterke signalen uit naar de magnetische of dichtheidssensoren die in de studie werden gebruikt.

De meest significante bevinding was echter dat de sensor die het beste was in het vinden van zaken, niet noodzakelijkerwijs de sensor was die het meeste geld opleverde. Toen de onderzoekers de gegevens analyseerden, ontdekten ze dat de grondradar het krachtigste instrument was voor algemene classificatie, wat de computer hielp de meeste soorten afval te identificeren. Toch, toen zij de economische waarde van de survey berekenden, leverde de radar geen extra winst op. De enige sensor die consequent het verwachte financiële rendement verhoogde, was de magnetometer. Dit kwam omdat het economische model werd gedreven door de hoge waarde van metaal. Omdat de magnetometer het beste instrument was om metaal te vinden, en metaal het meest waardevolle materiaal was om te winnen, was dit de enige sensor die de beslissing om te graven direct beïnvloedde. De andere sensoren, hoewel ze een beter beeld gaven van wat er onder de grond lag, scantten voor materialen die ofwel te goedkoop waren, ofwel te moeilijk te winnen om de kosten hiervan in dit specifieke scenario te rechtvaardigen.

De studie testte ook een veelvoorkomende aanname in data science: dat men voorzichtig moet zijn met hoe men de data splitst bij het trainen van een computermodel. In veel vakgebieden maken onderzoekers zich zorgen dat als men een model test op data die te dicht bij de data waarvan het heeft geleerd, het model slimmer lijkt dan het werkelijk is. Om dit te controleren, vergeleken de onderzoekers twee methoden om hun model te testen. In de ene methode verspreidden ze de testdata willekeurig over de locatie. In de andere methode hielden ze een heel blok van de locatie verborgen voor het model om te zien of het kon raden wat daar zat zonder dat het die specifieke zone eerder had gezien. Verrassend genoeg maakte de willekeurige methode het model in deze specifieke simulatie niet slimmer dan de blokmethode. De nauwkeurigheid van het model nam niet af naarmate het naar gebieden keek die verder weg lagen van de trainingsdata. Dit suggereert dat voor dit specifieke type sensordata de moeilijkheid van de taak voortkomt uit het feit dat de materialen op elkaar lijken, en niet uit het feit dat het model simpelweg de lay-out van de locatie heeft uit het hoofd geleerd.

Misschien wel de meest praktische les uit de studie is dat er niet één "beste" sensor is voor elke stortplaats. De onderzoekers testten wat er zou gebeuren als de samenstelling van de stortplaats veranderde. Als een locatie rijk is aan plastic of bouwafval in plaats van metaal, zou de meest waardevolle sensor veranderen. In een plasticrijke locatie werd de grondradar het belangrijkste instrument, terwijl in een locatie vol bouwafval de elektromagnetische sensor de leiding nam. Dit betekent dat de keuze van apparatuur niet gebaseerd kan worden op een generieke regel; deze moet worden afgestemd op de specifieke mix van materialen en de huidige marktprijzen van die materialen. Een suite aan sensoren die perfect is voor de ene locatie, kan een verspilling van geld zijn voor een andere.

De onderzoekers keken ook naar het veiligheidsaspect van de survey, specif _, specifiek het vermogen om gevaarlijke gaszakken te detecteren. De simulatie toonde aan dat de gassensoren zo afgesteld konden worden dat bijna elke gevaarlijke zak werd opgevangen, waardoor de veiligheid gewaarborgd bleef. Echter, deze hoge mate van veiligheid ging gepaard met een trade-off: het systeem zou ook veel veilige gebieden als gevaarlijk markeren. In de simulatie werden ongeveer de helft van de als gevaarlijk gemarkeerde gebieden eigenlijk veilig bevonden. Hoewel dit inefficiënt lijkt, merkten de onderzoekers op dat het in een veiligheidscontext beter is om overdreven voorzichtig te zijn en een paar extra veilige plekken op te graven, dan één gevaarlijke plek te missen.

Uiteindelijk concludeert de studie dat het scannen van een stortplaats voordat men begint met graven een financieel gezonde zaak is, maar alleen onder de juiste omstandigheden. In de simulaties had de survey in 93% van de geteste scenario's een positieve economische waarde, met een break-even kost van $1.451. Dit betekent dat zolang de survey minder kost dan dat bedrag, het de moeite waard is om de survey te doen om het risico te vermijden een waardeloze locatie op te graven. De waarde is echter zeer gevoelig voor de markt. Als de prijzen voor gerecyclede materialen dalen of als de survey te duur wordt, verdwijnt het voordeel. De studie biedt een duidelijke routekaart voor exploitanten: de waarde van de informatie hangt af van de specifieke mix van afval en het huidige economische klimaat, en niet alleen van hoe nauwkeurig de sensoren zijn.

De onderzoekers benadrukken er ook bij dat deze resultaten gebaseerd zijn op een computersimulatie, niet op een test in de echte wereld. De cijfers voor hoe sensoren op verschillende materialen reageren, waren gebaseerd op bekende natuurkunde, maar werden niet gemeten in een werkelijke stortplaats. Om deze bevindingen in de echte wereld te bewijzen, hebben de onderzoekers een plan voor een gefaseerd testprogramma opgesteld. Dit zou beginnen met een gecontroleerde testopstelling waarbij de inhoud bekend is, om uiteindelijk over te gaan naar een pilotproject op volledige schaal bij een echte stortplaats. Totdat een dergelijke test is voltooid, blijven de resultaten een zeer gedetailleerde en logische voorspelling in plaats van een bewezen feit. De studie dient als een krachtige gids voor hoe men tegen het probleem moet denken, waarbij wordt aangetoone dat de weg naar winstgevende landfill mining niet alleen ligt in betere technologie, maar in het matchen van de juiste technologie aan de specifieke economische en fysieke realiteit van elke locatie.