Explainable machine learning for predicting shellfish toxicity in the Adriatic Sea using long-term monitoring data of HABs

In deze studie worden uitlegbare machine learning-technieken toegepast op een 28-jarige dataset om de toxiciteit van mosselen in de Golf van Triest te voorspellen, waarbij een random forest-model en SHAP-analyse belangrijke bijdragen leveren aan het identificeren van de veroorzakende algensoorten en omgevingsfactoren voor een betere vroegwaarschuwing.

De kern

Het "Sluipschutter"-Voorspellersysteem voor Mosselen in de Adriatische Zee

Stel je voor dat de kustlijn van Slovenië een enorme, levende supermarkt is waar mensen verse mosselen kopen. Maar er is een gevaarlijke sluipschutter op de loer: giftige algen. Deze algen bloeien soms op (zoals een onzichtbare groene mist) en maken de mosselen giftig. Als je die mosselen eet, kun je ernstig ziek worden (buikpijn, diarree).

Vroeger moesten de autoriteiten wachten tot de mosselen al giftig waren, ze testen en dan pas de verkoop stoppen. Dat is als wachten tot de brand al uit is gebarsten om pas de brandweer te bellen. Het is te laat en kost de mosselboeren veel geld.

De Oplossing: Een Digitale "Weer-App" voor Giftige Mosselen

In dit onderzoek hebben wetenschappers een slimme computer (een machine learning-model) gebouwd die fungeert als een profeet voor de zee. In plaats van te wachten tot de mosselen ziek zijn, kijkt deze computer naar de signalen voordat het gevaarlijk wordt.

Hier is hoe het werkt, vertaald in simpele taal:

1. Het Recept van de Zee (De Data)

De onderzoekers hebben een enorm kookboek samengesteld van de afgelopen 28 jaar. Ze hebben alle ingrediënten verzameld die nodig zijn om een "giftige mossel" te maken:

• De boosdoeners: Hoeveel van de specifieke giftige algen (Dinophysis) zijn er in het water?
• Het weer: Is het warm? Is het zout? Regent het hard?
• De rivier: Hoeveel zoet water stroomt er de zee in?

Het is alsof je probeert te voorspellen of er een storm komt. Je kijkt niet alleen naar de wind, maar ook naar de luchtdruk, de temperatuur en de luchtvochtigheid.

2. De Slimme Chef-kok (Het Machine Learning Model)

Ze hebben verschillende "chef-koks" (computerprogramma's) getraind om dit recept te leren.

• Sommige chefs waren te simpel (zoals een beginnende kok die alleen naar één ingrediënt kijkt).
• Sommige chefs waren te complex en onbegrijpelijk (zoals een genie dat een gerecht maakt maar niet kan uitleggen waarom).
• De winnaar: Een "Random Forest" model. Dit is als een team van 300 ervaren chefs die samen beslissen. Als 200 van hen zeggen: "Oeps, dit ziet er giftig uit", dan is het waarschijnlijk gevaarlijk. Dit team bleek het beste te zijn in het voorspellen van giftige mosselen.

3. Waarom "Uitlegbaar" Zo Belangrijk Is (XAI)

Een groot probleem met slimme computers is dat ze vaak een "zwarte doos" zijn. Ze zeggen: "Dit is gevaarlijk," maar je vraagt: "Waarom?" en dan zegt de computer niets. Voor vissers en autoriteiten is dat niet genoeg; ze moeten weten waarom ze de mosselen moeten sluiten.

In dit onderzoek hebben de wetenschappers de zwarte doos opengebroken. Ze hebben een bril opgezet (een techniek genaamd SHAP en Permutation Importance) om te zien wat de computer echt belangrijk vindt.

Wat bleek?
De computer leerde dat twee dingen de belangrijkste "alarmbellen" zijn:

1. De aanwezigheid van specifieke algen: Vooral Dinophysis fortii en D. caudata. Als deze algen in het water zijn, is het gevaar groot.
2. Het weer en de rivier: Als het water minder zout is (door regen of veel rivierwater) en het is warm, dan gedijen die giftige algen als kool.

Het is alsof de computer zegt: "Ik zie die twee specifieke algen, en ik zie dat het water minder zout is. Dat is de perfecte cocktail voor een giftige uitbraak. Sluit de mosselen!"

4. Wat betekent dit voor de toekomst?

Dit systeem is als een vroege waarschuwingssirene.

• Voor de mosselboer: Hij weet eerder of hij zijn mosselen mag verkopen of niet. Minder onverwachte sluitingen, minder geldverlies.
• Voor de consument: Je kunt met een gerust hart mosselen eten, want het systeem heeft al gecontroleerd of er geen giftige algen in de buurt zijn.
• Voor de gezondheid: Mensen hoeven niet meer ziek te worden door giftig eten.

Kortom:
De onderzoekers hebben een slimme, eerlijke computer gebouwd die de zee "leest". Hij kijkt naar de algen en het weer, en geeft een eerlijke waarschuwing voordat het te laat is. Het is een perfecte mix van slimme technologie en begrijpelijke logica, zodat we veilig kunnen genieten van de zee.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Explainable machine learning for predicting shellfish toxicity in the Adriatic Sea using long-term monitoring data of HABs", geschreven in het Nederlands.

1. Probleemstelling

De schelpdierkweek in de Adriatische Zee (met name de Golf van Triëst) staat onder druk door schadelijke algenbloei (HABs - Harmful Algal Blooms). Deze bloei leidt tot de ophoping van toxines in mosselen (Mytilus galloprovincialis), wat kan resulteren in diarree-veroorzakende schelpdiervergiftiging (DSP).

• Huidige uitdaging: Het huidige toezicht is reactief. Verkoop wordt pas opgeschort nadat toxiciteit is bevestigd, wat leidt tot economische schade voor kwekers en onzekerheid.
• Complexiteit: HABs vertonen een hoge temporele variabiliteit en worden beïnvloed door complexe interacties tussen biologische factoren (fytoplankton) en abiotische factoren (weersomstandigheden, hydrologie).
• Beperking van bestaande modellen: Veel machine learning (ML) modellen zijn "black boxes" die goede voorspellingen doen, maar geen inzicht geven in de onderliggende oorzaken. Voor een betrouwbare vroege waarschuwingssysteem (EWS) is echter explainability (uitlegbaarheid) cruciaal om vertrouwen te winnen bij autoriteiten en stakeholders.

2. Methodologie

Dataverzameling en Voorverwerking

• Dataset: Een nieuw samengesteld dataset van 28 jaar (1994-2021) uit de Golf van Triëst.
• Variabelen:
  • Biologisch: Abundantie van vijf DSP-producerende soorten (Dinophysis fortii, D. caudata, D. sacculus, D. tripos, Phalacroma rotundatum) en de totale DSP-abundantie.
  • Fysisch/Chemisch: Zeeoppervlaktetemperatuur (SST), zoutgehalte.
  • Meteorologisch/Hydrologisch: Neerslag, wind, zonnestraling, luchttemperatuur en afvoer van de Soča-rivier.
• Doelvariabele: Binair resultaat van toxinetests in mosselen (positief/negatief, gebaseerd op de EU-grens van 176 µg/kg).
• Data-voorbereiding:
  • Interpolatie van ontbrekende waarden (38% van de data).
  • Aggregatie van meteorologische data over een venster van 20 dagen en rivierafvoer over 30 dagen.
  • Class imbalance: De dataset was sterk onbalans (88% negatief, 12% positief). Er werd gebruikgemaakt van SMOTE (Synthetic Minority Over-sampling Technique) voor oversampling van de minderheidsklasse en Undersampling (Edited Nearest Neighbours) om conflicterende voorbeelden van de meerderheidsklasse te verwijderen.
  • Dimensiereductie met UMAP toonde aan dat de data moeilijk te scheiden was, wat de noodzaak van zorgvuldige filtering onderstreepte.

Modeltraining en Evaluatie

• Algoritmen: Vier ML-modellen werden getraind en vergeleken:
  1. Decision Tree (DT)
  2. Random Forest (RF)
  3. Support Vector Machine (SVM)
  4. Artificial Neural Network (ANN - Multilayer Perceptron)
• Validatie: Grid search voor hyperparameter-optimalisatie gebaseerd op de F1-score, uitgevoerd met stratified 5-fold cross-validation.
• Robuustheid: De evaluatie werd 100 keer herhaald om statistische betrouwbaarheid te garanderen. De prestaties werden gemeten aan de hand van precisie, recall en F1-score.

Explainable AI (XAI)
Om het "black box"-probleem op te lossen, werden de volgende methoden toegepast:

• Directe inspectie: Visualisatie van de Decision Tree structuur.
• Permutation Importance: Om de impact van variabelen op het model te kwantificeren door waarden te shuffle.
• SHAP (Shapley Additive Explanations): Voor zowel globale interpretatie (beeswarm plots) als lokale interpretatie (force plots) van individuele voorspellingen.

3. Belangrijkste Resultaten

Modelprestaties

• Random Forest (RF) bleek het beste model, met een gemiddelde F1-score van 0,65, een precisie van 0,74 en een recall van 0,59.
• RF presteerde significant beter dan SVM, DT en ANN, voornamelijk vanwege de robuustheid tegen ruis en de capaciteit om complexe niet-lineaire relaties te modelleren.
• Er was een trade-off tussen recall en precisie: een hogere recall (meer positieve gevallen detecteren) leidde tot een daling in precisie (meer vals-positieven). Voor een EWS wordt vaak een hogere recall geprefereerd om risico's te minimaliseren, zelfs ten koste van extra laboratoriumtests.

Interpretatie en Belangrijke Variabelen
De XAI-methoden onthulden welke factoren de voorspellingen het sterkst beïnvloeden:

1. Biologische factoren: Dinophysis fortii was de meest invloedrijke variabele, gevolgd door Dinophysis caudata en de totale DSP-abundantie (DSP-tot).
2. Abiotische factoren: De afvoer van de Soča-rivier, neerslag en zoutgehalte (saliniteit) waren cruciale omgevingsfactoren.
   • D. fortii en D. caudata verhogen de kans op toxiciteit.
   • Lagere rivierafvoer en hogere zoutgehalte verlaagden de voorspelde kans op toxiciteit in het model.
3. Decision Tree regels: Het DT-model leverde duidelijke drempelwaarden op (bijv. aanwezigheid van D. fortii > 30 cellen/l is een waarschuwingssignaal).

4. Belangrijke Bijdragen

1. Open Data: Creatie en openbaarmaking van een uniek, langlopend dataset (28 jaar) van fytoplankton en toxines in de Adriatische Zee, inclusief de volledige code.
2. Toepassing van XAI: Eén van de eerste studies die ML toepast op de directe voorspelling van DSP-toxiciteit in mosselen (in plaats van alleen de aanwezigheid van algen) en dit koppelt aan uitlegbaarheidstechnieken.
3. Methodologische Innovatie: Een geïntegreerde pipeline die data-voorbereiding, class-balancing (SMOTE/Undersampling) en XAI combineert om betrouwbare modellen te bouwen op beperkte datasets.
4. Praktische Inzichten: Validatie dat D. fortii de primaire drijvende kracht is achter DSP-uitbraken in dit gebied, wat overeenkomt met eerdere laboratoriumstudies, maar nu in een operationeel voorspellingsmodel is geïntegreerd.

5. Betekenis en Toekomstperspectief

De studie toont aan dat Machine Learning, wanneer gecombineerd met Explainable AI, een krachtig hulpmiddel kan zijn voor het beheer van aquacultuur en voedselveiligheid.

• Vroege Waarschuwing: De modellen kunnen dienen als onderdeel van een Vroege Waarschuwingssysteem (EWS), waardoor autoriteiten proactief kunnen handelen (bijv. preventieve sluiting van oogstgebieden) voordat toxiciteit officieel is bevestigd.
• Vertrouwen: Door de "black box" te openen en de drijvende krachten (soorten en omgevingsfactoren) te tonen, wordt het model acceptabeler voor beleidsmakers en kwekers.
• Aanbevelingen: Voor verdere verbetering wordt geadviseerd om de dataset uit te breiden met meer positieve gevallen (zeldzame gebeurtenissen) en de temporele resolutie van het toezicht te verhogen.

Concluderend biedt deze research een robuust, interpreteerbaar raamwerk om de risico's van schadelijke algenbloei in de Adriatische Zee te voorspellen en te beheersen, wat bijdraagt aan zowel economische stabiliteit als volksgezondheid.