From Raw Data to Reliable Predictions: The Significance of Data Processing in COVID-19 Modelling

Deze studie toont aan dat een aangepast data-preprocessing-pipeline, dat weektotaals omzet in dagelijkse updates en geavanceerde technieken voor outlier-detectie en feature-selectie toepast, de voorspellingsnauwkeurigheid van COVID-19-sterftecijfers aanzienlijk verbetert ten opzichte van standaardmethoden.

De kern

De Kookrecept voor een Voorspellende Machine: Hoe een Beter Kookproces de Voorspelling van Corona-doden verbetert

Stel je voor dat je een enorme, chaotische berg groenten hebt. Je wilt hier een perfecte soep van maken die precies voorspelt hoe de toekomst eruitziet. In dit geval is de "soep" een computerprogramma dat probeert te voorspellen hoeveel mensen overlijden aan COVID-19, en de "groenten" zijn de ruwe data (cijfers) over de pandemie.

De auteurs van dit onderzoek, Sangita Das en Subhrajyoti Maji, ontdekten iets belangrijks: het is niet alleen belangrijk welke groenten je hebt, maar vooral hoe je ze wast, snijdt en bereidt voordat je ze in de pot gooit.

Hier is wat ze deden, vertaald in simpele taal:

1. Het Probleem: De "Weekend-Effect" (De Verkeerde Maat)

Stel je voor dat een supermarkt elke week alleen op zondag een grote zak appels verkoopt, maar de rest van de week niets. Als je kijkt naar de verkoop per dag, zie je dat maandag tot zaterdag 0 appels zijn verkocht en zondag 1000.
In de echte wereld gebeurde dit met de COVID-data: landen rapporteerden vaak pas op zondag de totale sterftecijfers van de hele week. Voor de computer zag het eruit alsof er maandag niemand stierf en op zondag ineens honderden. Dit is als een valse maatstaf; het verstoort het echte patroon.

• De standaardmethode: De computer neemt de data zoals hij is. Hij denkt: "Oké, maandag is het rustig, zondag is het chaos." Dit leidt tot een slechte soep.
• De nieuwe methode (Custom Pipeline): De onderzoekers "smeerden" het totaal van de week gelijkmatig over de zeven dagen uit. Alsof je zegt: "Oké, als er 70 appels zijn verkocht, dan zijn er gemiddeld 10 per dag verkocht." Hierdoor zag de computer het echte, rustige patroon van de ziekte, in plaats van de kunstmatige pieken.

2. Het Wassen van de Groenten: Lokale vs. Globale Regels

Soms zit er een rotte appel tussen de goede. In data noemen we dit een "uitbijter" (outlier).

• Standaardmethode: Je gebruikt een universele regel: "Als een appel groter is dan 10 cm, gooi hem weg." Dit werkt niet goed als je in een regio woont waar appels van nature groter zijn. Je gooit dan goede appels weg.
• Nieuwe methode: Ze keken naar de "buurt" van de appel. Ze gebruikten een rolend venster (een kijkvenster dat over de tijd schuift). Als een appel plotseling veel groter is dan de appels van gisteren en morgen, dan is het een rotte appel. Maar als de appels in die regio gewoon groter zijn, laten ze hem staan. Hierdoor blijft de "smaak" van de data behouden.

3. De Logica van de Keuken: Alles moet kloppen

Soms zeggen de cijfers tegenstrijdige dingen. Bijvoorbeeld: "Er zijn 100 nieuwe doden, maar het totaal aantal doden is lager dan gisteren." Dat is logisch onmogelijk.

• Standaardmethode: De computer vult de gaten op met een gemiddelde of een nul. Alsof je zout in de soep doet zonder te proeven.
• Nieuwe methode: Ze gebruikten de wiskundige logica van de keuken. Als je het totaal en de nieuwe doden hebt, kun je de rest berekenen. Ze zorgden ervoor dat alle cijfers logisch op elkaar aansloten, net als een goed recept waarbij je weet dat je eerst de bouillon moet koken voordat je de groenten toevoegt.

4. De Beste Ingrediënten Kiezen (Feature Selection)

Je hebt misschien 67 soorten groenten, maar je hebt ze niet allemaal nodig voor een goede soep. Sommige zijn dubbelop (bijvoorbeeld: "aantal appels" en "aantal kilo appels").

• De onderzoekers gebruikten een slimme techniek om de beste 5 tot 7 ingrediënten te kiezen die echt iets zeggen over de toekomst. Ze gooiden de overbodige groenten weg die alleen maar verwarring stichtten.

Het Resultaat: Een Super-soep

Toen ze deze nieuwe, zorgvuldige methode gebruikten, gebeurde er iets wonderlijks:

• De computer die de standaardmethode gebruikte, had een voorspelling die ongeveer 3 keer minder nauwkeurig was. Het was alsof je probeerde te raden hoe het weer wordt, maar je kijkt door een troebel raam.
• De computer met de nieuwe methode (de "Custom Pipeline") was extreem nauwkeurig. Het voorspelde de sterftecijfers met een nauwkeurigheid van 99%. Het was alsof ze door een kristalhelder raam keken.

Waarom is dit belangrijk?

De boodschap van dit onderzoek is simpel: Je kunt de beste chef-kok (het slimste computerprogramma) hebben, maar als je de groenten (de data) niet goed voorbereidt, wordt je soep toch niet lekker.

Door de data te "repareren" voordat je hem in de computer stopt, kunnen artsen en overheden veel betere beslissingen nemen. Ze kunnen beter zien waar de ziekenhuizen vollopen en waar ze extra hulp nodig hebben. Het is een bewijs dat de voorbereiding net zo belangrijk is als de daadwerkelijke berekening.

Technische samenvatting

Titel: Impact van een Uitgebreide Data-voorverwerking op het Voorspellende Modelleren van COVID-19 Sterfte

1. Probleemstelling

De studie adresseert het kritieke probleem dat veel huidige voorspellende modellen voor COVID-19 sterfte de nadruk leggen op modelontwikkeling ten koste van grondige data-voorverwerking. Dit leidt tot een oppervlakkig begrip van de data, wat de betrouwbaarheid van de voorspellingen ondermijnt. Specifieke tekortkomingen in standaard benaderingen zijn:

• Rapportagebias: Wekelijkse rapportagetotalen worden vaak als dagelijkse waarden gemist of onjuist weergegeven, wat trends vervormt.
• Globale Outlier-detectie: Methoden met vaste drempels (zoals z-scores) slagen er niet in om lokale variabiliteit in tijdreeksdata te onderscheiden van echte anomalieën, wat leidt tot het verwijderen van waardevolle data-variatie.
• Gebrek aan consistentie: Het negeren van computationele afhankelijkheden tussen kolommen (bijv. tussen 'nieuwe gevallen' en 'totale gevallen') introduceert inconsistenties.
• Suboptimale Feature Selectie: Het niet systematisch aanpakken van multicollineariteit en redundante features resulteert in onder- of overfitting.

2. Methodologie

De auteurs vergelijken twee pipelines: een Standaard Pipeline (traditionele methoden) en een Aangepaste (Custom) Pipeline (ontworpen voor de unieke uitdagingen van COVID-19-data).

A. Data Bron:

• Dataset: "Our World in Data" (OWID).
• Focus: India (1 januari 2020 tot 11 augustus 2024).
• Omvang: 1.680 records met 67 kolommen (waarvan 62 numeriek).

B. De Standaard Pipeline:

1. Imputatie: Lineaire interpolatie/extrapolatie, gevolgd door invullen met nullen.
2. Outlier Verwerking: Globale detectie met een z-score drempel van 2, gevolgd door interpolatie.
3. Feature Selectie: Iteratief proces met correlatie-filtering (>0.8), berekening van belangrijkheidsmetrieken (PFI, MI, SFI) en Variance Inflation Factor (VIF) met een drempel van 10.
4. Normalisatie: Standaardisatie naar gemiddelde 0 en standaardafwijking 1.

C. De Aangepaste (Custom) Pipeline:
Deze pipeline introduceert vier innovatieve stappen:

1. Weekpatroon Imputatie (Weekly Pattern Imputation):
   • Herkent dat data (zoals 'nieuwe sterfgevallen') vaak wekelijks wordt gerapporteerd (6 dagen nul, 1 dag totaal).
   • Lost dit op door het wekelijkse totaal gelijkmatig over de 7 dagen te verdelen, waardoor rapportagebias wordt gecorrigeerd.
2. Lokale Outlier Verwerking:
   • Gebruikt een rolling window (30 dagen) met lokale z-scores in plaats van globale drempels.
   • Behoudt natuurlijke data-variatie en onderscheidt echte uitbijters van lokale pieken.
3. Computationele Verwerking (Computation Processing):
   • Benut computationele afhankelijkheden tussen kolommen om consistentie te garanderen.
   • Berekent kolommen op basis van logische volgorde (bijv. nieuwe sterfgevallen -> totale sterfgevallen -> sterfgevallen per miljoen).
   • Gebruikt formules om kolommen zoals 'positieve rate' te berekenen uit bestaande data in plaats van ze te imputeren, wat nauwkeurigere en consistente resultaten oplevert.
4. Iteratieve Feature Selectie:
   • Gebruikt geavanceerde combinaties van Permutation Feature Importance (PFI), Mutual Information (MI), Single Feature Impact (SFI) en VIF.
   • Verwijdert systematisch features met hoge VIF (>10) en lage gecombineerde belangrijkheid.

D. Modellen en Evaluatie:

• Modellen: 10 regressiemodellen getraind, waaronder MLPRegressor, Random Forest, Gradient Boosting, SVR, en Lineaire Regressie.
• Validatie: 5-voudige cross-validatie en hyperparameter tuning.
• Metrieken: RMSE (Root Mean Squared Error), R² (Determinatiecoëfficiënt) en een nieuwe metriek: RMSE Variance (meet de consistentie van prestaties over trainings-, validatie- en testsets; lagere variance = betere generalisatie).

3. Belangrijkste Bijdragen

• Ontwikkeling van een Specifieke Preprocessing Pipeline: Een gestructureerde aanpak die specifiek is ontworpen voor de kenmerken van COVID-19 tijdreeksdata (wekelijkse rapportage, computationele relaties).
• Innovatieve Technieken: De introductie van weekpatroon-verdeling en lokale outlier-detectie als superieure alternatieven voor standaard methoden.
• Computationele Consistentie: Het bewijzen dat het berekenen van afhankelijke variabelen uit brondata (in plaats van imputatie) de modelkwaliteit drastisch verbetert.
• Nieuwe Evaluatiemetriek: Het gebruik van RMSE Variance om overfitting en generalisatievermogen beter te kwantificeren dan alleen RMSE of R².

4. Resultaten

De resultaten tonen een aanzienlijke verbetering van de custom pipeline ten opzichte van de standaard pipeline:

• Beste Model Prestaties:

  • Custom Pipeline (MLPRegressor): RMSE = 66,556, R² = 0,991.
  • Standaard Pipeline (Beste: DecisionTreeRegressor): RMSE = 222,858, R² = 0,817.
  • De custom pipeline leverde een veel lagere foutmarge en een bijna perfecte fit.

• Generaliseerbaarheid (Overfitting):

  • De RMSE Variance voor de MLPRegressor in de custom pipeline was extreem laag (52,125), wat wijst op zeer stabiele prestaties over alle datasets.
  • In de standaard pipeline was de variance voor hetzelfde model enorm hoog (13.739,921), wat duidt op ernstig overfitting en instabiliteit.

• Feature Selectie:

  • Ondanks dat de custom pipeline minder features gebruikte (5 vs 7 in de standaard), waren de Gecombineerde Importance Scores aanzienlijk hoger (bijv. 'stringency index' had een score van 1,128 in de custom pipeline vs 0,160 in de standaard).
  • De custom pipeline behaalde VIF-waarden die aantoonden op stabiele, consistente relaties tussen features.

5. Betekenis en Conclusie

De studie concludeert dat de kwaliteit van de data-voorverwerking vaak belangrijker is dan de keuze van het machine learning-algoritme zelf.

• Kernboodschap: Tailored preprocessing is essentieel voor nauwkeurige voorspellingen in complexe, tijdreeks-gebaseerde gezondheidsdata.
• Toepasbaarheid: Hoewel de studie zich richt op India, zijn de methoden (lokale outlier-detectie, computationele afhankelijkheden, weekpatroon-correctie) breed toepasbaar op andere landen en domeinen met vergelijkbare rapportagepatronen.
• Impact: Deze aanpak biedt beleidsmakers en gezondheidsexperts betrouwbare tools voor resource-allocation en planning tijdens pandemieën, door de onnauwkeurigheden van ruwe data te elimineren voordat het model wordt getraind.