Comparative Evaluation of Logistic Regression and Gradient Boosting Models for Influenza Outbreak Early-Warning Using U.S. CDC ILINet Surveillance Data (2010-2025)

Deze studie toont aan dat zowel logistische regressie als gradient boosting-modellen, getraind op historische CDC ILINet-surveillancedata, zeer nauwkeurig nationale griepuitbraken in de Verenigde Staten kunnen voorspellen, waarbij logistische regressie de beste prestaties levert.

De kern

🚨 De Influenza-Vroegwaarschuwing: Een Simpele Voorspelling voor een Complex Probleem

Stel je voor dat je een weerman bent, maar in plaats van te kijken naar wolken en wind, kijk je naar de gezondheid van het hele land. Je taak is niet om te zeggen: "Morgen regent het een beetje," maar om te schreeuwen: "Pas op! De storm komt eraan! Zorg dat je paraplu's en daken klaar hebt!"

Dit artikel gaat over precies dat: het proberen om griepepidemieën (influenza) eerder te voorspellen dan de huidige systemen dat doen.

1. Het Probleem: Achter de feiten aanlopen

Op dit moment kijken gezondheidsdiensten vaak naar het verleden. Ze zeggen: "Kijk, afgelopen week waren er veel mensen met griep." Maar dat is als het al te laat is. De ziekenhuizen zitten vol, de medicijnen zijn bijna op en de mensen zijn al ziek.

De auteurs van dit onderzoek wilden weten: Kunnen we een alarm laten afgaan voordat de piek bereikt is?

2. De Oplossing: Twee Voorspellers in de Ring

De onderzoekers (Chika en Vivian) hebben twee verschillende "voorspellers" getest om te zien wie de beste is in het voorspellen van een grieppiek. Ze gebruikten data van de Amerikaanse CDC (hun gezondheidsdienst) van 2010 tot 2025.

• Voorspeller A: De Logistieke Regressie (De "Oude Klok")
  Dit is een traditionele, simpele wiskundige formule. Denk hierbij aan een ouderwetse, betrouwbare wekker. Hij is niet slim, maar hij is heel goed in het volgen van vaste patronen. Als het patroon eruitziet als een grieppiek, gaat hij af.
• Voorspeller B: XGBoost (De "Supercomputer")
  Dit is een geavanceerd computerprogramma (Machine Learning). Denk hierbij aan een slimme, moderne AI die duizenden boeken heeft gelezen. Hij kan complexe patronen zien die de oude wekker misschien mist. Hij is snel, krachtig en leert van elke fout.

3. De Test: De "Storm" van 2020-2025

Om te testen wie er beter is, hebben ze de data opgedeeld:

• Opleiding (2010-2017): Beide voorspellers mochten leren van de oude data.
• De Proef (2020-2025): Ze kregen een nieuwe, onbekende periode te zien (waaronder de vreemde jaren tijdens de coronapandemie) en moesten voorspellen wanneer de griep "uit de hand" zou lopen.

Ze definieerden een "uitbraak" als een week waarin het percentage mensen met griepachtige klachten boven een bepaalde drempel (90e percentiel) kwam.

4. De Resultaten: Wie wint er?

Het resultaat is verrassend simpel en geruststellend:

• De "Oude Klok" (Logistieke Regressie) won het.
  Hij was bijna perfect. Hij miste geen enkele grieppiek (100% sensitiviteit). Hij gaf bijna altijd het juiste signaal.
• De "Supercomputer" (XGBoost) deed het ook goed, maar iets minder perfect.
  Hij was iets slimmer in het vermijden van valse alarmen, maar hij miste een paar echte grieppieken.

De les hieruit: Soms is de simpele, betrouwbare oplossing beter dan de ingewikkelde, dure technologie. De "oude wekker" bleek net zo goed (en zelfs beter) te werken als de supercomputer voor dit specifieke probleem.

5. Waarom is dit belangrijk voor jou?

Stel je voor dat je een brandweerkorps bent.

• Als je wacht tot je ziet dat het huis in brand staat (huidige systeem), is het misschien al te laat om de brand te blussen zonder schade.
• Met dit nieuwe systeem (de voorspelling) krijg je een alarm als de temperatuur in het huis net begint te stijgen en er rook uit de schoorsteen komt.

Dit betekent dat:

• Ziekenhuizen zich eerder kunnen voorbereiden (meer personeel, meer bedden).
• Mensen eerder gevaccineerd kunnen worden.
• De overheid eerder kan zeggen: "Blijf thuis als je ziek bent," voordat de situatie oncontroleerbaar wordt.

6. Conclusie in één zin

Je hebt geen ingewikkelde robot nodig om te weten wanneer de griep toeslaat; een slimme, simpele analyse van de data die we al hebben, werkt net zo goed als de beste supercomputers. Het is als het hebben van een goede vuurdoos in plaats van een dure brandblusrobot: soms is het simpelste hulpmiddel het meest effectief.

---

Samenvattend: Dit onderzoek laat zien dat we met bestaande data en simpele wiskunde veel eerder kunnen waarschuwen voor grieppieken. Dat helpt ziekenhuizen en overheden om voorbereid te zijn, wat levens kan redden en chaos kan voorkomen.

Technische samenvatting

Titel: Vergelijkende evaluatie van Logistische Regressie en Gradient Boosting-modellen voor vroege waarschuwing bij influenza-uitbraken met behulp van CDC ILINet-surveillancedata (2010–2025)

Auteurs: Chika Onwuameze en Vivian Madu

---

1. Het Probleem

Seizoensgebonden influenza vormt een aanhoudende bedreiging voor de volksgezondheid in de VS, met aanzienlijke impact op ziekenhuisopnames en mortaliteit. Hoewel het CDC uitgebreide surveillance-gegevens verzamelt (via het ILINet-netwerk), zijn deze rapporten fundamenteel retrospectief. Ze beschrijven wat er al gebeurd is, in plaats van een signaal te geven voordat de besmettingssnelheid piekt.

Bestaande voorspellingsmodellen richten zich vaak op het voorspellen van continue aantallen gevallen (bijv. het piekmoment of de piekintensiteit) of gebruiken foutmaten zoals RMSE. Dit lost echter niet direct het operationele probleem op voor gezondheidsautoriteiten: "Wanneer moeten we een uitbraakstatus activeren?" Er is een behoefte aan systemen die een binair vroege waarschuwingssignaal genereren (uitbraak vs. geen uitbraak) gebaseerd op een duidelijke drempelwaarde, zodat maatregelen zoals personeelsplanning en vaccinatiecampagnes tijdig kunnen worden ingezet.

2. Methodologie

Data en Ontwerp:

• Data: Wekelijkse nationale gegevens van het CDC ILINet (percentage van bezoeken met griepachtige klachten, ILIPERCENT) en laboratoriumgegevens (percentage positieve tests) van 2010 tot 2025.
• Tijdsindeling: Strikte temporale validatie werd toegepast om datalekken te voorkomen:
  • Trainingsperiode: 2010–2017 (gebruikt om de drempelwaarde te bepalen).
  • Validatieperiode: 2018–2019 (gebruikt voor hyperparameter-tuning).
  • Testperiode: 2020–2025 (gehouden voor de uiteindelijke evaluatie, inclusief de post-pandemische seizoenen).

Definitie van de Uitkomst (Target):
In plaats van een continue waarde te voorspellen, werd het probleem geformuleerd als een binair classificatieprobleem:

• Een week wordt gedefinieerd als een "uitbraakweek" ($Outbreak_t = 1$) als het ILIPERCENT de 90e percentiel van de trainingsperiode (2010–2017) overschrijdt.
• De berekende drempelwaarde ($T$) bedroeg 3,3932%.
• Anders is $Outbreak_t = 0$.

Predictors (Kenmerken):
De modellen gebruikten alleen informatie die op dat moment beschikbaar was:

• Autoregressieve lags: ILIPERCENT van 1, 2 en 3 weken terug.
• Laboratoriumgegevens: Percentage positieve specimens (lag 1, 2, 3).
• Seizoensgebondenheid: Harmonische termen (sinus en cosinus) om de jaarlijkse cyclus te modelleren.

Geëvalueerde Modellen:

1. Logistische Regressie: Een traditionele, interpreteerbare statistische benchmark.
2. XGBoost: Een geavanceerde machine learning-methode (Gradient Boosting) voor niet-lineaire relaties.
3. Secundair: SARIMA, Random Forest en LSTM werden genoemd als deel van de methodologische opzet, maar de hoofdresultaten focussen op de vergelijking tussen Logistische Regressie en XGBoost.

Evaluatiemetrieken:

• Discriminatie: AUC-ROC en PR-AUC (Precision-Recall AUC).
• Classificatieprestaties: Sensitiviteit, Specificiteit, Precisie en F1-score.
• Operationele waarde: Lead time (het aantal weken dat het model een uitbraak voorspelt voordat de drempelwaarde in de werkelijkheid wordt bereikt).

3. Belangrijkste Resultaten

Op de temporale testset (2020–2025) presteerden beide modellen uitzonderlijk goed:

• Logistische Regressie:

  • AUC: 0,9964
  • PR-AUC: 0,9868
  • Sensitiviteit: 1,0000 (Ving alle uitbraakweken op; geen enkele gemist).
  • Specificiteit: 0,9516.
  • F1-score: 0,9167.

• XGBoost:

  • AUC: 0,9946
  • PR-AUC: 0,9812
  • Sensitiviteit: 0,8939 (Miste enkele uitbraakweken).
  • Specificiteit: 0,9798 (Minder vals-positieven dan logistische regressie).
  • F1-score: 0,9077.

Kernbevinding:
Hoewel XGBoost een iets hogere specificiteit had, overtrof de logistische regressie het model aanzienlijk in sensitiviteit (het volledig detecteren van uitbraken). Beide modellen toonden een "bijna perfecte" discriminatie tussen uitbraak- en niet-uitbraakweken onder strikte temporale validatie.

4. Bijdragen en Innovatie

1. Operationalisering van Voorspelling: Het paper verschuift de focus van "hoeveel gevallen?" (continue voorspelling) naar "is er een uitbraak?" (binair besluit). Dit maakt de output direct toepasbaar voor beleidsmakers.
2. Reproduceerbare Drempelwaarde: Het gebruik van een statische 90e percentiel-drempel gebaseerd op historische data biedt een transparante en reproduceerbare definitie van een uitbraak, in tegenstelling tot dynamische of complexe baselines.
3. Validatie van ML vs. Traditionele Modellen: De studie toont aan dat voor deze specifieke taak (nationale ILI-data met duidelijke seizoenspatronen) een eenvoudige logistische regressie vaak net zo goed presteert als complexe machine learning-modellen zoals XGBoost, mits de juiste kenmerken (lags, seizoen) worden gebruikt.
4. Robuustheid: De validatie over de periode 2020–2025 (inclusief de verstoringen door de COVID-19-pandemie) toont aan dat het model robuust blijft, zelfs in atypische epidemiologische omstandigheden.

5. Betekenis en Toekomstperspectief

• Praktische Toepassing: Omdat de benodigde data (CDC ILINet) wekelijks openbaar beschikbaar is en de modellen (vooral logistische regressie) computatieel licht zijn, kan dit systeem direct worden geïntegreerd in bestaande surveillance-dashboards zonder zware infrastructuur.
• Beleidsimplicaties: Een model met hoge sensitiviteit (zoals de logistische regressie in deze studie) is cruciaal voor volksgezondheidsinstanties die liever een vals alarm krijgen dan een gemiste uitbraak. Dit stelt ziekenhuizen in staat om vroegtijdig personeel en capaciteit te plannen.
• Beperkingen: De studie is uitgevoerd op nationaal niveau; regionale verschillen zijn niet geanalyseerd. Ook werd de exacte "lead time" (in weken) niet kwantitatief uitgewerkt in de resultatensectie, hoewel dit een volgende stap is voor onderzoek.

Conclusie:
Het onderzoek bevestigt dat betrouwbare vroege waarschuwing voor influenza-uitbraken mogelijk is met openbare data en transparante modellen. Het framing van het probleem als een drempelgebaseerde detectie taak verhoogt de operationele relevantie aanzienlijk en ondersteunt de integratie van voorspellende analytics in de routine van de volksgezondheid.