Optimising supervised machine learning algorithms predicting cigarette cravings and lapses for a smoking cessation just-in-time adaptive intervention (JITAI)

Deze studie concludeert dat het voorspellen van rookdrang en terugval bij een stoppoging met machine learning en EMA-data slechts bescheiden presteert en dat een combinatie met regelgebaseerde benaderingen waarschijnlijk nodig is voor een effectieve JITAI, aangezien complexere modellen niet consistent beter presteerden dan eenvoudigere.

De kern

🚬 De "Weerbericht"-App voor Rokers: Hoe voorspellen we een terugval?

Stel je voor dat je probeert te stoppen met roken. Het is als een lange wandeling door een stormachtig landschap. Soms is het weer rustig, maar dan ineens komt er een zware windvlaag (een craving of terugval) die je bijna doet omvallen.

De onderzoekers uit dit artikel wilden een slimme "weerbericht-app" bouwen voor deze wandeling. Deze app moet je waarschuwen voordat de windvlaag komt, zodat je je paraplu (je wilskracht) kunt ophalen. Maar hier is het probleem: als de app te vaak piept ("Kijk eens naar de lucht!"), word je gek en zet je hem uit. Als hij te weinig piekt, mis je de storm en val je om.

De onderzoekers hebben gekeken hoe ze deze app het beste kunnen instellen. Ze gebruikten een slim computerprogramma (machine learning) om te leren wanneer rokers in gevaar zijn.

🎯 Het Grote Experiment: Te veel of te weinig?

De onderzoekers hadden drie grote vragen:

1. Hoe vaak moeten we vragen stellen? (Elk uur? Drie keer per dag? Of maar één keer?)
2. Hoeveel details moeten we verzamelen? (Moeten we weten of je koffie hebt gedronken, waar je bent, en hoe je je voelt? Of volstaat het om alleen te vragen of je zin hebt in een sigaret?)
3. Moet de app leren van jou specifiek, of van iedereen? (Zou de app beter werken als hij eerst een paar dagen meekijkt met jouw gedrag, of werkt een algemene "gemiddelde" app beter?)

Ze testten dit met 37 mensen die probeerden te stoppen met roken. De mensen vulden een app in (een "dagboek") en de computer probeerde te voorspellen of ze binnenkort zouden terugvallen of een enorme trek zouden krijgen.

📉 De Verassende Resultaten

Hier zijn de belangrijkste ontdekkingen, vertaald naar simpele taal:

1. Minder vragen = Beter resultaat (voor terugval)
Je zou denken: "Hoe meer data, hoe slimmer de computer." Maar dat bleek niet helemaal waar.

• De Analogie: Stel je voor dat je een jager bent die een konijn probeert te zien in het bos. Als je elke seconde een foto maakt, krijg je duizenden foto's van bladeren die bewegen. Je raakt overweldigd en ziet het konijn niet. Als je maar één keer per uur een foto maakt, zie je misschien beter wanneer het konijn echt beweegt.
• Het Resultaat: Voor het voorspellen van een terugval (het roken van een sigaret), werkte het programma juist beter met minder vragen per dag (bijvoorbeeld 3 keer) dan met heel veel vragen (16 keer). De computer kon de belangrijke signalen beter horen door de "ruis" van te veel vragen te verwijderen.

2. Trek is lastiger te voorspellen dan roken
Het voorspellen van een terugval (je hebt gerookt) was makkelijker dan het voorspellen van trek (je hebt heel veel zin, maar rookt nog niet).

• De Analogie: Een terugval is als een onweer dat je ziet en hoort. Trek is als een wolk die langzaam opbouwt. De computer kon de onweersbuien (terugval) redelijk goed zien, maar had moeite met de langzame opbouw van de trek.
• Het Resultaat: Als je minder vaak vroeg, werd het voorspellen van trek juist slechter. Je hebt dus meer frequentie nodig om die subtiele trek te zien.

3. Meer details helpen niet altijd
De onderzoekers dachten: "Laten we alles vragen: wat eet je, waar zit je, wie is erbij?"

• Het Resultaat: Het bleek dat je niet alles hoeft te weten. Een paar belangrijke vragen (zoals "Hoe voel je je?" en "Heb je trek?") waren bijna net zo goed als een lijst met 50 vragen. De computer kon de belangrijke signalen al vinden zonder de "overbodige" details. Dit is goed nieuws: minder vragen betekent minder last voor de gebruiker.

4. Leren van jou zelf vs. Leren van de groep
Sommige apps proberen eerst een paar dagen met jou mee te kijken om jou te leren kennen (een "warm start").

• Het Resultaat: Dit werkte niet altijd beter. Soms was een algemene app (die leert van alle rokers) zelfs beter dan een app die specifiek voor jou was getraind. Het lijkt erop dat de basisregels voor rokers overal hetzelfde zijn, en dat het "leren van jou" niet altijd de grote sprong voorwaarts geeft die we hoopten.

💡 Wat betekent dit voor de toekomst?

De boodschap is: Deze slimme apps zijn veelbelovend, maar nog niet perfect.

• Ze zijn niet zo betrouwbaar als een weervoorspelling voor morgen. Soms voorspellen ze een storm waar geen wind komt, en soms missen ze een storm.
• De beste strategie: Gebruik een slimme mix. Laat de computer waarschuwen, maar combineer dit met vaste regels. Bijvoorbeeld: "Als de computer zegt dat er gevaar is, of als jij zelf voelt dat je trek hebt, dan krijg je een berichtje."
• Minder is meer: Het is beter om een app te maken die 3 keer per dag vraagt of je trek hebt, dan een app die 16 keer per dag piept. De eerste werkt, de tweede wordt uitgezet.

🏁 Conclusie

De onderzoekers zeggen: "We hebben een kompas gebouwd dat de richting aangeeft, maar het is niet perfect." Het is een hulpmiddel, geen magische oplossing. Door de app niet te belasten met te veel vragen en te focussen op de belangrijkste signalen, kunnen we een tool maken die mensen echt helpt om te stoppen met roken, zonder hen te vervelen.

Het is als het bouwen van een fiets: je wilt hem niet te zwaar maken met extra bagage (te veel vragen), maar hij moet wel stevig genoeg zijn om je veilig over de weg te brengen.

Technische samenvatting

Probleemstelling

Roken blijft een belangrijke oorzaak van morbiditeit en mortaliteit. Traditionele interventies zijn vaak te generiek om op kritieke momenten (hoge risico's) te voorkomen. Just-in-time adaptive interventions (JITAIs) bieden hier een oplossing door gepersonaliseerde ondersteuning te leveren op het moment dat het nodig is. Echter, er bestaat een fundamenteel spanningsveld in het ontwerp van JITAIs:

1. Data-dichtheid: Om hoge risico-momenten (zoals een rookprikkel of een 'lapse'/terugval) nauwkeurig te voorspellen, is frequente data-collectie (Ecological Momentary Assessment - EMA) nodig.
2. Gebruikerslast: Te frequente vragenlijsten leiden tot vermoeidheid, lagere compliantie en uitval bij deelnemers.

De huidige literatuur biedt weinig richtlijnen over hoe deze twee eisen in evenwicht te brengen. Het is onduidelijk hoe vaak EMA-prompten moeten worden gestuurd, hoeveel variabelen nodig zijn en of het gebruik van groepsgebaseerde algoritmen of gepersonaliseerde ("warm-start") algoritmen de beste voorspellende kracht biedt voor een rookstop-JITAI.

Methodologie

De studie voerde secundaire analyses uit op data van 37 rokers tijdens de eerste 10 dagen van hun rookstoppoging. Deelnemers vulden oorspronkelijk 16 EMA's per dag in (elk wakker uur), waarbij ze hun stemming, context, gedrag, rookprikkel en eventuele lapses rapporteerden.

Experimenteel Ontwerp:
De auteurs testten systematisch verschillende configuraties van Random Forest (RF) algoritmen om twee uitkomsten te voorspellen:

1. Lapses: Of er gerookt is tussen de huidige en de volgende prompt.
2. Hoge rookprikkel (Cravings): Of de rookprikkel op de volgende prompt hoog was (≥7 op een schaal van 0-10).

De volgende variabelen werden gevarieerd:

• Prompt-frequentie: 16, 6, 5, 4 en 3 prompts per dag (via quasi-willekeurige selectie uit de blokken van de dag).
• Aantal predictoren: Vergelijking tussen het volledige set van 34 variabelen en een geselecteerde subset via Recursive Feature Elimination with Cross-Validation (RFE-CV).
• Trainingsdata-bron:
  • Groepsniveau: Alleen data van andere deelnemers.
  • Hybride niveau (Warm-start): Een mix van groepsdata en de eerste 10%, 20% of 30% van de eigen data van de testdeelnemer.

Evaluatiemetingen:
De prestaties werden gemeten met de F1-score (balans tussen precisie en recall, cruciaal voor onbalans data) en ROC-AUC (discriminatievermogen). Er werden gemengde lineaire modellen gebruikt om de effecten van de variaties te analyseren, met rekening houdend voor clustering binnen individuen.

Belangrijkste Bijdragen

1. Systeematische optimalisatie: Dit is een van de eerste studies die systematisch de trade-off tussen EMA-frequentie, feature-count en trainingsdata-strategieën voor rookstop-JITAIs onderzoekt.
2. Vergelijking van uitkomsten: Het onderscheid maken tussen het voorspellen van lapses (gedragsgebeurtenis) en hoge cravings (subjectieve toestand) levert waardevolle inzichten op over de voorspelbaarheid van deze constructen.
3. Validatie van "Warm-start" strategieën: De studie test of het gebruik van de eigen data van de gebruiker in de trainingsfase (hybride algoritmen) significant beter presteert dan puur groepsgebaseerde modellen in een realistische implementatie-scenario.

Resultaten

De algemene prestatie van de algoritmen was bescheiden en varieerde sterk tussen individuen. Veel configuraties vielen onder de gebruikelijke drempelwaarden voor acceptabele prestaties (vooral voor de F1-score).

• Effect van Prompt-frequentie:
  • Lapses: Verassend genoeg verbeterde de F1-score voor het voorspellen van lapses bij lagere frequenties (3 prompts/dag: F1=0.588 vs 16 prompts/dag: F1=0.254). De ROC-AUC daalde echter licht bij lagere frequenties. Dit suggereert dat minder frequente metingen de balans tussen vals-positieven en vals-negatieven voor lapses kunnen verbeteren.
  • Cravings: Voor het voorspellen van cravings leidde een lagere frequentie tot een consistente en significante daling in zowel F1-score als ROC-AUC. Hoge frequentie is hier dus essentieel.
• Feature Selectie:
  • Het reduceren van het aantal predictoren had een verwaarloosbaar effect op de prestaties voor lapsen.
  • Voor cravings leidde feature selectie tot een lichte, maar significante daling in prestaties.
• Gebruik van Eigen Data (Hybride vs. Groeps):
  • Lapses: Het toevoegen van eigen data (tot 30%) verbeterde de F1-score aanzienlijk, maar had geen significant effect op de ROC-AUC.
  • Cravings: Het toevoegen van eigen data resulteerde in een slechtere prestatie (lagere ROC-AUC en F1-score) vergeleken met puur groepsmodellen.
• Voorspelbaarheid: Het voorspellen van lapses was over het algemeen robuuster dan het voorspellen van cravings.

Betekenis en Conclusie

De studie concludeert dat machine learning op basis van EMA-data weliswaar betekenisvolle risicosignalen kan vangen, maar dat de prestaties voor individuele voorspellingen vaak beperkt zijn.

• Praktische Implicaties: Voor een toekomstige JITAI lijkt een groepsgebaseerd model dat lapses voorspelt, gebaseerd op een gematigde frequentie (3-6 prompts per dag) en een parsimonious set van predictoren, de meest haalbare en effectieve strategie.
• Aanbevelingen:
  • Het voorspellen van cravings is inherent moeilijker en vereist waarschijnlijk hogere data-dichtheid.
  • Gepersonaliseerde "warm-start" algoritmen bieden niet altijd een voordeel en kunnen zelfs contraproductief zijn voor cravings.
  • Gezien de grote variatie tussen individuen, zou een JITAI machine learning-output moeten combineren met regelgebaseerde heuristieken of menselijke beoordeling om de robuustheid te vergroten.
  • De keuze van de drempelwaarde (threshold) voor classificatie is cruciaal en moet worden afgestemd op de interventiedoelen (bijv. prioriteit geven aan sensitiviteit om geen hoog-risico momenten te missen, zelfs ten koste van meer vals-positieven).

Kortom, de studie biedt een onderbouwd kader voor het ontwerp van JITAIs, waarbij het benadrukt dat "meer data" en "meer complexiteit" niet altijd leiden tot betere voorspellingen, en dat een evenwichtige, pragmatische aanpak essentieel is voor implementatie in de echte wereld.