Optimising supervised machine learning algorithms predicting cigarette cravings and lapses for a smoking cessation just-in-time adaptive intervention (JITAI)

Die Studie zeigt, dass maschinelles Lernen zwar das Risiko von Rückfällen bei Rauchstopp-Interventionen erkennen kann, jedoch aufgrund mäßiger Gesamtleistung und hoher individueller Variabilität allein nicht ausreicht und am besten mit regelbasierten Ansätzen kombiniert werden sollte.

Das Wesentliche

🚬 Die digitale Wettervorhersage für Raucher: Ein Versuch, den "schlechten Moment" vorherzusagen

Stellen Sie sich vor, Sie versuchen, mit dem Rauchen aufzuhören. Es gibt Momente, in denen es leicht ist, und Momente, in denen die Zigarette fast wie ein magnetischer Anziehungspunkt wirkt. Diese Studie fragt sich: Können wir eine Art "Wetterapp" für diese Momente bauen?

Die Forscher wollten herausfinden, ob ein Computerprogramm (ein Algorithmus) vorhersagen kann, wann ein Raucher kurz davor ist, einen Ausrutscher zu machen (eine Zigarette zu rauchen) oder starke Heißhungerattacken zu bekommen. Das Ziel war es, eine App zu entwickeln, die genau in diesem kritischen Moment eine hilfreiche Nachricht schickt, bevor es zu spät ist.

Hier sind die wichtigsten Erkenntnisse, einfach erklärt:

1. Das Problem: Zu viele Fragen nerven, zu wenige helfen nicht

Um das Wetter vorherzusagen, braucht man Daten. In diesem Fall mussten die Teilnehmer über eine App viele Fragen beantworten (z. B. "Wie fühlst du dich?", "Wo bist du?", "Hast du Stress?").

• Die Idee: Je öfter man fragt (z. B. 16 Mal am Tag), desto genauer sollte die Vorhersage sein.
• Die Realität: Die Forscher haben getestet, ob man mit weniger Fragen (z. B. nur 3 oder 4 Mal am Tag) genauso gute Ergebnisse erzielt.
• Das Ergebnis: Es ist kompliziert!
  • Bei der Vorhersage von Ausrutschern (dem tatsächlichen Rauchen) war es sogar überraschend: Mit weniger Fragen lief der Algorithmus manchmal besser! Vielleicht weil die Leute bei 16 Fragen pro Tag müde wurden und ungenaue Antworten gaben.
  • Bei der Vorhersage von Heißhunger (dem starken Verlangen) war es anders: Hier halfen mehr Fragen wirklich. Weniger Fragen machten die Vorhersage schlechter.

2. Der "Schwarm-Intelligenz"-Trick vs. der "Persönliche Coach"

Die Forscher haben zwei Arten von Algorithmen getestet:

• Der "Schwarm-Coach" (Gruppen-Algorithmus): Dieser lernt aus den Daten von allen Teilnehmern. Er weiß, was für die meisten Menschen typisch ist.
• Der "Persönliche Coach" (Hybrid-Algorithmus): Dieser lernt erst aus den Daten aller, schaut sich dann aber die ersten Tage des einzelnen Nutzers an, um sich auf ihn zu spezialisieren.

Das Ergebnis: Der "Persönliche Coach" war nicht unbedingt besser als der "Schwarm-Coach". Oft reichte es völlig aus, das Wissen der Gruppe zu nutzen. Das ist eine gute Nachricht, denn es bedeutet, dass die App nicht erst wochenlang warten muss, um den Nutzer zu "kennenlernen", sondern sofort helfen kann.

3. Die Vorhersage ist wie ein unzuverlässiger Wetterbericht

Die wichtigste Erkenntnis ist: Die Vorhersage ist nicht perfekt.
Manchmal sagt die App: "Pass auf, gleich kommt ein Sturm!" (Hohe Gefahr), und es passiert nichts. Manchmal sagt sie: "Alles ruhig", und der Nutzer raucht trotzdem.

• Die Vorhersage für Ausrutscher war etwas besser als für Heißhunger.
• Aber insgesamt war die Treffsicherheit nur "mittelmäßig". Sie ist besser als ein Münzwurf, aber nicht gut genug, um sich blind darauf zu verlassen.

4. Was bedeutet das für die Zukunft?

Die Forscher kommen zu einem klaren Schluss:
Ein reiner Computer-Algorithmus allein ist wahrscheinlich nicht stark genug, um jemanden vor dem Rauchen zu retten. Man kann sich nicht nur auf die App verlassen.

Die beste Lösung? Eine Hybrid-Lösung:
Stellen Sie sich eine App vor, die zwei Systeme nutzt:

1. Den Computer, der Muster erkennt und sagt: "Hey, hier ist es riskant."
2. Einfache, menschliche Regeln, die den Computer stützen (z. B. "Wenn jemand um 17 Uhr in einer Bar ist, schicke immer eine Warnung, egal was der Computer sagt").

🎯 Das Fazit in einem Satz

Man kann mit Hilfe von Apps und Daten versuchen, den Moment vorherzusagen, in dem ein Raucher schwach wird, aber die Technik ist noch nicht so präzise wie ein menschlicher Experte. Die beste Strategie ist daher, die Technologie als Hilfe zu nutzen, die mit einfachen, klaren Regeln kombiniert wird, um den Nutzer in den kritischen Momenten zu unterstützen, ohne ihn mit zu vielen Fragen zu überfluten.

Technische Zusammenfassung

Technische Zusammenfassung: Optimierung von überwachten Machine-Learning-Algorithmen zur Vorhersage von Zigaretten-Cravings und Rückfällen

1. Problemstellung und Zielsetzung

Rauchen bleibt eine der Hauptursachen für Morbidität und Mortalität. Traditionelle Interventionsansätze sind oft nicht ausreichend, um Rückfälle (Lapses) in kritischen Momenten zu verhindern. Just-in-Time Adaptive Interventions (JITAIs) versprechen, durch zeitnahe, maßgeschneiderte Unterstützung genau dann einzugreifen, wenn das Risiko eines Rückfalls hoch ist.

Das zentrale Problem bei der Implementierung von JITAIs liegt im Zielkonflikt zwischen Datendichte und Nutzerbelastung:

• Um Algorithmen präzise zu trainieren, sind häufige Erfassungen von psychologischen und kontextuellen Variablen (via Ecological Momentary Assessment, EMA) notwendig.
• Zu häufige Abfragen führen jedoch zu einer hohen Nutzerbelastung, sinkender Compliance und einem Abbruch der Intervention.

Die Studie zielt darauf ab, den optimalen Kompromiss zu finden, indem sie systematisch untersucht, wie sich die Frequenz der EMA-Prompts, die Anzahl der Prädiktoren und die Herkunft der Trainingsdaten (gruppenbasiert vs. personalisiert) auf die Leistung von Machine-Learning-Algorithmen zur Vorhersage von zwei Zielgrößen auswirken:

1. Lapses: Tatsächliche Raucherlapse (Rückfälle).
2. Cravings: Hohe Verlangen nach Zigaretten (operationalisiert als Score ≥ 7 auf einer 11-Punkte-Skala).

2. Methodik

Studiendesign und Datenbasis:

• Stichprobe: Sekundäranalyse von Daten von 37 Rauchern (hauptsächlich weiblich, weiß, Durchschnittsalter ~43 Jahre) während der ersten 10 Tage ihres Rauchstopp-Versuchs.
• Datenerhebung: Ursprünglich wurden 16 EMAs pro Tag (alle 1-2 Stunden) durchgeführt, um Stimmung, Kontext, Verhalten, Cravings und Lapse-Ereignisse zu erfassen.
• Vorverarbeitung: Teilnehmer mit einer Compliance von ≤60% wurden ausgeschlossen (n=37 verbleibend). Fehlende Daten wurden mittels eines univariaten Kalman-Filters imputiert.

Algorithmische Architektur:

• Modelltyp: Random Forest (RF) Algorithmen. RF wurde gewählt, da es in vorherigen Vergleichen die beste Balance aus ROC-AUC, Sensitivität und Spezifität zeigte und robust gegenüber nicht-linearen Beziehungen und Feature-Interaktionen ist.
• Vorhersage: Separate Modelle für Lapses und Cravings. Die Vorhersage basiert auf den Werten des vorherigen EMA-Zeitpunkts und Basislinien-Variablen.
• Experimentelle Variationen:
  1. Prompt-Frequenz: Vergleich von 16, 6, 5, 4 und 3 Prompts pro Tag (quasi-randomisiert über den Tag verteilt).
  2. Feature-Selektion: Vergleich von Modellen mit allen verfügbaren Prädiktoren (n=34) vs. Modellen mit einer optimierten Teilmenge (mittels Recursive Feature Elimination with Cross-Validation, RFE-CV).
  3. Trainingsdaten-Zusammensetzung: Vergleich von rein gruppenbasierten Modellen ("Group-level") mit hybriden Modellen ("Hybrid-level"), die 10%, 20% oder 30% der eigenen Daten des Testteilnehmers (die ersten 1-3 Tage) in den Trainingsdatensatz einbeziehen ("Warm Start").

Evaluationsmetriken:

• Hauptmetriken: F1-Score (Harmonisches Mittel aus Precision und Recall; wichtig bei unausgeglichenen Klassen) und ROC-AUC (Fläche unter der Receiver-Operating-Characteristic-Kurve; Maß für die Diskriminierungsfähigkeit).
• Statistische Analyse: Gemischte lineare Modelle (LMM) und zero-inflated Beta-Regressionen zur Analyse der Leistungsmuster unter Berücksichtigung der Clusterung innerhalb der Teilnehmer.

3. Wichtige Ergebnisse

Gesamtleistung:
Die Vorhersageleistung war insgesamt mäßig und wies eine hohe interindividuelle Variabilität auf. Viele Konfigurationen lagen unter den üblichen Mindestschwellen für akzeptable Leistung (insbesondere beim F1-Score < 0,5), obwohl die ROC-AUC-Werte oft über dem Zufallsniveau lagen.

Einfluss der Prompt-Frequenz:

• Lapses (Rückfälle): Überraschenderweise verbesserte sich der F1-Score bei geringerer Prompt-Frequenz (3 Prompts/Tag: Median 0,588 vs. 16 Prompts/Tag: 0,254). Die ROC-AUC zeigte jedoch einen leichten, inkonsistenten Abfall bei reduzierter Frequenz. Dies deutet darauf hin, dass weniger Datenpunkte bei Lapses weniger Rauschen enthalten oder die zeitlichen Lücken für die Vorhersage von diskreten Ereignissen weniger kritisch sind.
• Cravings (Verlangen): Hier zeigte sich das erwartete Muster: Eine Reduktion der Prompt-Frequenz führte zu einem signifikanten Abfall sowohl beim F1-Score als auch bei der ROC-AUC. Cravings scheinen dynamischer und schwerer mit weniger häufigen Messungen vorherzusagen zu sein.

Einfluss der Feature-Selektion:

• Die Reduktion der Prädiktoren hatte vernachlässigbare Auswirkungen auf die Vorhersage von Lapses.
• Bei Cravings führte die Feature-Selektion zu einer leichten Verschlechterung der Leistung.
• Fazit: Ein sparsames Modell mit weniger Variablen ist für Lapse-Vorhersagen praktikabel, ohne signifikante Genauigkeitsverluste.

Einfluss personalisierter Daten (Hybrid-Modelle):

• Lapses: Der Einbezug eigener Daten des Teilnehmers (bis zu 30%) verbesserte den F1-Score signifikant, hatte aber keinen signifikanten Einfluss auf die ROC-AUC.
• Cravings: Der Einbezug eigener Daten verschlechterte die ROC-AUC signifikant und hatte keinen positiven Effekt auf den F1-Score.
• Fazit: Personalisierung ("Warm Start") ist nicht automatisch vorteilhaft und kann je nach Zielgröße und Metrik sogar nachteilig sein.

4. Hauptbeiträge und Signifikanz

1. Empirische Evidenz für JITAI-Design: Die Studie liefert konkrete Hinweise darauf, dass für die Vorhersage von Lapses in einem JITAI-Kontext weniger häufige Abfragen (3–6 Prompts/Tag) ausreichen können, um eine gute F1-Leistung zu erzielen, was die Nutzerbelastung signifikant reduziert.
2. Unterscheidung der Zielgrößen: Es wird deutlich, dass Lapses und Cravings unterschiedliche Vorhersagedynamiken haben. Cravings erfordern höhere Datendichte, während Lapses robuster gegenüber reduzierter Frequenz sind.
3. Herausforderung der Personalisierung: Die Ergebnisse widerlegen die Annahme, dass personalisierte Modelle (Hybrid-Level) automatisch besser sind als gruppenbasierte Modelle. Für die Diskriminierungsfähigkeit (ROC-AUC) reichten gruppenbasierte Modelle oft aus.
4. Praktische Implikationen:
   • Reine ML-basierte Vorhersagen allein reichen wahrscheinlich nicht für eine robuste klinische Implementierung aus.
   • Eine Kombination aus ML-Algorithmen und regelbasierten Heuristiken (Hybrid-Ansatz) wird empfohlen, um die Risiken falscher Vorhersagen zu minimieren.
   • Die Wahl der Metrik (F1 vs. ROC-AUC) ist entscheidend für die Interpretation der "Akzeptanz" eines Modells.

Fazit:
Die Studie zeigt, dass EMA-basiertes Machine Learning zwar signifikante Risikosignale erfassen kann, die Leistung jedoch stark vom Individuum und der gewählten Konfiguration abhängt. Ein pragmatischer Ansatz für zukünftige JITAIs wäre ein gruppenbasiertes Lapse-Risiko-Modell mit einer moderaten Anzahl täglicher Prompts (3–6) und einer reduzierten Feature-Menge, ergänzt durch flexible Schwellenwerte und regelbasierte Sicherheitsnetze.