How can digital and AI-enabled behaviour change interventions be evaluated while they are changing? HUMMBER: identifying what changed, for whom, why and with what effect

Stellen Sie sich vor, Sie versuchen, ein Schiff durch einen Sturm zu steuern, während sich die Karte, der Wind und die Besatzung gleichzeitig verändern. Dies ist die Realität moderner Gesundheitsprogramme, die auf Smartphones und Wearables leben. Diese digitalen Werkzeuge sind darauf ausgelegt, Menschen dabei zu helfen, gesündere Gewohnheiten anzunehmen, wie etwa mehr zu trainieren oder besser zu essen. Einige der neuesten Versionen nutzen sogar künstliche Intelligenz, um zu erraten, was eine Person benötigt, und um ihren Rat in Echtzeit anzupassen. Doch dieser ständige Wandel schafft ein Problem für die Menschen, die versuchen zu messen, ob diese Werkzeuge tatsächlich funktionieren. Wenn ein Programm seine Funktionen jede Woche ändert oder sich die Lebensumstände eines Nutzers verschieben, wird eine einfache „Vorher-Nachher“-Überprüfung irreführend. Eine Person könnte am Ende zwar an einem guten Punkt ankommen, aber der Weg, den sie dorthin gefunden hat, könnte sich von dem einer anderen Person unterscheiden, oder das Werkzeug könnte für eine Gruppe funktioniert, aber für eine andere versagt haben. Um diese beweglichen Ziele wirklich zu verstehen, müssen Wissenschaftler eine Möglichkeit finden, das Programm zu beobachten, zuzuhören und Fragen zu stellen, während es läuft, anstatt nur auf das Endergebnis zu warten.

Ein Forschungsteam hat einen neuen Weg vorgeschlagen, um mit dieser Komplexität umzugehen, genannt HUMMBER. Dieser Ansatz ist keine neue App oder eine medizinische Behandlung; er ist ein Regelwerk dafür, wie man diese sich verändernden digitalen Werkzeuge untersucht. Die Forscher wollten eine Methode entwickeln, die verfolgen kann, was sich ändert, wen das betrifft, unter welchen Bedingungen und warum. Entscheidend ist, dass diese Methode einen Menschen in der Verantwortung für die endgültigen Entscheidungen belässt. Die künstliche Intelligenz kann Vorschläge machen und Daten sammeln, aber die Methode stellt sicher, dass ein menschlicher Evaluator entscheidet, was die Daten bedeuten und ob darauf reagiert werden soll. Das Team testete diese Idee, indem es eine vollständig computergenerierte Simulation aufbaute. Sie erschufen ein fiktives digitales Gesundheitsprogramm und bevölkerten es mit 600 virtuellen Menschen, dann ließen sie das Programm 26 Wochen lang laufen. Sie führten spezifische Probleme ein, wie etwa eine schlechte Internetverbindung bei einigen Personen oder ein zu schwieriges Programm, um zu sehen, ob ihre neue Methode diese Probleme präzise erkennen konnte.

Die Simulation zeigte, dass es oft eine Falle ist, nur auf das Endergebnis zu schauen. In der Computerwelt erschufen die Forscher fünf verschiedene Gruppen virtueller Menschen. Am Ende der 26 Wochen hatten alle fünf Gruppen fast exakt das gleiche Erfolgsniveau erreicht, wobei etwa 70 Prozent von ihnen am Programm teilnahmen. Jedoch war die Reise, die jede Gruppe zurücklegte, völlig unterschiedlich. Eine Gruppe kämpfte damit, dass die Technologie sie im Stich ließ, eine andere, weil die Ziele sich zu schwer anfühlten, und eine dritte, weil sie schlichtweg das Interesse verlor. Hätten die Forscher nur auf die endgültigen Zahlen geschaut, hätten sie diese lebenswichtigen Unterschiede übersehen. Die HUMMBER-Methode hingegen verfolgte diese separaten Pfade erfolgreich. Sie zeigte, dass das Ziel zwar dasselbe war, die Gründe für den Weg dorthin – oder das Scheitern daran – jedoch einzigartig für jede Gruppe waren. Dies beweist, dass eine Methode nötig ist, um die ganze Geschichte zu betrachten, nicht nur das Ende.

Die Studie verdeutlichte auch, wie Fairness in den Daten verborgen sein kann. Die Forscher programmierten ein Szenario, in dem Menschen mit begrenztem digitalen Zugang weniger Chancen erhielten, Unterstützung durch das Werkzeug zu erhalten. Die Methode erfasste dies sofort. Sie zeigte, dass diese Teilnehmer weniger Möglichkeiten erhielten, Unterstützung zu bekommen, und mehr fehlende Daten aufwiesen, obwohl die Hilfe selbst für sie genauso gut funktionierte wie für alle anderen. Ohne diese detaillierte Verfolgung hätte ein Forscher fälschlicherweise schlussfolgern können, dass das Werkzeug für Menschen mit schlechtem Internet nicht funktionierte. Stattdessen klärte die Methode auf, dass das Problem nicht die Wirksamkeit des Werkzeugs war, sondern der mangelnde Zugang dazu. Diese Unterscheidung ist entscheidend, um sicherzustellen, dass Gesundheitstools allen helfen, nicht nur denen mit der besten Technologie.

Ein weiterer wichtiger Befund betraf die Frage, wie man Menschen nach Informationen fragt, ohne sie zu nerven. Die Simulation testete verschiedene Wege, wie man sich bei Nutzern meldet: sofort fragen, eine Weile warten oder den Nutzer entscheiden lassen, wann er antwortet. Die Ergebnisse zeigten, dass es am effizientesten war, den Nutzer wählen zu lassen. Es sammelte die nützlichsten Informationen für jede Minute, die der Nutzer mit dem Beantworten der Fragen verbrachte. Dies deutet darauf hin, dass das Respektieren der Zeit und der Wahlfreiheit eines Menschen die Qualität der gesammelten Daten tatsächlich verbessern kann, anstatt nur eine nette Geste zu sein. Die Methode testete auch, ob das System herausfinden konnte, warum sich Dinge änderten. Als die Simulation mit einer falschen Vermutung über die Ursache eines Problems begann, korrigierte sich die HUMMBER-Methode langsam, während neue Erkenntnisse einströmten. Sie drängte nicht auf eine schnelle Antwort; stattdessen aktualisierte sie ihr Verständnis, während sich die Geschichte entfaltete, und identifizierte in den meisten Fällen schließlich die wahre Ursache.

Vielleicht am wichtigsten war, dass die Methode lernte, wann sie innehalten und sagen muss: „Wir wissen es noch nicht.“ In der Simulation versuchten die Forscher zu beweisen, dass ein bestimmtes Merkmal eine Verhaltensänderung verursachte. Wenn die Daten unsicher oder der Vergleich unfair war, verweigerte die Methode eine Behauptung. Sie bezeichnete das Ergebnis als „unzureichende Evidenz“, anstatt eine Schlussfolgerung zu erzwingen. Dies ist eine bewusste Designentscheidung. Die Forscher bauten das System so, dass es vorsichtig ist. Wenn die Beweise nicht stark genug waren oder die Daten in einer Weise fehlten, die die Ergebnisse verzerren könnte, markierte die Methode die Unsicherheit. Sie gab nicht vor, eine Antwort zu haben. Dies schützt Entscheidungsträger davor, auf falsche Hoffnungen zu vertrauen. Das System prüfte auch Situationen, in denen sich die Wirkung eines Werkzeugs über die Zeit änderte, um sicherzustellen, dass eine in Woche eins gezogene Schlussfolgerung nicht blind auf Woche zwanzig angewendet wurde.

Die Forscher waren sorgfältig darauf bedacht, festzustellen, dass dies ein Test der Methode selbst war, nicht ein Test eines echten Gesundheitsprogramms. Die Menschen und Ereignisse wurden vollständig von einem Computer erfunden, um zu sehen, ob die Regeln unter kontrollierten Bedingungen funktionieren. Sie wurden nicht an echten Patienten oder in einem echten Krankenhaus getestet. Das Ziel war zu beweisen, dass die Logik der Methode Bestand hat, wenn die Variablen bekannt und die Ergebnisse vorgegeben sind. Die Simulation zeigte, dass die Architektur in der Lage war, verschiedene Arten von Beweisen miteinander zu verbinden, ohne sie zu verwirren. Sie konnte die Geschichte dessen, was geschah, von der Geschichte dessen, warum es geschah, trennen und die Last auf den Nutzer sichtbar halten.

Diese Arbeit deutet auf einen neuen Weg für die Zukunft der digitalen Gesundheit hin. Da künstliche Intelligenz in Gesundheits-Apps immer häufiger vorkommt, werden sich diese Werkzeuge ständig verändern und anpassen. Die HUMMBER-Methode bietet eine Möglichkeit, diese Veränderungen genau zu beobachten und sicherzustellen, dass wir verstehen, wer profitiert, wer ausgeschlossen wird und was die Ergebnisse tatsächlich antreibt. Sie legt die Verantwortung zurück in die Hände menschlicher Evaluatoren, die die Beweise zu interpretieren und die endgültige Entscheidung zu treffen haben. Während die Simulation bewies, dass das Konzept in einer kontrollierten Umgebung funktioniert, merken die Forscher an, dass der nächste Schritt darin besteht, es in der realen Welt zu testen. Sie müssen sehen, ob Ärzte, Patienten und Entwickler gemeinsam in der Lage sind, diese Regeln zu nutzen, um komple-xe, sich verändernde Gesundheitstools zu verstehen. Bis dahin bleibt die Methode ein vielversprechender Entwurf, um das menschliche Urteilsvermögen im Zentrum einer zunehmend automatisierten Welt zu halten.