How can digital and AI-enabled behaviour change interventions be evaluated while they are changing? HUMMBER: identifying what changed, for whom, why and with what effect

Stel je voor dat je een schip door een storm probeert te sturen terwijl de kaart, de wind en de bemanning allemaal tegelijkertijd veranderen. Dit is de realiteit voor moderne gezondheidsprogramma's die leven op smartphones en wearables. Deze digitale hulpmiddelen zijn ontworpen om mensen te helpen gezondere gewoonten aan te nemen, zoals meer bewegen of beter eten. Sommige van de nieuwste versies gebruiken zelfs kunstmatige intelligentie om te raden wat een persoon nodig heeft en om hun advies in realtime aan te passen. Maar deze constante verschuiving creëert een probleem voor de mensen die proberen te meten of deze hulpmiddelen daadwerkelijk werken. Als een programma elke week zijn functies verandert, of als de levensomstandigheden van een gebruiker verschuiven, wordt een simpele "voor en na"-controle misleidend. Een persoon kan uiteindelijk op een goede plek terechtkomen, maar het pad dat zij hebben afgelegd kan anders zijn dan dat van iemand anders, of het hulpmiddel kan voor de ene groep hebben gewerkt maar voor de andere gefaald hebben. Om deze bewegende doelwitten echt te begrijpen, hebben wetenschappers een manier nodig om te kijken, te luisteren en vragen te stellen terwijl het programma draait, in plaats van alleen maar te wachten op het eindresultaat.

Een team van onderzoekers heeft een nieuwe manier voorgesteld om deze complexiteit aan te pakken, genaamd HUMMBER. Deze benadering is geen nieuwe app of een medische behandeling; het is een set regels voor hoe je deze veranderende digitale hulpmiddelen bestudeert. De onderzoekers wilden een methode creëren die kon bijhouden wat er veranderde, wie erdoor werd beïloed, onder welke omstandigheden, en waarom. Cruciaal is dat deze methode een mens de leiding houdt over de uiteindelijke beslissingen. De kunstmatige intelligentie kan suggesties doen en gegevens verzamelen, maar de methode zorgt ervoor dat een menselijke evaluator bepaalt wat de gegevens betekenen en of er actie op moet worden ondernomen. Het team testte dit idee door een volledig computergegenereerde simulatie te bouwen. Ze creëerden een fictief digitaal gezondheidsprogramma en vulden het met 600 virtuele mensen, en lieten het programma 26 weken draaien. Ze introduceerden specifieke problemen, zoals sommige mensen met een slechte internetverbinding of het programma dat te moeilijk werd, om te zien of hun nieuwe methode deze problemen nauwkeurig kon opsporen.

De simulatie onthulde dat kijken naar alleen de uiteindelijke uitkomst vaak een valstrik is. In de computerwereld creëerden de onderzoekers vijf verschillende groepen virtuele mensen. Aan het einde van de 26 weken hadden alle vijf de groepen bijna exact hetzelfde niveau van succes bereikt, waarbij ongeveer 70 procent van hen zich aan het programma hield. Echter, de reis die elke groep aflegde was volkomen verschillend. De ene groep worstelde omdat de technologie hen in de steek liet, een andere omdat de doelen te moeilijk aanvoelden, en een derde omdat ze simpelweg het enthousiasme verloren. Als de onderzoekers alleen naar de definitieve cijfers hadden gekeken, zouden ze deze vitale verschillen hebben gemist. De HUMMBER-methode slaagde er echter in om deze afzonderlijke paden te volgen. Het toonde aan dat hoewel de bestemming hetzelfde was, de redenen om daar te komen — of om daar niet te komen — uniek waren voor elke groep. Dit bewijst dat een methode nodig is om naar het hele verhaal te kijken, en niet alleen naar de afloop.

De studie benadrukte ook hoe eerlijkheid verborgen kan zitten in de gegevens. De onderzoekers programmeerden een scenario waarin mensen met beperkte digitale toegang minder kansen hadden om hulp te krijgen van het hulpmiddel. De methode ving dit onmiddellijk op. Het toonde aan dat deze deelnemers minder kansen hadden om ondersteuning te krijgen en meer ontbrekende gegevens hadden, zelfs terwijl de hulp zelf net zo goed werkte voor hen als voor iedereen. Zonder deze gedetailleerde tracking zou een onderzoeker er onterecht van kunnen concluderen dat het hulpmiddel niet werkte voor mensen met een slechte internetverbinding. In plaats daarvan verduidelijkte de methode dat het probleem niet de effectiviteit van het hulpmiddel was, maar het gebrek aan toegang ertoe. Dit onderscheid is essentieel om ervoor te zorgen dat gezondheidshulpmiddelen iedereen helpen, niet alleen degenen met de beste technologie.

Nog een belangrijke bevinding ging over hoe je mensen om informatie vraagt zonder hen te irriteren. De simulatie testte verschillende manieren om gebruikers te controleren: direct vragen, even wachten, of de gebruiker laten kiezen wanneer ze antwoorden. De resultaten lieten zien dat de gebruiker zelf de tijd laten kiezen het meest efficiënt was. Het verzamelde de meest nuttige informatie voor elke minuut die de gebruiker besteedde aan het beantwoorden van vragen. Dit suggereert dat het respecteren van de tijd en de keuze van een persoon de kwaliteit van de verzamelde gegevens kan verbeteren, in plaats van dat het slechts een vriendelijk gebaar is. De methode testte ook of het systeem kon achterhalen waarom dingen veranderden. Wanneer de simulatie begon met een verkeerde gok over de oorzaak van een probleem, corrigeerde de HUMMBER-methode zichzelf langzaam naarmate er nieuwe bewijzen binnenkwamen. Het dwong geen snel antwoord af; in plaats daarvan werd het begrip bijgesteld naarmate het verhaal zich ontvouwde, waardoor uiteindelijk in de meeste gevallen de ware oorzaak werd geïdentificeerd.

Misschien wel het belangrijkste was dat de methode leerde wanneer ze moest stoppen en moest zeggen: "we weten het nog niet." In de simulatie probeerden de onderzoekers te bewijzen dat een specifieke functie een verandering in gedrag veroorzaakte. Wanneer de gegevens wankel waren of de vergelijking onrechtvaardig was, weigerde de methode een bewering te doen. Het bestempelde het resultaat als "onvoldoende bewijs" in plaats van een conclusie te forceren. Dit is een bewuste ontwerpkeuze. De onderzoekers bouwden het systeem om voorzichtig te zijn. Als het bewijs niet sterk genoeg was, of als de gegevens op een manier ontbraken die de resultaten zou kunnen beïnvloeden, gaf de methode de onzekerheid aan. Het deed zich niet voor als een antwoord te hebben. Dit beschermt besluitvormers tegen handelen op basis van valse hoop. Het systeem controleerde ook op situaties waarin het effect van een hulpmiddel in de loop van de tijd veranderde, om er zeker van te zijn dat een conclusie die in week één werd getrokken, niet blindelings werd toegepast in week twintig.

De onderzoekers waren zorgvuldig in hun vermelding dat dit een test van de methode zelf was, en niet een test van een echt gezondheidsprogramma. De mensen en gebeurtenissen werden volledig door een computer bedacht om te zien of de regels werkten onder gecontroleerde omstandigheden. Ze hebben dit niet getest op echte patiënten of in een echt ziekenhuis. Het doel was te bewijzen dat de logica van de methode standhoudt wanneer de variabelen bekend zijn en de uitkomsten vooraf vaststaan. De simulatie toonde aan dat de architectuur verschillende soorten bewijslast verbonden kon houden zonder ze te verwarren. Het kon het verhaal van wat er gebeurde scheiden van het verhaal van waarom het gebeurde, en het kon de last op de gebruiker zichtbaar houden.

Dit werk suggereert een nieuwe weg voorwaarts voor de toekomst van digitale gezondheidszorg. Naarmale kunstmatige intelligentie gebruikelijker wordt in gezondheidsapps, zullen deze hulpmiddelen voortdurend veranderen en zich aanpassen. De HUMMBER-methode biedt een manier om deze veranderingen nauwlettend in de gaten te houden, om ervoor te zorgen dat we begrijpen wie er baat bij heeft, wie er buiten wordt gelaten, en wat de resultaten daadwerkelijk aanstuurt. Het legt de verantwoordelijkheid terug bij menselijke evaluatoren om het bewijs te interpreteren en de uiteindelijke beslissing te nemen. Hoewel de simulatie bewees dat het concept werkt in een gecontroleerde omgeving, merken de onderzoekers op dat de volgende stap is om het in de echte wereld te testen. Ze moeten zien of artsen, patiënten en ontwikkelaars deze regels samen kunnen gebruiken om complexe, veranderende gezondheidshulpmiddelen te begrijpen. Tot die tijd blijft de methode een veelbelovend blauwdruk om het menselijk oordeel centraal te stellen in een steeds verder automatiserende wereld.