Constructing Evidence-Based Tailoring Variables for Adaptive Interventions

Dit artikel presenteert een raamwerk voor het systematisch ontwikkelen van evidence-based aanpassingsvariabelen voor adaptieve interventies, waarbij wordt geconcludeerd dat hoewel secundaire data bruikbaar is, gecontroleerde optimalisatie-experimenten de meest directe causale bewijzen leveren voor het bepalen van meetmomenten, beslismomenten en drempelwaarden.

De kern

Hoe je de perfecte "reddingsboei" vindt: Een simpele uitleg over gepersonaliseerde behandelingen

Stel je voor dat je een groot feest organiseert voor mensen die willen stoppen met roken of hun gewicht willen verliezen. Je hebt een geweldig startpakket: een app met tips en een video. Maar je weet dat niet iedereen even goed reageert. Sommigen vinden het geweldig en blijven volhouden; anderen haken na een week af of vinden het niet werken.

De grote vraag is: Wanneer moet je ingrijpen en een "reddingsboei" (zoals een persoonlijke coach) aanbieden?

Dit artikel van Dziak en Nahum-Shani gaat over het vinden van de perfecte regels voor die reddingsboei. Ze noemen dit "tailoring variables" (aanpassingsvariabelen). Laten we de complexe wetenschappelijke termen vertalen naar alledaagse beelden.

1. Wat is een "Aanpassingsregel"?

Een aanpassingsregel bestaat uit vier stukjes die je moet bepalen, net als het instellen van een slimme thermostaat:

1. Wat meet je? (De thermometer: meet je de temperatuur of de luchtvochtigheid?)
2. Wanneer meet je het? (Om 8 uur 's ochtends of om 8 uur 's avonds?)
3. Wanneer beslis je? (Zodra de meting binnen is, of wacht je even?)
4. Wat is de drempel? (Bij welke temperatuur schakelt de verwarming in? Bij 18 graden of pas bij 16?)

In het artikel noemen ze dit: Opgemeten variabele, Meetmoment, Beslismoment en Cutoff (drempelwaarde).

2. De twee manieren om de beste regel te vinden

De auteurs vergelijken twee manieren om uit te zoeken welke regel het beste werkt:

Manier A: Kijken naar het verleden (SDA - Secundaire Data Analyse)

Stel je voor dat je een oude logboek van een vorig feest hebt. Je kijkt naar mensen die alleen de app kregen en kijkt: "Wie had het laatst het moeilijkst?"

• Het probleem: Je ziet alleen wat er zonder reddingsboei is gebeurd. Je weet niet zeker of die mensen die je als "probleemgeval" ziet, nu wel geholpen zouden zijn door een coach. Misschien hadden ze de app gewoon nodig, maar niet de coach.
• De valkuil: Als je te streng bent (alleen de allerergste gevallen helpen), mis je mensen die wel geholpen hadden kunnen worden. Als je te mild bent (iedereen helpen), verspil je geld aan mensen die het niet nodig hadden. Het is alsof je probeert te voorspellen of een auto een crash zal krijgen, zonder dat je de airbags hebt getest.

Manier B: Het grote experiment (ORCT - Optimalisatie Experiment)

Dit is de "gouden standaard". In plaats van naar oude logboeken te kijken, organiseer je een nieuw feest met verschillende regels.

• Hoe werkt het? Je verdeelt de gasten willekeurig over verschillende groepen.
  • Groep 1: "We bellen de coach als iemand 2 keer per week de app niet gebruikt."
  • Groep 2: "We bellen de coach pas als iemand 4 keer per week de app niet gebruikt."
  • Groep 3: "We bellen de coach na 2 weken."
  • Groep 4: "We bellen de coach pas na 4 weken."
• Het voordeel: Omdat je alles willekeurig verdeelt, weet je zeker dat het verschil in resultaat komt door de regel die je hebt gekozen, en niet door toeval. Je ziet direct welke groep het beste presteert.

3. De drie grote vragen die je moet beantwoorden

De auteurs bespreken drie specifieke dilemma's die je tegenkomt bij het ontwerpen van deze regels:

Vraag 1: Hoe streng moet de drempel zijn? (De Cutoff)

• Het dilemma: Moet je de coach bellen als iemand de app 1 keer per week niet gebruikt, of pas als ze 2 keer per week niet reageren?
• De analogie: Stel je voor dat je een alarm hebt.
  • Te gevoelig (1 keer): Het alarm gaat af bij elke kleine ruis. Je krijgt veel valse alarmen en je coach is de hele dag aan het bellen (te duur, mensen worden geïrriteerd).
  • Te traag (2 keer): Het alarm gaat pas af als het huis al in brand staat. Je mist de kans om te helpen op het moment dat het nog makkelijk was.
• De oplossing: Je moet een experiment doen om te zien waar de balans ligt tussen "niemand missen" en "niet iedereen lastigvallen".

Vraag 2: Wanneer moet je beslissen? (Het Beslismoment)

• Het dilemma: Moet je beslissen na 2 weken of na 4 weken?
• De analogie: Een tuinier die kijkt of zijn planten water nodig hebben.
  • Te vroeg (2 weken): De plant ziet er even droog uit, maar misschien is het gewoon een warme dag. Als je nu water geeft, is het misschien niet nodig.
  • Te laat (4 weken): Je wacht tot de plant helemaal verwelkt is. Dan is het misschien te laat om hem te redden.
• De oplossing: Soms is de beste voorspelling van de toekomst pas op het einde van de periode duidelijk, maar dan is het te laat om te helpen. Je moet een experiment doen om het "elbow-punt" te vinden: het moment waarop je genoeg zekerheid hebt, maar nog niet te laat bent.

Vraag 3: Wat moet je meten? (De Variabele)

• Het dilemma: Moet je kijken naar hoe vaak ze de app gebruiken, of naar hoeveel ze roken? Of naar beide?
• De analogie: Je wilt weten of een auto snel is.
  • Meet je de snelheid op de snelweg?
  • Meet je het brandstofverbruik?
  • Of meet je hoe hard de motor draait?
• De oplossing: Soms is de ene meting een betere voorspeller dan de andere. Maar soms is de combinatie van twee metingen (app-gebruik én roken) de sleutel. Alleen door verschillende groepen met verschillende meetregels te vergelijken, kom je erachter.

4. Waarom is dit zo moeilijk?

Het artikel legt uit dat je niet zomaar kunt gokken.

• Als je kijkt naar oude data (Manier A), moet je veel aannames doen die misschien niet kloppen. Het is alsof je probeert te leren zwemmen door naar iemand anders te kijken die in een zwembad ligt, terwijl jij in een rivier moet zwemmen.
• Als je een nieuw experiment doet (Manier B), kost het veel tijd en geld. Je moet mensen willekeurig verdelen over verschillende regels, wat soms lastig is om te organiseren.

5. De conclusie in één zin

Om de perfecte "reddingsboei" te vinden voor mensen die hulp nodig hebben, is het vaak beter om een nieuw, goed gepland experiment te doen waarbij je verschillende regels test, in plaats van te proberen slimme conclusies te trekken uit oude, onvolledige gegevens.

Kort samengevat:
Wil je weten wanneer je moet ingrijpen? Doe dan een test met verschillende tijdstippen en drempels. Zo weet je zeker dat je de juiste mensen op het juiste moment helpt, zonder je middelen te verspillen. Het is de wetenschap van het perfecte moment om in te grijpen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Constructing Evidence-Based Tailoring Variables for Adaptive Interventions" van Dziak en Nahum-Shani, geschreven in het Nederlands.

Titel: Het Construeren van Evidence-Based Tailoring Variabelen voor Adaptieve Interventies

Auteurs: John J. Dziak, Ph.D. en Inbal Nahum-Shani, Ph.D.

---

1. Probleemstelling

Adaptieve Interventies (ADIs) zijn protocollen die gebruikmaken van lopende informatie over individuen om te beslissen of, wanneer en hoe een behandeling moet worden aangepast (type, hoeveelheid, leveringsmodus of timing). Het doel is om de effectiviteit te maximaliseren en kosten/belasting te minimaliseren.

De kerncomponenten van een ADI zijn de tailoring variables (aanpassingsvariabelen). Het specificeren van deze variabelen is complex en vereist het beantwoorden van vier causale en voorschrijvende vragen:

1. Welke variabele(s) moeten worden gemeten? (Observed Variable)
2. Wanneer moeten deze worden gemeten? (Assessment Time)
3. Wanneer moet de meting worden gebruikt om een beslissing te nemen? (Decision Time)
4. Welke drempelwaarden (cutoffs) moeten worden gebruikt om te beslissen wie wel of niet een verdere behandeling (bijv. "rescue treatment") krijgt?

Het huidige literatuurgebrek betreft specifieke, empirische richtlijnen voor het kiezen van deze componenten. Bestaande methoden zijn vaak voorspellend (predictief) in plaats van causaal, en er is een spanningsveld tussen sensitiviteit (niemand missen die hulp nodig heeft) en specificiteit (niet overbehandelen), evenals tussen het wachten op voldoende data en het snel ingrijpen.

2. Methodologie

De auteurs vergelijken twee benaderingen om tailoring variables empirisch te bepalen:

A. Secundaire Data-analyse (SDA)

Het gebruik van bestaande observationele data of data van eerdere trials.

• Voordeel: Minder kostbaar en sneller beschikbaar.
• Nadeel: Kan alleen indirecte informatie bieden. Het is moeilijk om de optimale cutoff of timing te bepalen zonder sterke aannames over causaliteit.
  • Probleem met voorspelling: Een variabele die goed voorspelt wie zonder hulp faalt, zegt niets over wie baat heeft bij een "rescue treatment".
  • Probleem met bias: Als in de bestaande data iedereen dezelfde drempelwaarde kreeg, ontbreekt data over wat er zou gebeuren bij een andere drempelwaarde (geen variatie in behandeling).
  • Aanname: Vereist aannames over confounding en positiviteit (dat elke participant elke behandeling had kunnen krijgen), wat vaak niet geldt bij nieuwe interventies.

B. Optimalisatie Randomized Controlled Trials (ORCTs)

Het ontwerpen van specifieke experimenten om de prestaties van interventiecomponenten te testen.

• Ontwerpen: Omvatten multi-arm RCTs, factoriële experimenten, Sequential Multiple Assignment Randomized Trials (SMARTs), Micro-Randomized Trials (MRTs) en hybride designs.
• Voordeel: Biedt direct causaal bewijs door randomisatie van de tailoring componenten zelf (bijv. randomisatie van de keuze van de cutoff of het tijdstip van de beslissing).
• Nadeel: Vereist meer middelen, tijd en complexe ontwerpen.

De auteurs presenteren een raamwerk om deze vragen aan te pakken, waarbij ze zich richten op het operationaliseren van "response status" (responders vs. non-responders) als een veelvoorkomend type tailoring variable.

3. Belangrijkste Bijdragen en Resultaten

De paper biedt een gestructureerd raamwerk voor het beantwoorden van specifieke onderzoeksvragen over tailoring variables:

Vraag 1: Het kiezen van een Cutoff (Drempelwaarde)

• Situatie: Bepalen of een lagere of hogere drempelwaarde (bijv. app-gebruik <1x vs. <2x per week) leidt tot betere uitkomsten.
• Resultaat: SDA kan de balans tussen sensitiviteit en specificiteit niet bepalen zonder aannames over de kosten en effectiviteit van de rescue treatment.
• Oplossing: Een ORCT waarbij participanten random worden toegewezen aan verschillende cutoff-regels. De analyse moet kijken naar de marginal mean (totale gemiddelde uitkomst van responders en non-responders samen), niet alleen naar de subgroep van non-responders, omdat de definitie van non-response per arm verschilt.

Vraag 2: Het kiezen van een Decision Time (Beslismoment)

• Situatie: Moet de beslissing worden genomen op week 2 of week 4?
• Resultaat: SDA kan alleen de voorspellende kracht van metingen op verschillende tijdstippen testen. Echter, het tijdstip met de sterkste voorspelling is niet per se het beste moment voor ingrijpen (vertraging kan leiden tot uitval).
• Oplossing: Een ORCT (bijv. een SMART of multi-arm trial) waarbij participanten random worden toegewezen aan verschillende beslismomenten. Dit maakt het mogelijk om de causale impact van de timing op de einduitkomst direct te meten.

Vraag 3: Het kiezen van de Observed Variable (Welke variabele?)

• Situatie: Moet men kijken naar cannabisgebruik, app-gebruik, of een combinatie?
• Resultaat: SDA kan moeilijk de interactie tussen variabele en rescue treatment isoleren zonder randomisatie.
• Oplossing: Een ORCT met meerdere armen, waarbij elke arm een andere variabele (of combinatie) gebruikt om non-response te definiëren. Alternatief kan een design worden gebruikt waarbij rescue treatment random wordt toegewezen, waarna moderator-analyses worden uitgevoerd om te zien welke variabele de effectiviteit het beste voorspelt (hoewel dit minder krachtig is).

Vraag 4: Meerdere componenten tegelijk (Interacties)

• Situatie: Het optimaliseren van variabele, cutoff én timing tegelijkertijd.
• Resultaat: Het uitvoeren van aparte studies voor elke component is inefficiënt en negeert interacties.
• Oplossing: Gebruik van factoriële designs of hybride factorial-SMARTs. Hierbij worden participanten random toegewezen aan combinaties van factoren (bijv. 2 cutoffs × 2 tijdstippen). Dit stelt onderzoekers in staat om hoofdeffecten en interactie-effecten tussen de tailoring componenten te schatten.

4. Significantie en Toekomstperspectief

• Methodologische Vooruitgang: Het artikel benadrukt dat SMARTs niet de enige optie zijn; klassieke factoriële ontwerpen en hybride ontwerpen zijn vaak geschikter voor het optimaliseren van tailoring regels.
• Causaal vs. Predictief: De kernboodschap is dat het ontwerp van ADIs verschuift van puur voorspellende modellen naar causale experimenten. Het "beste" model is niet per se het beste voor het voorspellen van uitkomsten, maar voor het bepalen van de beste actie.
• Uitdagingen:
  • Staatkracht (Power): Complexere ontwerpen met veel armen vereisen grotere steekproeven. De power hangt vaak af van de proportie van non-responders, wat weer beïnvloed wordt door de gekozen cutoff.
  • Kosten en Effectiviteit: Het afwegen van kosten (budget) tegen effectiviteit is cruciaal bij het kiezen van cutoffs. Methoden zoals DAIVE (Decision Analysis for Intervention Value Efficiency) worden genoemd als potentiële oplossingen.
  • JITAIs: De huidige richtlijnen zijn gericht op relatief trage adaptieve interventies. Er is meer onderzoek nodig voor "Just-In-Time Adaptive Interventions" (JITAIs) die op dagelijkse of uurlijkse schaal werken.
  • Onzekerheid: De auteurs wijzen op de noodzaak om niet alleen het "beste" regel te kiezen, maar ook de onzekerheid (bijv. via Bayes-factoren of betrouwbaarheidsintervallen) te rapporteren, aangezien meerdere regels vaak bijna even goed kunnen zijn.

Conclusie:
Het construeren van evidence-based tailoring variables vereist een bewuste afweging tussen de beschikbaarheid van data en de noodzaak van causaal bewijs. Hoewel secundaire data-analyse nuttig kan zijn, biedt een zorgvuldig ontworpen ORCT (zoals een SMART of factoriële trial) de meest directe en betrouwbare methode om de optimale combinatie van variabelen, tijdstippen en drempelwaarden te bepalen voor effectieve en schaalbare adaptieve interventies.