Bloom: Designing for LLM-Augmented Behavior Change Interactions

Dit paper introduceert Bloom, een LLM-gestuurde applicatie voor fysieke activiteit die, hoewel het op korte termijn geen significant hoger activiteitsniveau opleverde dan een controlegroep, wel leidde tot positieve verschuivingen in psychologische uitkomsten zoals zelfmededogen en genot, wat suggereert dat LLM's vooral effectief zijn in het beïnvloeden van de mindset die aan langetermijn-gedragsverandering voorafgaat.

De kern

Stel je voor dat je een nieuwe sportdoel hebt: meer bewegen, maar je voelt je vaak moe, hebt last van spierpijn of weet niet goed waar je moet beginnen. Je hebt een coach nodig, maar een echte trainer is duur en niet altijd beschikbaar. Wat als je een slimme, digitale coach had die niet alleen naar je stappen kijkt, maar ook echt luistert naar wat je zegt?

Dat is precies wat de onderzoekers van de Stanford-universiteit hebben gebouwd met Bloom.

Hier is een uitleg van hun onderzoek, vertaald naar alledaags Nederlands met een paar creatieve vergelijkingen.

1. Wat is Bloom? (De Slimme Tuin)

Bloom is een app die je helpt om gezonder te leven. Het is als een combinatie van een slimme tuin en een persoonlijke trainer.

• De Digitale Coach (Beebo): In de app zit een chatbot genaamd Beebo. In plaats van starre regels ("Doe 30 minuten fietsen"), praat Beebo met je alsof het een vriend is. Hij gebruikt een speciale techniek (motivational interviewing) om jou te helpen je eigen doelen te vinden. Hij vraagt: "Wat vind jij leuk?" of "Wat houdt je tegen?" in plaats van alleen commando's te geven.
• De Levende Tuin: Als je je doelen haalt, groeit er een bloem in je digitale tuin op je telefoon. Dit is een "ambient display". Je hoeft niet elke keer naar een grafiek te kijken; je ziet gewoon dat je tuin bloeit. Het is als een plant die groeit naarmate jij groeit.
• Slimme Herinneringen: Beebo stuurt je niet alleen saaie meldingen ("Tijd om te sporten!"). Hij stuurt berichten die voelen alsof ze van een mens komen: "Hoe ging het met je wandeling? Voelde het goed?"

2. Het Experiment: De Vergelijking

De onderzoekers wilden weten: Is deze slimme, pratende coach beter dan een simpele app?

Ze deden een experiment met 54 mensen gedurende vier weken.

• Groep A (De Bloom-groep): Kreeg de app met de pratende Beebo-coach, de groeiende tuin en slimme gesprekken.
• Groep B (De Controle-groep): Kreeg een app die precies hetzelfde deed, maar zonder de slimme chat. Ze moesten hun plannen zelf invullen in menu's en kregen standaard, vooraf geschreven meldingen. Geen Beebo, geen gesprekken.

3. Wat Vonden Ze? (De Verassende Resultaten)

Je zou denken dat de groep met de slimme coach veel meer zou gaan sporten. Maar het verhaal is iets anders, en dat is heel interessant.

Het Sporten zelf (De cijfers):
Beide groepen werden veel actiever. Het aantal mensen dat aan de aanbevolen sportnormen voldeed, verdubbelde in beide groepen.

• Vergelijking: Het was alsof beide groepen een nieuwe, gezonde gewoonte hadden aangeleerd. De groep met Beebo was niet per se fysiek actiever dan de groep zonder Beebo in die vier weken.

De Mindset (Het gevoel):
Hier werd het verschil duidelijk. De groep met Beebo voelde zich anders over sporten:

• Ze vonden sporten leuker.

• Ze hadden meer zelfvertrouwen.

• Ze waren minder streng voor zichzelf als ze een dag niet sportten (meer zelfcompassie).

• Ze zagen meer dingen als "sport" (bijvoorbeeld: tuinieren of met de kinderen spelen telt ook!).

• Vergelijking: Stel je voor dat je twee auto's hebt die even snel rijden. De ene auto (Bloom) heeft echter een fantastische navigatie en een vriendelijke stem die je moedigt aan. De bestuurder van die auto voelt zich veerkrachtiger, gelukkiger en blijft langer achter het stuur zitten, zelfs als de weg even hobbelig is. De andere bestuurder rijdt ook, maar voelt zich minder gesteund.

4. Waarom is dit belangrijk?

De onderzoekers concluderen dat AI-coaches zoals Beebo misschien niet direct zorgen voor meer kilometers in de eerste paar weken, maar ze zijn superieur in het veranderen van je houding.

• De "Mindset" is de sleutel: Om langdurig gezond te blijven, moet je niet alleen bewegen, maar ook geloven dat het goed voor je is en er plezier in vinden. Beebo hielp mensen om die overtuiging te veranderen.
• Flexibiliteit: Beebo kon plannen aanpassen als het regende of als je kind ziek was. Een simpele app kon dat niet zo goed. Beebo zei: "Geen probleem, laten we iets anders doen," in plaats van "Je hebt je doel gemist."
• Verbinding: Mensen voelden zich gehoord. Beebo onthield wat je eerder had gezegd, wat het gevoel gaf dat er echt naar je geluisterd werd.

5. De "Kanttekening" (Niet perfect)

Natuurlijk was Beebo niet perfect. Soms was hij wat te langdradig, herhaalde hij dingen, of gaf hij soms raar advies als de techniek even haperde. Maar over het algemeen vonden mensen het een positieve ervaring.

Conclusie in één zin

Bloom laat zien dat de kracht van een AI-coach niet zit in het tellen van je stappen, maar in het veranderen van je gedachten over sporten, waardoor je op de lange termijn waarschijnlijk toch gezonder gaat leven. Het is alsof je niet alleen een stappenmeter krijgt, maar ook een vriend die je helpt om van "Ik moet" naar "Ik wil" te gaan.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Bloom: Designing for LLM-Augmented Behavior Change Interactions" in het Nederlands.

1. Probleemstelling

Hoewel grote taalmodellen (LLMs) nieuwe kansen bieden voor gezondheidsinterventies, is het huidige onderzoek grotendeels beperkt tot tekst-only interacties (chatbots). Dit negeert decennia aan HCI-onderzoek (Human-Computer Interaction) dat aantoont dat effectieve gedragsverandering afhangt van multimodale interacties, zoals doelstellingen stellen, zelf-monitoring, omgevingsfeedback en push-notificaties.

Daarnaast ontbreekt er vaak een vergelijking tussen LLM-systemen en gevestigde, niet-LLM benaderingen. De meeste studies zijn statisch of van korte duur, waardoor onduidelijk blijft hoe gebruikers op de lange termijn interageren met LLM-gestuurde systemen in de echte wereld. De kernvraag is: hoe kunnen we LLMs effectief integreren in bestaande gedragsveranderingsinteracties om zowel de psychologische mindset als het fysieke gedrag te beïnvloeden?

2. Methodologie

De auteurs presenteren Bloom, een iOS-applicatie die een LLM-coach ("Beebo") integreert met bewezen gedragsveranderingsstrategieën.

Het Systeem (Bloom):

• Architectuur: Een iOS-app (React Native/Swift) die communiceert met een Python/FastAPI-backend (Google Cloud Run). De LLM is een GPT-4o-instantie.
• LLM Agent (Beebo): Gebaseerd op het GPTCoach-systeem, maar uitgebreid met drie modi: onboarding, wekelijkse check-ins en "at-will" chat.
  • Prompting: Gebruikt dialogue state chains (gebaseerd op het Stanford Active Choices programma) en Motivational Interviewing (MI) strategieën.
  • Geheugen: Een samenvattingsmodule onthoudt eerdere gesprekken voor context.
  • Tools: De agent kan HealthKit-data opvragen, wekelijkse plannen genereren/bewerken en widgets tonen.
• Gedragsinteracties: Naast de chat bevat de app:
  • Doelstellingen en planning (collaboratief).
  • Actietracking (automatisch via Apple Watch/HealthKit).
  • Datavisualisaties met LLM-gesynthetiseerde samenvattingen.
  • Een "Ambient Display": Een tuin op het vergrendelscherm die groeit naarmate activiteiten worden voltooid.
  • Persoonlijke push-notificaties.
• Veiligheid: Er is een uitgebreide "redteaming"-evaluatie uitgevoerd met experts. Dit resulteerde in een taxonomie van risico's (bijv. lichamelijk letsel, eetstoornissen, mentale gezondheid) en een veiligheidsfilter dat schadelijke antwoorden detecteert en herschrijft. Een benchmarkdataset van 600 voorbeelden werd gecreëerd.

Het Veldonderzoek:

• Opzet: Een vier weken durende, gerandomiseerde field study met N=54 deelnemers.
• Vergelijking:
  • Behandelgroep: Gebruikt de volledige Bloom-app met de LLM-coach.
  • Controlegroep: Gebruikt een versie zonder LLM (geen chat, geen LLM-gesynthetiseerde samenvattingen, template-gebaseerde notificaties, UI-gebaseerde planning).
• Datacollectie:
  • Objectieve data: Wearable-data (stappen, calorieën, tijd) via HealthKit.
  • Subjectieve data: Pre/post-enquêtes, wekelijkse/dagelijkse surveys (mindset, zelfeffectiviteit, tevredenheid).
  • Kwalitatieve data: Semi-gestructureerde interviews voor en na de studie.
  • Logbestanden: App-gebruik, chatgeschiedenis en planbewerkingen.

3. Belangrijkste Bijdragen

1. Het Bloom-systeem: Een nieuwe architectuur die een LLM-coach integreert met bestaande UI-elementen en gedragsveranderingstechnieken (BCT's), gebruikmakend van kwalitatieve context voor personalisatie.
2. Veiligheidsbenchmark: Een dataset van 600 voorbeelden en een taxonomie van schade voor LLM-gedreven gezondheidscoaching, inclusief resultaten van een veiligheidsfilter-evaluatie.
3. Empirische bevindingen: Resultaten van een gerandomiseerde veldstudie die de impact van LLM-augmentatie op zowel gedrag als psychologische uitkomsten analyseert.
4. Design-implicaties: Inzichten in hoe LLMs de rol van coach versus personalisatiemotor spelen en de afwegingen rondom relationele cues.

4. Resultaten

Psychologische en Motivatie-uitkomsten:

• De LLM-groep rapporteerde significant sterkere overtuigingen dat activiteit gunstig is voor de gezondheid, meer plezier in beweging, en meer zelfcompassie bij gemiste doelen.
• Deelnemers in de LLM-groep voelden zich meer "in controle" (agency) en zagen de coach als een empathische partner, terwijl de controlegroep zich meer op de taak zelf richtte.
• De LLM-groep had een hogere tevredenheid over de geadviseerde kwaliteit en de gedeelde besluitvorming.

Fysieke Activiteit (Gedrag):

• Algemene stijging: Beide groepen verdubbelden het percentage deelnemers dat voldoet aan de aanbevolen 150 minuten beweging per week (van ~36% naar ~72%).
• Vergelijking: Er was geen statistisch significant verschil in de hoeveelheid fysieke activiteit tussen de LLM-groep en de controlegroep tijdens de vier weken.
• Trend: De controlegroep toonde een grotere initiële stijging maar een steilere daling over de tijd, terwijl de LLM-groep een kleinere initiële stijging had maar een stabielere activiteitsniveau behield (hoewel dit niet statistisch significant was).

Systeemgebruik en Planning:

• Deelnemers in de LLM-groep brachten 5,6 keer zoveel tijd in de app door dan de controlegroep.
• De LLM-groep creëerde plannen die beter gebalanceerd waren (meer diversiteit in activiteitstypes) en maakten meer aanpassingen aan hun plannen.
• De voltooiingsgraad van plannen was iets hoger in de LLM-groep (87% vs 83%).

Veiligheid:

• De veiligheidsfilters presteerden zeer goed (F1-score > 0,9) in het detecteren van schadelijke inhoud. Na revisie bleef minder dan 0,2% van de berichten schadelijk.

5. Betekenis en Conclusie

De studie concludeert dat LLMs in gedragsveranderingssystemen mogelijk meer effectief zijn in het veranderen van de mindset (motivatie, overtuigingen, zelfcompassie) dan in het direct verhogen van de korte-termijn fysieke activiteit.

• Rol van de LLM: De LLM fungeert niet primair als een prescriptieve trainer, maar als een ondersteunende coach die kwalitatieve context gebruikt om plannen flexibel en persoonlijk te maken. Dit bevordert de "agency" van de gebruiker.
• Design-implicaties:
  • Combineer personalisatie met coaching om positieve mindsets te kweken.
  • Gebruik relationele cues (empathie, avatar) om betrokkenheid te vergroten, maar wees bewust van het risico op emotionele afhankelijkheid.
  • LLM-augmentatie is waardevol voor gebruikers in vroege stadia van gedragsverandering die behoefte hebben aan ondersteuning en flexibiliteit, meer dan voor hoogactieve gebruikers die specifieke prestatie-data nodig hebben.

Kortom, Bloom toont aan dat het integreren van LLMs in bestaande HCI-ontwerpen (in plaats van alleen chat) leidt tot diepere psychologische veranderingen en langduriger betrokkenheid, wat essentieel is voor duurzame gedragsverandering op de lange termijn.