"You tell me": A Dataset of GPT-4-Based Behaviour Change Support Conversations
Dit artikel introduceert een dataset van preregistreerde gebruikersgesprekken met twee GPT-4-chatbots gericht op gedragsverandering, die interactiedata, taalanalyse en perceptiemaatregelen bevat om inzicht te geven in de invloed van gebruikersgedrag op LLM-gegenereerde teksten en zo het ontwerp van dergelijke systemen te verbeteren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een gesprek voert met een slimme, digitale vriend die je helpt om je leven te verbeteren. Misschien wil je gezonder eten, minder uitstellen of groener leven. Maar in plaats van dat deze digitale vriend je direct vertelt wat je moet doen (zoals een strenge leraar), probeert hij je vragen te stellen zodat jij zelf op het antwoord komt.
Dit artikel beschrijft een groot experiment waarbij onderzoekers precies dit hebben gedaan. Ze hebben een enorme verzameling gesprekken (een dataset) gemaakt tussen echte mensen en twee verschillende versies van een zeer slimme computer (GPT-4).
Hier is de uitleg, vertaald naar alledaags taal met een paar creatieve vergelijkingen:
1. Het Doel: Een Spiegel in plaats van een Spreekbuis
Vaak gebruiken we chatbots om feiten te vragen (zoals "Hoe kook ik rijst?"). Maar hier wilden de onderzoekers iets anders: gedragsverandering.
Stel je voor dat je een spiegel hebt die niet alleen je gezicht laat zien, maar ook vraagt: "Waarom loop je zo? Wil je misschien sneller lopen?"
- Versie A (De Gewone Bot): Deze bot luistert en reageert als een normale, slimme assistent.
- Versie B (De MI-Bot): Deze bot is getraind in een specifieke therapievorm genaamd Motivational Interviewing. Hij doet alsof hij een geduldige coach is die nooit oordeelt, maar je juist uitdaagt om zelf na te denken over je doelen. Hij zegt niet: "Je moet sporten," maar vraagt: "Wat zou er veranderen als je wel zou sporten?"
2. Het Experiment: Een Digitale Rolprent
De onderzoekers lieten 164 mensen een gesprek voeren met één van deze twee bots.
- De Rol: De mensen kregen een "personage" (een rol) te kiezen: iemand die wil afvallen, iemand die wil uitstellen, of iemand die milieuvriendelijker wil leven. Het idee was dat ze zich in die rol verplaatsen, maar in de praktijk waren de mensen vaak gewoon zichzelf.
- Het Spel: Het gesprek duurde 12 beurten. De eerste en laatste beurten waren vastgelegd (zoals een script), maar in het midden (5 beurten) liet de computer de AI vrij om te antwoorden.
- De Score: Na elk antwoord van de bot moesten de mensen een cijfer geven: "Nuttig", "Niet nuttig" of "Schadelijk". Alsof je na elke scène van een film zegt: "Ja, dit was goed" of "Nee, dit viel tegen."
3. Wat hebben ze gevonden? (De Schat in de Doos)
De onderzoekers hebben al die gesprekken, de cijfers en de achtergrondinformatie van de mensen verzameld in een grote "schatkist" (de dataset). Dit is waar het interessant wordt:
- De Onvoorspelbaarheid van Mensen: Computers zijn slim, maar mensen zijn chaotisch. Soms wilden mensen gewoon advies ("Vertel jij het mij maar!"), terwijl de bot juist probeerde hen zelf na te laten denken. Dit laat zien dat mensen soms andere verwachtingen hebben dan wat de techniek biedt.
- De Stille Signalen: Mensen zeggen niet altijd direct wat ze nodig hebben. Soms zeggen ze: "Het is lastig om goedkoop en gezond te eten." De bot moet dan begrijpen: "Ah, deze persoon heeft hulp nodig bij het vinden van goedkope recepten," zonder dat het expliciet gevraagd wordt.
- De Kracht van de Vraag: De dataset laat zien hoe mensen reageren op verschillende soorten vragen. Welke vragen zorgen ervoor dat iemand gemotiveerd raakt? En welke vragen maken ze juist boos of ongeduldig?
4. Waarom is dit belangrijk voor de toekomst?
Dit onderzoek is als een testbaan voor de toekomst van digitale coaches.
Vroeger waren chatbots als een automatische drankautomaat: je drukt op een knop, en je krijgt wat je besteld hebt.
Met deze nieuwe AI (GPT-4) kunnen we bouwen aan een levendige gesprekspartner, zoals een warme, luisterende vriend die je helpt om je eigen doelen te bereiken.
Maar om die vriend echt goed te maken, moeten we weten:
- Hoe reageert de mens als de AI te veel of te weinig doet?
- Hoe kunnen we de AI leren om de "stille" behoeften van mensen te begrijpen?
- Hoe voorkomen we dat de AI iets zegt wat de mens juist demotiveert?
Conclusie
Kortom: De onderzoekers hebben een enorme verzameling gesprekken gemaakt tussen mensen en slimme robots. Ze kijken niet alleen naar wat de robot zegt, maar vooral naar hoe de mens reageert. Het is alsof ze een film draaien van duizenden gesprekken om te leren hoe we in de toekomst de beste digitale coaches kunnen bouwen die ons helpen om beter te worden, zonder ons te dwingen.
De titel van het artikel, "YOU TELL ME", is eigenlijk een grapje: de bots zeggen "Jij vertelt het mij" (omdat ze jou laten nadenken), maar de onderzoekers zeggen tegen de wereld: "Jullie vertellen ons nu wat er werkt, zodat we betere systemen kunnen bouwen."
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.