When Less Is More: An Empirical Study of Minimal Responses in Counseling Dialogues and the Behavior of LLMs
Dit artikel toont empirisch aan dat hoewel minimale reacties cruciaal zijn voor effectieve menselijke counseling, ze significant ondervertegenwoordigd zijn in door LLM's gegenereerde dialogen en vaak worden ondergewaardeerd door huidige evaluatiekaders, aangezien modellen moeite hebben om ze zonder expliciete instructie op passende wijze in te zetten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de verstilde ruimte van een therapiesessie is het krachtigste instrument dat een therapeut vaak hanteert niet een lange uitleg of een complexe strategie, maar een eenvoudig geluid. Een zachte "mm-hmm", een korte "ik begrijp het" of een kort "ja" kan diepe aandacht signaleren, de gevoelens van een cliënt valideren en hen uitnodigen om te blijven spreken. Deze staan bekend als minimale responsen. Ze onderbreken de stroom van het verhaal van een persoon niet; in plaats daarvan fungeren ze als een zachte hand op de schouder, die zegt: "Ik ben hier, en ik luister." Decennialang hebben menselijke hulpverleners vertrouwd op deze kleine verbale signalen om vertrouwen op te bouwen en cliënten aan te moedigen hun diepste gedachten te verkennen. Echter, nu kunstmatige intelligentie de rol van een virtuele therapeut begint over te nemen, is er een kritische vraag ontstaan: kan een computer de kunst leren om minder te zeggen om meer te bereiken?
Een onderzoeker aan de Universiteit van Tokio zette zich uit om precies deze vraag te onderzoeken. Zij onderzocht hoe goed huidige systemen van kunstmatige intelligentie de waarde van beknoptheid in psychologische ondersteuning begrijpen. De onderzoeker analyseerde een uitgebreide collectie van therapiesessies, waarbij zij de opnames van echte menselijke therapeuten vergeleken met die gegenereerd door grote taalmodellen, de geavanceerde computerprogramma's die moderne chatbots aandrijven. Zij ontdekten een opvallend verschil. In de praktijkopnames waren minimale responsen gebruikelijk en kwamen ze frequent voor wanneer therapeuten cliënten aanmoedigden om hun lasten verder te delen. In de door de computer gegenereerde gesprekken waren deze korte bevestigingen echter bijna volledig afwezig. In plaats daarvan neigde de kunstmatige intelligentie naar het produceren van lange, informatie-rijke antwoorden die vaak vragen of advies bevatten, zelfs wanneer de situatie vroeg om stilte en eenvoudige aanwezigheid.
Om te begrijpen waarom dit gat bestond, ontwikkelde de onderzoeker een zorgvuldige methode om deze korte responsen te identificeren over verschillende talen heen, waaronder Chinees, Japans en Engels. Zij zochten naar uitingen van de therapeut die zeer kort waren en geen nieuwe onderwerpen of vragen introduceerden, waarbij zij controleerden of de cliënt direct daarna verder sprak. Hun analyse bevestigde dat menselijke therapeuten deze minimale signalen gebruiken in ongeveer vijf tot vierentwintig procent van hun beurten, afhankelijk van de dataset. In contrast hiermee produceerden de kunstmatige intelligentiemodellen die getraind waren op synthetische data — gesprekken gecreëerd door computers in plaats van opgenomen van mensen — minimale responsen met percentages zo laag als 0,00% en 0,35% in de specifiek geteste modellen. De modellen die getraind waren op synthetische data leken een rigide patroon te hebben geleerd: luisteren, en dan onmiddellijk een gedetailleerd, behulpzaam antwoord bieden. Ze leken de subtiele, interactionele waarde van het simpelweg vasthouden van de ruimte voor de cliënt te missen.
De onderzoeker testte vervolgens of deze systemen van kunstmatige intelligentie geleerd konden worden om minimale responsen te gebruiken als daarom expliciet werd gevraagd. Zij namen specifieke momenten uit echte therapiesessies waar een menselijke therapeut een korte, ondersteunende frase had gebruikt en vroegen de kunstmatige intelligentie om een respons te genereren voor dezelfde situatie. Wanneer de AI de standaardinstructie kreeg om als therapeut op te treden, produceerden de meest geavanceerde commerciële modellen lange, gedetailleerde antwoorden. Echter, toen de onderzoeker een specifieke instructie toevoegde om een korte respons te gebruiken wanneer de cliënt nog steeds emoties uitte, veranderde het gedrag van de modellen. Zij genereerden succesvol minimale responsen in bijna alle gevallen, wat bewees dat de technologie in staat is deze te produceren. Toch bleven de modellen, zonder die specifieke instructie, moeite hebben met het herkennen van het juiste moment om beknopt te zijn, waarbij ze vaak terugvielen op hun gewoonte om te veel informatie te geven.
Deze neiging heeft een aanzienlijk neveneffect op hoe wij de kwaliteit van deze gesprekken beoordelen. De studie onthulde dat de huidige methoden die worden gebruikt om de reacties van kunstmatige intelligentie in therapie te evalueren, beknoptheid vaak bestraffen. Wanneer de onderzoeker de kunstmatige intelligentie vroeg om de reacties te beoordelen op basis van standaardcriteria zoals professionaliteit en volledigheid, kregen de korte, menselijke minimale responsen lage scores. De evaluatoren gaven de voorkeur aan de lange, inhoudelijke antwoorden, ook al waren die lange antwoorden eerder geneigd de gedachtestroom van de cliënt te onderbreken. In de echte wereld kan een therapeut die te veel spreekt de bereidheid van een cliënt om te delen afwenden, maar de huidige evaluatiesystemen lijken de schijn van expertise te waarderen boven de werkelijke stroom van het gesprek.
De bevindingen suggereren dat de weg naar betere kunstmatige counseling systemen een verschuiving vereist in hoe deze modellen worden getraind en geëvalueerd. Het simpelweg voeden van computers met meer data is niet genoeg als die data het natuurlijke ritme van menselijke interactie mist. De studie geeft aan dat modellen getraind op synthetische, door de computer gegenereerde data er niet in slagen de nuance van minimale responsen te leren, terwijl modellen getraind op echte menselijke gesprekken beter presteren. Bovendien waarschuwt de onderzoeker dat het vertrouwen op geautomatiseerde scoresystemen ontwikkelaars onbedoeld kan stimuleren om chatbots te creëren die te veel praten, waardoor de therapeutische kracht van stilte verloren gaat. Om kunstmatige intelligentie werkelijk te laten ondersteunen bij mentale gezondheid, moet het leren dat het soms het meest professionele en empathische is wat het kan doen om niets te zeggen, of slechts een paar woorden die zeggen: "Ik hoor je."
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.