How Reliable Are Multimodal Signals of Conversational State? Evidence from Remote Dyadic Collaborative Tasks

Stel je voor dat je een robot probeert te bouwen die een kamer kan "lezen". Je wilt dat de robot weet wanneer mensen gestrest zijn, wanneer ze een gesprek domineren, of wanneer ze moeite hebben met nadenken. Om dit te doen, kijken wetenschappers naar hoe mensen praten, de geluiden die ze maken en de woorden die ze kiezen. Dit vakgebied wordt multimodale analyse genoemd, wat gewoon een chique manier is om te zeggen: "tegelijkertijd naar veel verschillende aanwijzingen kijken." De grote vraag is: zijn deze aanwijzingen betrouwbaar? Als een robot leert om stress te herkennen aan de hand van een specifiek type puzzelspel, werkt het dan nog steeds wanneer mensen gewoon over hun weekend kletsen? Of raakt de robot in de war omdat hij het verkeerde heeft geleerd? Dit is de puzzel waar onderzoekers voor staan wanneer ze computers proberen te leren menselijke gesprekken te begrijpen. Ze moeten weten of de signalen die ze gebruiken echte indicatoren zijn van hoe we ons voelen, of dat het slechts toevallige patronen zijn die toevallig op stress lijken.

In dit artikel treedt een onderzoeker genaamd Tahiya Chowdhury op als een detective die deze aanwijzingen onderzoekt. Ze zet een driedelige test op om te zien welke signalen het meest betrouwbaar zijn. Ze kijkt naar drie dingen: Nauwkeurigheid (voorspelt de aanwijzing het juiste?), Generaliseerbaarheid (werkt het in verschillende situaties?) en Betrouwbaarheid (is de aanwijzing consistent, of verandert het gewoon op basis van wie er spreekt?). Ze test deze aanwijzingen bij 53 paren mensen (dyaden) die samenwerken aan negen verschillende taken via Zoom, variërend van het oplossen van kaartpuzzels tot het delen van grappen.

Dit is wat zij vond, en het blijkt een plotwending te zijn.

Eerst keek ze naar woorden (linguïstische kenmerken). Deze waren de "steratleten" van de groep als het ging om nauwkeurigheid. Als het doel was om te raden hoeveel mentale inspanning iemand leverde, waren de woorden die men koos de beste voorspeller. Het is alsoast een detective die het humeur van een verdachte kan raden door alleen naar hun vocabulaire te luisteren. Echter, deze woorden waren verschrikkelijk in het zijn van "reizigers". Wanneer de onderzoeker de woorden testte op een nieuw type taak, stortte de nauwkeurigheid in. Het bleek dat de woorden helemaal niet "stress" maten; ze maten slechts de specifieke woordenschat die nodig was voor die ene specifieke game. Als je iemand vroeg om een kaartpuzzel op te lossen, gebruikten ze kaartwoorden; als je ze vroeg om een grap te vertellen, gebruikten ze grapwoorden. De robot dacht dat het stress mat, maar het was eigenlijk gewoon het woordenboek van die specifieke dag aan het memoriseren.

Vervolgens onderzocht ze geluiden (akoestische kenmerken). Lange tijd dachten wetenschappers dat de toonhoogte van je stem of hoe hard je sprak solide tekenen waren van hoe hard je brein aan het werk was. Het is alsof je ervan uitgaat dat een automotor altijd hoger toert wanneer de bestuurder gestrest is. Maar toen Chowdhury haar tests uitvoerde, ontdekte ze een enorme illusie. Voordat ze corrigeerde voor wie de persoon was, leken de geluiden betrouwbaar. Maar op het moment dat ze de gegevens "normaliseerde"—eigenlijk vragen: "Als deze persoon een andere taak zou doen, zou het geluid dan veranderen?"—verdween de betrouwbaarheid. De geluiden maten eigenlijk de unieke stemkast en spreekstijl van de persoon, niet hun stressniveau. Het was alsof een detective besefte dat de "aanwijzing" gewoon de lengte van de verdachte was, wat niet verandert of iemand nu gelukkig of verdrietig is. Zodra ze de "wie" weghaalde, verdween de "hoe".

Ten slotte keek ze naar interactie (interactiekenmerken). Dit zijn aanwijzingen over hoe mensen de beurt nemen, wie wie onderbreekt en wie het gesprek controleert. Deze aanwijzingen waren de meest eerlijke. Ze veranderden niet wanneer ze corrigeerden voor de identiteit van de spreker, omdat ze gaan over de relatie tussen twee mensen, niet over de mensen zelf. Hoewel ze niet de meest nauwkeurige waren om stress te voorspellen op zich, waren ze de enige die consistent bleven over verschillende taken heen. Eén specifieke interactie-aanwijzing viel op: vloerdominantie. Dit is een maatstaf voor wie de "vloer" bezet (het recht om te spreken). De studie vond dat wanneer één persoon in een paar het gesprek domineerde, de andere persoon aanzienlijk vaker een zwaardere mentale belasting droeg. Het is als een wipwap: als één persoon hard aan zijn kant duwt (veel praat), is de ander waarschijnlijk meer bezig met het bijhouden van het mentale werk.

Het artikel probeerde ook "conversatiekracht" te voorspellen (wie zich machtig of machteloos voelt), maar hier faalde de robot volledig. Ongeacht welke aanwijzingen werden gebruikt, kon de computer slechts even vaak correct raden als wanneer hij een muntje zou opgooien. Dit suggereert dat het proberen te raden van macht op basis van een samenvatting van een hele taak te vaag is; de echte dynamiek van macht is te subtiel en verandert te snel om gevangen te worden door deze brede metingen.

Dus, wat is de les voor het bouwen van een robot die ons begrijpt? Het artikel suggereert dat we moeten stoppen met het vertrouwen op de "makkelijke" aanwijzingen. We kunnen de woorden die mensen gebruiken niet zomaar vertrouwen, want die veranderen met het onderwerp. We kunnen het geluid van hun stem niet zomaar vertrouwen, want dat verandert met de persoon. Het meest betrouwbare signaal komt van het observeren van hoe mensen met elkaar interageren—specifiek, wie er praat en wie er luistert. Als we systemen willen bouwen die werken in de echte wereld, waar taken veranderen en verschillende mensen verschijnen, moeten we ons concentreren op deze interactiepatronen en ervoor zorgen dat we niet per ongeluk de stem van de persoon meten in plaats van hun gemoedstoestand. De studie concludeert dat voordat we een signaal kunnen vertrouwen, we moeten controleren of het de "identiteitstest" overleeft en of het werkt in nieuwe situaties, anders bouwen we slechts robots die heel goed zijn in het raden wie er spreekt, maar niet wat ze voelen.