Humanoid Musical Robots as Experimental Interfaces for Music-Evoked Emotion

Muziek wordt al lang begrepen als een taal van gevoel, een manier voor mensen om met elkaar in contact te komen en hun eigen emoties te bewegen. Decennialang hebben wetenschappers die onderzoeken hoe wij muziek ervaren, vertrouwd op een eenvoudige, gecontroleerde methode: het afspelen van een opname via luidsprekers of koptelefoons en mensen vragen hoe zij zich daarbij voelen. Deze benadering heeft ons veel geleerd over hoe onze hersenen geluid verwerken. Het rust echter op een stille aanname dat het geluid zelf het hele verhaal is. In de echte wereld is muziek zelden alleen maar geluid. Het is een volledige lichaamservaring waarbij de aanblik van een artiest, het ritme van diens ademhaling, de beweging van de handen en de gedeelde energie van een ruimte betrokken zijn. Wanneer we naar een live-optreden luisteren, horen we niet alleen noten; we kijken naar een mens die iets uitdrukt, en die visuele en sociale context verandert hoe we de muziek voelen.

Deze kloof tussen het laboratorium en de echte wereld is de focus van een nieuw perspectief dat wordt voorgesteld door onderzoekers van Sony Computer Science Laboratories en Waseda Universiteit. Zij suggereren dat we, om echt te begrijpen hoe muziek ons beweegt, een manier nodig hebben om de volledige uitvoering te bestuderen, en niet alleen de audio. De uitdaging is dat menselijke uitvoerders onvoorspelbaar zijn; geen twee concerten zijn precies hetzelfde, wat het moeilijk maakt om te isoleren welke specifieke beweging of gebaar een specifieke emotionele reactie veroorzaakt. Om dit op te lossen, stellen de onderzoekers voor om muzikale humanoïde robots niet alleen als entertainers te gebruiken, maar als precieze experimentele instrumenten. Deze machines kunnen muziek spelen met exact hetzelfde geluid en exact dezelfde bewegingen, elke keer weer, waardoor wetenschappers één klein detail kunnen aanpassen — zoals de snelheid van een hoofdbeweging of de kracht van een ademteug — en precies kunnen zien hoe die verandering de emotionele reactie van een luisteraar beïnvloedt.

De kern van dit voorstel is een verschuiving in hoe we deze robots zien. In plaats van ze enkel als uitvoerders te beschouwen, betogen de auteurs dat ze moeten worden gebruikt als "experimentele interfaces". Denk aan een robot als een machine die abstracte muzikale ideeën kan omzetten in fysieke handelingen die meetbaar en herhaalbaar zijn. Hoewel menselijke muzikanten essentieel zijn voor het begrijpen van de rijkdom van levende kunst, kunnen zij niet gemakkelijk worden gebruikt om specifieke wetenschappelijke vragen te testen omdat hun optredens te veel variëren. Een robot daarentegen kan worden geprogrammeerd om een noot te spelen met een specifiek volume, een specifieke timing en een bijbehorende lichaamsbeweging, en dat vervolgens exact hetzelfde te doen. Dit stelt onderzoekers in staat om het geluid te scheiden van het zicht, of de beweging van de sociale verbinding, op een manier die onmogelijk is met een menselijk bandje.

Om te bewijzen dat dit idee technisch mogelijk is, presenteert het artikel een casestudy van een specifieke robot genaamd de Waseda Saxophonist, bekend als WAS-5. Dit is een humanoïde robot die ontworpen is om een standaard alt saxofoon te spelen. Het is geen simpel apparaat dat slechts knoppen indrukt; het bootst de complexe biologie van een menselijke speler na. Het gebruikt een luchtpomp en kleppen om de luchtstroom te regelen, en het heeft een speciaal mondmechanisme gemaakt van flexibel plastic dat in acht verschillende richtingen kan bewegen om het geluid vorm te geven, net zoals een menselijke speler hun lippen en tong gebruikt. De onderzoekers toonden aan dat deze robot het volume en de toon van de muziek met extreme precisie kon controleren. In tests kon het een breed scala aan geluidsniveaus produceren, van zeer zacht tot zeer hard, met een dynamisch bereik van meer dan 24 decibel voor bepaalde noten. Dit niveau van controle is cruciaal, omdat het betekent dat de robot de subtiele verschuivingen in geluid kan creëren die mensen gebruiken om verdriet, vreugde of spanning uit te drukken, en dat hij dit herhaaldelijk zonder variatie kan doen.

Naast het spelen van de noten, werd de WAS-5 robot ook getest op zijn vermogen om te interageren met een menselijke luisteraar. In één experiment werd deelnemers gevraagd om mee te tikken op de maat van de muziek die door de robot werd gespeeld. De robot werd geprogrammeerd om op twee verschillende manieren te handelen: soms luisterde de robot naar de persoon en paste het tempo aan, en andere keren nam de robot de leiding, waarbij de persoon voorzichtig werd gestuurd om sneller of langzamer te tikken. De resultaten toonden aan dat de robot erin slaagde de muziek aan te passen aan de bewegingen van de persoon en ook de bewegingen van de persoon kon beïnvloeden om zich aan te passen aan het ritme van de robot. Dit bewees dat de robot een "closed-loop" interactie kon aangaan, waarbij de machine en de mens voortdurend op elkaar reageren in realtime. Dit is een vitale stap, omdat het laat zien dat de robot kan worden gebruikt om te bestuderen hoe sociale verbinding en synchronisatie onze gevoelens beïnvloeden, en niet alleen hoe we reageren op een opname.

Voortbouwend op deze technische prestaties schetsen de auteurs verschillende nieuwe manieren om muziek en emotie te bestuderen die voorheen onmogelijk waren. Een voorgesteld experiment zou mensen vragen om naar de robot te luisteren terwijl deze achter een gordijn verborgen is, en daarna opnieuw terwijl ze de robot zien spelen, om te zien hoeveel de visuele aanwezigheid van de robot de emotionele ervaring verandert. Een ander idee is het veranderen van de lichaamsbewegingen van de robot — zoals de mate waarin het wiegt of hoe de ogen bewegen — terwijl de muziek exact hetzelfde blijft, om te ontdekken welke specifieke gebaren de muziek emotioneler maken. Een derde richting is het plaatsen van een luisteraar tussen twee andere robots in een publiekssetting, om te zien hoe de gesynchroniseerde beweging van de groep de beleving van vertrouwen en betrokkenheid van de luisteraar beïnvloedt. Deze experimenten zijn erop gericht de complexe ervaring van muziek op te splitsen in de afzonderlijke delen: het geluid, het zicht, de beweging en de sociale verbinding, om te zien hoe elk daarvan bijdraagt aan het gevoel van emotie.

De onderzoekers merken er zorgvuldig bij op dat deze aanpak beperkingen heeft. Ze erkennen dat robots geen perfecte vervangers voor mensen zijn; ze worden beperkt door hun materialen en sensoren, en ze vatten mogelijk niet elke nuance van een menselijke uitvoering. Er is ook het risico dat een robot die te veel op een mens lijkt maar net even anders beweegt, bij sommige mensen een ongemakkelijk gevoel kan oproepen. Bovendien claimt het artikel niet dat deze robots al hebben bewezen hoe muziek emotie oproept; het betoogt eerder dat zij de noodzakelijke instrumenten bieden om deze experimenten correct uit te voeren. Het werk dat gepresenteerd wordt is een voorstel en een demonstratie van haalbaarheid, die aantoont dat de technologie bestaat om deze moeilijke vragen te stellen. Door deze machines te gebruiken als precieze, herhaalbare instrumenten, hopen wetenschappers voorbij de beperkingen van opgenomen audio te gaan en eindelijk de volledige, belichaamde aard te begrijpen van hoe muziek het menselijke hart raakt.