Technische Samenvatting: Wanneer Robots Hun Eigen Interacties Beoordelen

Probleemstelling

De evaluatie van Mens-Robotinteractie (HRI) is momenteel eenrichtingsverkeer: mensen beoordelen robots met behulp van gestandaardiseerde instrumenten (bijv. Godspeed, RoSAS, HRI-CUES), terwijl het perspectief van de robot ononderzocht blijft. Nu sociale robots steeds vaker gebruikmaken van Large Language Models (LLM's) voor hun conversatievaardigheden, bestaat er een kritieke kloof in het begrip van de vraag of deze modellen in staat zijn om interacties vanuit het eigen perspectief van de robot valide te beoordelen. Hoewel aangrenzend onderzoek suggereert dat LLM's kunnen fungeren als proxies voor menselijke participanten in gedragsstudies, vertonen ze vaak een positiviteitsbias en hebben ze moeite met voorspellingen op individueel niveau. Bovendien heeft geen enkel eerder werk onderzocht hoe de LLM als participant binnen de interactie kan fungeren (het "geïnverteerde evaluatie"-paradigma), in plaats van als een externe waarnemer. Het kernprobleem is vaststellen of door LLM aangedreven robots in staat zijn tot het genereren van valide zelfbeoordelingen van de kwaliteit van de interactie, specifiek met betrekking tot constructen zoals betrokkenheid (engagement) versus interne affectieve toestanden zoals "vreemdheid" (strangeness) of ongemak.

Methodologie

De auteurs voerden twee studies uit om drie onderzoeksvragen te onderzoeken: (1) Convergeren door LLM gegenereerde beoordelingen met de menselijke grondwaarheid? (2) Op welke constructen slagen of falen LLM's? (3) Hoe presteert dit paradigma in live, belichaamde interacties?

Studie 1: Retrospectieve Analyse

• Dataset: De HRI-CUES dataset, bestaande uit transcripten van 25 ouderen die een gesprek voerden met een Furhat-robot (aangedreven door ChatGPT 3.5). Transcripten werden vertaald van het Zweeds naar het Engels.
• Modellen: Vijf LLM's werden geëvalueerd: GPT-3.5, GPT-4o-mini, GPT-4o, Claude Sonnet 4.5 en Claude Haiku 4.5.
• Procedure: LLM's werden geprompt met een robotpersona, het interactietranscript en "omgekeerde" vragenlijstitems (bijv. "Ik genoot van het praten met de robot" werd "De mens leek te genieten van het praten met mij").
• Instrumenten: HRI-CUES (Tevredenheid, Genot, Interesse, Comfort/Vreemdheid), Godspeed Questionnaire, en RoSAS.
• Controles: De studie omvatte robuustheidscontroles zoals item-randomisatie, variaties in persona, temperatuur-sampling en synthetische conversatiegeneratie om prompt-artefacten of lengte-confounds uit te sluiten.
• Multimodale Uitbreiding: Fase 3 testte het effect van het toevoegen van affect-labels en synthetische gezichtsbilder aan de tekstuele input voor het Claude Sonnet-model.

Studie 2: Live Belichaamde Pilot

• Opstelling: Een Nao humanoïde robot ("Noah"), draaiend op Claude Sonnet 4.5, nam deel aan gesprekken in open domein met vier lableden.
• Real-time Beoordeling: De robot legde gezichtsbilder en spraak vast bij elke beurt, en stuurde beide naar de API om een conversationeel antwoord en onmiddellijke HRI-CUES-beoordelingen te genereren.
• Vergelijking: Participanten gaven onafhankelijke beoordelingen tijdens en na de interactie, wat een vergelijking mogelijk maakte tussen de divergentie per beurt van menselijke en robot-beoordelingen.

Belangrijkste Resultaten

1. Betrouwbaarheid en Validiteit van Betrokkenheid

LLM's vertoonden een hoge interne consistentie en betrouwbaarheid.

• Betrouwbaarheid: De test-retest betrouwbaarheid (ICC) was uitstekend over de modellen heen (Claude $\geq$ .99; GPT-4o/4o-mini .94–.95; GPT-3.5 .82).
• Betrokkenheidsdimensies: LLM's bereikten een matige tot sterke overeenkomst met de menselijke grondwaarheid op het gebied van betrokkenheidsconstructen. Correlaties voor Genot varieerden van $r = .46$ tot $.72$, en voor Tevredenheid van $r = .18$ tot $.65$. Modellen met een hogere capaciteit vertoonden over het algemeen een sterkere validiteit.
• Positiviteitsbias: Er werd een algemene positiviteitsbias waargenomen, waarbij LLM's tevredenheid, interesse en comfort hoger beoordeelden dan menselijke zelfrapportages, hoewel Genot de enige dimensie was die lager werd beoordeeld dan de grondwaarheid.

2. De "Vreemdheid-fout" (Strangeness Failure)

De meest significante bevinding was een systematisch falen op de dimensie Comfort/Vreemdheid.

• Geïnverteerde Correlatie: Over alle vijf de modellen heen vertoonden de LLM-beoordelingen voor comfort (omgekeerd gecodeerde vreemdheid) significante negatieve correlaties met de menselijke grondwaarheid ($r = -0.44$ tot $-0.67$).
• Mechanisme: De auteurs stellen dat LLM's "betrokkenheid" verwarren met "comfort". Wanneer participanten nieuwsgierigheid, filosofische diepgang of verbazing uitten over de aard van de robot, interpreteerde het LLM dit als positieve signalen van betrokkenheid in plaats van indicatoren van vreemdheid of ongemak.
• Persistentie: Deze fout bleef bestaan over:
  • Verschillende modelarchitecturen (OpenAI vs. Anthropic).
  • Synthetische controles (waarbij sentiment expliciet gelabeld was, bleef het "vreemdheid"-item nog steeds systematisch omgekeerd).
  • Live belichaamde inzet (Studie 2), waarbij de robot filosofische gesprekken als zeer comfortabel beoordeelde, terwijl mensen deze als zeer vreemd ervoeren.

3. Multimodale en Schaal-generalisatie

• Schaalcompatibiliteit: LLM's konden Godspeed- en RoSAS-schalen succesvol parsen en invullen met hoge consistentie.
• Multimodale Input: Het toevoegen van affect-labels of synthetische gezichtsbilder produceerde modelspecifieke verschuivingen (bijv. GPT-4o behandelde affect-labels als bewijs voor betrokkenheid; Claude behandelde ze als een manier om ambiguïteit te verminderen), maar loste de vreemdheid-fout niet op. De kloof in validiteit voor ongemak bleef bestaan.
• Live Interactie: In Studie 2 volgde de robot gedragsmatige onbetrokkenheid succesvol (bijv. wanneer een participant expliciet aangaf niet te willen praten), maar faalde het in het detecteren van de "vreemdheid" van diepe filosofische discussies, waarbij het deze interpreteerde als een hoogwaardige interactie.

Belangrijkste Bijdragen

1. Geïnverteerd Evaluatiekader: Het artikel vestigt een methodologie voor het laten voltooien van gestandaardiseerde HRI-vragenlijsten door LLM-gestuurde robots vanuit hun eigen perspectief, waarmee de traditionele mens-gecentreerde evaluatie wordt overstegen.
2. Grenswaarden voor Sociale Perceptie van LLM's: De studie definieert duidelijke grenzen aan de bruikbaarheid van LLM's in HRI. Hoewel LLM's valide zijn voor het beoordelen van gedragsmatige betrokkenheidsdimensies (genot, tevredenheid), zijn ze ongeldig voor het beoordelen van interne affectieve toestanden zoals vreemdheid of ongemak die niet expliciet verbaal worden geuit.
3. Empirisch Bewijs van de "Vreemdheid-fout": Het artikel levert robuust bewijs (over 1.522 evaluaties, vijf modellen en live inzet) dat LLM's de comfort/vreemdheid-dimensie systematisch inverteren, waarbij ze nieuwsgierigheid en nieuwheid verwarren met comfort.
4. Onderscheid tussen Observator en Participant Framing: De auteurs tonen aan dat hoewel LLM's goed kunnen presteren als externe waarnemers van HRI-scenario's, hun prestaties verslechteren wanneer ze optreden als participanten, waarbij ze een deel van de overeenstemming opofferen voor de capaciteit van in-situ, bilaterale beoordeling.

Betekenis en Claims

Het artikel claimt dat LLM-gebaseerde zelfbeoordeling alleen onvoldoende is voor een volledige HRI-evaluatie. De "vreemdheid-fout" geeft aan dat huidige LLM's geen toegang hebben tot de interne affectieve toestanden die nodig zijn om constructen te beoordelen die afhangen van de subjectieve ervaring van de mens met de fysieke aanwezigheid of natuur van de robot.

De auteurs argumenteren dat voor robots om sociaal effectief te kunnen adapteren (in dialoog, navigatie of zorg), zij niet uitsluitend kunnen vertrouwen op LLM-inferentie. In plaats daarvan zijn aanvullende sensorische modaliteiten — zoals fysiologische signalen (bijv. hartslag), oogbewegingen (gaze tracking) of proxemics — noodzakelijk om interne toestanden te vangen die participanten niet verbaal uitdrukken. Het geïnverteerde evaluatieparadigma wordt gepresenteerd als een levensvatbaar complement voor betrokkenheidsgerelateerde constructen, maar moet worden aangevuld met non-verbale data om de blinde vlek wat betreft ongemak en vreemdheid aan te pakken.