Sintesi Tecnica: Quando i Robot Valutano le Proprie Interazioni

Definizione del Problema

La valutazione dell'Interazione Uomo-Robot (HRI) è attualmente unidirezionale: gli esseri umani valutano i robot utilizzando strumenti standardizzati (es. Godspeed, RoSAS, HRI-CUES), mentre la prospettiva del robot rimane inesaminata. Poiché i robot sociali si affidano sempre più ai Large Language Models (LLM) per le capacità conversazionali, esiste un vuoto critico nel comprendere se questi modelli possano valutare validamente le interazioni dalla prospettiva del robot stesso. Sebbene ricerche adiacenti suggeriscano che gli LLM possano agire come proxy per i partecipanti umani negli studi comportamentali, essi spesso mostrano un bias di positività e faticano con la predizione a livello individuale. Inoltre, nessun lavoro precedente ha esaminato l'LLM come partecipante all'interno dell'interazione (il paradigma della "valutazione invertita") piuttosto che come osservatore esterno. Il problema centrale è determinare se i robot alimentati da LLM possano generare auto-valutazioni valide della qualità dell'interazione, specificamente riguardo a costrutti come l'engagement rispetto a stati affettivi interni come la "stranezza" o il disagio.

Metodologia

Gli autori hanno condotto due studi per investigare tre domande di ricerca: (1) Le valutazioni generate dagli LLM convergono con la verità di base umana? (2) Su quali costrutti gli LLM hanno successo o falliscono? (3) Come performa questo paradigma nelle interazioni embodied dal vivo?

Studio 1: Analisi Retrospettiva

• Dataset: Il dataset HRI-CUES, composto da trascrizioni di 25 anziani che conversano con un robot Furhat (alimentato da Chat-GPT 3.5). Le trascrizioni sono state tradotte dallo svedese all'inglese.
• Modelli: Sono stati valutati cinque LLM: GPT-3.5, GPT-4o-mini, GPT-4o, Claude Sonnet 4.5 e Claude Haiku 4.5.
• Procedura: Gli LLM sono stati istruiti con un persona del robot, la trascrizione dell'interazione e item del questionario "invertiti" (es. "Ho apprezzato parlare con il robot" è diventato "L'umano sembrava apprezzare parlare con me").
• Strumenti: HRI-CUES (Soddisfazione, Piacere, Interesse, Comfort/Stranezza), Godspeed Questionnaire e RoSAS.
• Controlli: Lo studio ha incluso controlli di robustezza come la randomizzazione degli item, variazioni della persona, campionamento della temperatura e generazione di conversazioni sintetiche per escludere artefatti del prompt o confondimenti legati alla lunghezza.
• Estensione Multimodale: La Fase 3 ha testato l'effetto dell'aggiunta di etichette di affetto e immagini facciali sintetiche all'input testuale per il modello Claude Sonnet.

Studio 2: Pilota Embodied dal Vivo

• Configurazione: Un robot umanoide Nao ("Noah") che esegue Claude Sonnet 4.5 interagisce in conversazioni a dominio aperto con quattro membri del laboratorio.
• Valutazione in tempo reale: Il robot cattura immagini facciali e trascrive il parlato ad ogni turno, inviando entrambi all'API per generare una risposta conversazionale e una valutazione immediata HRI-CUES.
• Confronto: I partecipanti forniscono valutazioni indipendenti durante e dopo l'interazione, permettendo un confronto della divergenza turno per turno tra le valutazioni umane e del robot.

Risultati Chiave

1. Affidabilità e Validità dell'Engagement

Gli LLM hanno dimostrato un'alta coerenza interna e affidabilità.

• Affidabilità: L'affidabilità test-retest (ICC) è stata eccellente tra i modelli (Claude $\ge .99$; GPT-4o/4o-mini $.94–.95$; GPT-3.5 $.82$).
• Dimensioni dell'Engagement: Gli LLM hanno ottenuto un accordo da moderato a forte con la verità di base umana sui costrutti di engagement. Le correlazioni per il Piacere variavano da $r = .46$ a $.72$, e per la Soddisfazione da $r = .18$ a $.65$. I modelli con capacità superiori hanno generalmente mostrato una validità maggiore.
• Bias di Positività: È stato osservato un generale bias di positività, con gli LLM che valutano soddisfazione, interesse e comfort più alti rispetto alle auto-relazioni umane, sebbene il Piacere sia stato l'unico dimensione valutata al di sotto della verità di base.

2. Il "Fallimento della Stranezza" (Strangeness Failure)

Il risultato più significativo è stato un fallimento sistematico sulla dimensione Comfort/Stranezza.

• Correlazione Invertita: In tutti e cinque i modelli, le valutazioni degli LLM per il comfort (codificato inversamente per la stranezza) hanno mostrato correlazioni significative negative con la verità di base umana ($r = -0.44$ a $-0.67$).
• Meccanismo: Gli autori sostengono che gli LLM confondono l' "engagement" con il "comfort". Quando i partecipanti esprimevano curiosità, interrogativi filosofici o sorpresa riguardo alla natura del robot, l'LLM interpretava questi come segnali di engagement positivo piuttosto che indicatori di stranezza o disagio.
• Persistenza: Questo fallimento è persistito attraverso:
  • Diverse architetture di modelli (OpenAI vs Anthropic).
  • Controlli sintetici (dove il sentiment era esplicitamente etichettato, l'item "stranezza" era comunque sistematicamente invertito).
  • Deployment embodied dal vivo (Studio 2), dove il robot valutava le conversazioni filosofiche come altamente confortevoli mentre gli umani le valutavano come altamente strane.

3. Generalizzazione Multimodale e di Scala

• Compatibilità di Scala: Gli LLM hanno analizzato e completato con successo le scale Godspeed e RoSAS con alta coerenza.
• Input Multimodale: L'aggiunta di etichette di affetto o immagini facciali sintetiche ha prodotto spostamenti specifici per modello (es. GPT-4o trattava le etichette di affetto come evidenza di engagement; Claude le trattava come riduzione dell'ambiguità) ma non ha risolto il fallimento della stranezza. Il divario di validità per il disagio rimaneva.
• Interazione dal Vivo: Nello Studio 2, il robot ha tracciato con successo il disimpegno comportamentale (es. quando un partecipante dichiarava esplicitamente di non voler parlare), ma ha fallito nel rilevare la "stranezza" delle discussioni filosofiche profonde, interpretandole erroneamente come interazioni di alta qualità.

Contributi Chiave

1. Framework di Valutazione Invertita: Il paper stabilisce una metodologia per far completare ai robot alimentati da LLM i questionari HRI standardizzati dalla propria prospettiva, andando oltre il tradizionale paradigma basato solo sull'uomo.
2. Condizioni Limite della Percezione Sociale degli LLM: Lo studio definisce limiti chiari all'utilità degli LLM nell'HRI. Sebbene gli LLM siano validi per valutare dimensioni di engagement comportamentale (piacere, soddisfazione), sono invalidi per valutare stati affettivi interni come la stranezza o il disagio che non sono esplicitamente verbalizzati.
3. Evidenza Empirica del "Fallimento della Stranezza": Il paper fornisce una robusta evidenza (attraverso 1.522 valutazioni, cinque modelli e deployment dal vivo) che gli LLM invertono sistematicamente la dimensione comfort/stranezza, scambiando la curiosità e la novità per comfort.
4. Distinzione tra Framing di Osservatore e Partecipante: Gli autori dimostrano che, mentre gli LLM possono performare bene come osservatori esterni di scenari HRI, la loro performance degrada quando agiscono come partecipanti, sacrificando parte dell'accordo per la capacità di valutazione in situ e bilaterale.

Significato e Rivendicazioni

Il paper sostiene che la sola auto-valutazione basata su LLM è insufficiente per una valutazione HRI completa. Il "fallimento della stranezza" indica che gli attuali LLM mancano dell'accesso agli stati affettivi interni necessari per valutare costrutti che dipendono dall'esperienza soggettiva dell'essere umano rispetto alla presenza fisica o alla natura del robot.

Gli autori sostengono che, affinché i robot possano adattarsi efficacemente socialmente (nel dialogo, nella navigazione o nell'assistenza), non possono fare affidamento esclusivamente sull'inferenza dell'LLM. Invece, sono necessarie modalità di sensing supplementari — come segnali fisiologici (es. frequenza cardiaca), eye-tracking o prossemica — per catturare stati interni che i partecipanti non esprimono verbalmente. Il paradigma della valutazione invertita è presentato come un complemento valido per i costrutti legati all'engagement, ma deve essere aumentato con dati non verbali per affrontare il punto cieco relativo al disagio e alla stranezza.