How Users Understand Robot Foundation Model Performance through Task Success Rates and Beyond

Sintesi Tecnica: Come gli utenti comprendono le prestazioni dei modelli di fondazione robotica attraverso i tassi di successo dei compiti e oltre

Problematica
I Modelli di Fondazione Robotica (RFM) promettono una robotica domestica general-purpose capace di eseguire compiti arbitrari. Tuttavia, esiste un divario critico nel modo in cui gli utenti non esperti interpretano le metriche di prestazione quando richiedono compiti nuovi — compiti per i quali l'RFM non è stato esplicitamente addestrato o valutato. Sebbene il Tasso di Successo del Compito (TSR) sia la metrica standard per valutare gli RFM, non è chiaro se i novizi interpretino questi dati probabilistici come previsto. Inoltre, l'alto costo del fallimento negli ambienti fisici rende necessario che gli utenti comprendano non solo se un robot avrà successo, ma anche come potrebbe fallire. Le attuali valutazioni spesso mancano di trasparenza riguardo alle modalità di fallimento, il che può portare a guasti imprevisti e all'erosione della fiducia. Questo articolo investiga come i non esperti di robotica interpretano le informazioni sulle prestazioni degli RFM, concentrandosi specificamente su TSR, descrizioni dei casi di fallimento e l'interazione tra dati storici reali e stime interne delle prestazioni.

Metodologia
Gli autori hanno condotto uno studio in due parti per valutare l'interpretazione da parte dell'utente dei dati sulle prestazioni degli RFM:

1. Studio Online (n=112): I partecipanti sono stati sottoposti a dati di valutazione reali provenienti da tre progetti di ricerca su RFM pubblicati (OpenVLA, Baku e Multimodal Diffusion Transformer) che coinvolgevano 16 compiti di manipolazione distinti. Lo studio ha impiegato un design entro i soggetti (within-subjects) in cui gli utenti valutavano le capacità del robot sulla base di quattro tipi di informazioni presentati in varie permutazioni:

   • Tasso di Successo del Compito Stimato (ETSR): La stima interna del robot della probabilità di successo per il compito richiesto.
   • Caso di Fallimento Stimato (EFC): Una descrizione in linguaggio naturale della modalità di fallimento più probabile per il compito richiesto.
   • Compito Correlato - Tasso di Successo del Compito (RT-TSR): Dati storici di TSR da un compito considerato "simile" alla richiesta dell'utente.
   • Compito Correlato - Caso di Fallimento (RT-FC): Descrizioni storiche di fallimenti da compiti simili.

   I partecipanti hanno valutato fiducia, comfort e sufficienza delle informazioni prima e dopo la visione di video di compiti (che sono stati campionati per riflettere i reali tassi di successo/fallimento).

2. Studio In-Person (n=14): Per esaminare l'effetto dell'embodiment (incarnazione), i partecipanti hanno osservato un robot Kinova Gen3 Lite tentare autonomamente un compito di posizionamento di una lattina di zuppa in una lobby universitaria. Sono stati forniti loro gli stessi quattro tipi di informazioni e sono stati interrogati per valutare l'utilità e l'affidabilità del robot in un contesto domestico.

Contributi Chiave
L'articolo apporta tre contributi primari:

1. Validazione dell'interpretazione del TSR: Lo studio valida empiricamente che gli utenti non esperti interpretano il TSR in modo coerente con le aspettative degli esperti. Esiste una robusta correlazione positiva tra i valori di TSR riportati e la fiducia e la sicurezza riportate dall'utente nel sistema.
2. Valore delle informazioni sul fallimento: Gli autori dimostrano che le descrizioni in linguaggio naturale dei casi di fallimento sono molto apprezzate dai non esperti. Queste descrizioni aiutano gli utenti a comprendere i rischi e a prepararsi ai potenziali fallimenti, suggerendo la necessità di standardizzare la segnalazione dei casi di fallimento nelle valutazioni degli RFM.
3. Doppia necessità di dati reali e stime: La ricerca evidenzia che gli utenti desiderano sia dati storici reali da compiti simili (basati sulla realtà) sia le stime del robot per compiti nuovi. Ciò suggerisce che gli RFM debbano essere implementati con accesso a ampie cronologie di valutazioni e possedere la capacità di stimare accuratamente le prestazioni su compiti non testati.

Risultati

• Sufficienza delle informazioni: La presenza di qualsiasi tipo di informazione ha aumentato significativamente la percezione di sufficienza delle informazioni da parte degli utenti. Tuttavia, i tassi di successo (TSR) hanno avuto un effetto dimensionale (effect size) maggiore sulla sufficienza percepita rispetto ai casi di fallimento.
• Comfort e Fiducia: Il comfort e la fiducia dell'utente sono stati fortemente predetti da alti tassi di successo (sia ETSR che RT-TSR). Al contrario, la presenza di descrizioni dei casi di fallimento (EFC e RT-FC) non ha aumentato significativamente il comfort riportato, sebbene gli utenti le abbiano comunque ritenute utili.
• Classifiche di Utilità: La maggioranza degli utenti ha trovato utili tutti i tipi di informazioni. L'analisi quantitativa ha mostrato che l'ETSR è stato riportato come più utile dell'EFC, e l'RT-TSR è stato più utile dell'RT-FC. Tuttavia, l'ETSR non è stato significativamente più utile di tutti gli altri tipi combinati.
• Accuratezza della Predizione: Solo l'ETSR ha migliorato significativamente la capacità degli utenti di prevedere correttamente gli esiti binari di successo/fallimento (accuratezza del 61,9%), indicando che è la metrica più informativa per la predizione immediata dell'esito.
• Approfondimenti Qualitativi: Gli utenti hanno impiegato diverse strategie, come l'uso di soglie (ad esempio, rifiutare compiti con ETSR < 70%) o la triangolazione delle stime con dati reali. Molti hanno espresso scetticismo verso le stime prive di prove corroboranti nel mondo reale.
• Effetti dell'Embodiment: Lo studio in presenza ha ampiamente corroborato i risultati online. Tuttavia, le interazioni incarnate hanno elicitato preoccupazioni più specifiche riguardanti la sicurezza fisica (ad esempio, danni a pavimenti o oggetti) e vincoli pratici come velocità e requisiti dello spazio di lavoro.

Significatività e Rivendicazioni
L'articolo sostiene che, sebbene il TSR sia una metrica necessaria, esso è insufficiente da solo per un dispiegamento sicuro ed efficace degli RFM in ambienti domestici. Gli autori argomentano per un passaggio verso valutazioni incentrate sull'utente e interpretabili che includano:

• Segnalazione standardizzata dei casi di fallimento (sia scenari comuni che peggiori).
• Fornitura sia di dati storici reali che di stime affidabili delle prestazioni per compiti nuovi.
• Meccanismi affinché gli RFM possano comportarsi in modo prevedibile o prevedere il proprio comportamento su nuovi compiti.

Gli autori sottolineano che gli utenti informati sono meglio equipaggiati per collaborare con, insegnare a, e fidarsi appropriatamente dei robot. Colmando il divario tra le metriche di valutazione degli esperti e la comprensione dell'utente, questo lavoro mira a informare i futuri standard di valutazione e le strategie di dispiegamento degli RFM, garantendo che gli utenti possano prendere decisioni informate su quando supervisionare, insegnare o evitare specifici compiti del robot. L'articolo nota con modestia che, sebbene queste scoperte derivino da specifici domini di compito (faccende domestiche, manipolazione), i principi di trasparenza dell'informazione probabilmente si generalizzano attraverso diverse morfologie robotiche e tipi di compiti.