ARTOO-DARTU: Studying AR-HRC With AR Obstruction Mitigation During a Warehouse Task

Sintesi Tecnica: ARTOO-DARTU: Studio su AR-HRC con Mitigazione dell'Ostruzione AR durante un Task di Magazzino

Definizione del Problema
La collaborazione uomo-robot (HRC) negli ambienti di magazzino si affida sempre più alla Realtà Aumentata (AR) per trasmettere le intenzioni del robot, i suoi stati interni e la consapevolezza spaziale. Tuttavia, una sfida critica sorge quando l'analisi situata in AR — contenuti virtuali ancorati a robot mobili — ostruisce la vista dell'utente su elementi del mondo reale essenziali per il completamento del compito, come etichette di inventario, oggetti fisici e segnali di sicurezza. In contesti di magazzino dinamici, dove sia i lavoratori che i robot si muovono in modo imprevedibile, le tecniche di gestione della visualizzazione AR statica (ad esempio, spostare il contenuto verso il soffitto) sono insufficienti perché interrompono l'accoppiamento spaziale tra l'analisi e il robot. Inoltre, i metodi esistenti di rilevamento delle ostruzioni spesso si affidano a modelli 3D predefiniti o a modelli di visione-linguaggio basati sul cloud, il che introduce latenza, rischi per la privacy e fallisce nel generalizzare verso elementi del mondo reale non visti, come specifiche etichette di inventario. Questo articolo affronta la necessità di un sistema AR che fornisca analisi situate ricche pur mitigando attivamente le ostruzioni del mondo reale senza interrompere l'allineamento spaziale del contenuto o l'esecuzione del compito del robot.

Metodologia
Per affrontare queste sfide, gli autori hanno sviluppato ARTOO-DARTU (Augmented Reality Technique Of Obstruction Deterrence while Aiding Robotic Teaming for Users), un sistema AR per Microsoft HoloLens 2, e lo hanno valutato attraverso uno studio controllato sugli utenti utilizzando un task gamificato chiamato Pocket MonstARs.

• Architettura del Sistema: Il sistema integra un visore HoloLens 2, un TurtleBot 4 e un server edge (NVIDIA RTX 3060). Il visore esegue un'applicazione Unity che visualizza l'analisi situata e consente il controllo dell'utente tramite un marker di mappa virtuale. Il server edge ospita uno strato di comunicazione basato su FastAPI e svolge i calcoli pesanti per la pipeline di Rilevamento e Mitigazione dell'Ostruzione (ODM).
• Analisi Situata: Il sistema visualizza la posizione del robot, lo stato interno (batteria, calore, Wi-Fi, manutenzione), il progresso del comando e la traiettoria prevista. Gli indicatori chiave includono un indicatore di posizione sferico, un "fumetto" per messaggi di stato personificati, uno schermo di stato del comando e frecce di traiettoria.
• Rilevamento e Mitigazione dell'Ostruzione (ODM): L'innovazione principale è la pipeline ODM, progettata per operare in tempo quasi reale senza dipendenza dal cloud.
  1. Proiezione: L'HoloLens cattura un'immagine grezza del mondo reale (senza contenuti virtuali) e calcola le proiezioni dei bounding box 2D per tutti gli elementi virtuali attivi.
  2. Rilevamento: L'immagine e i box proiettati vengono inviati al server edge, che esegue YOLOv5 per il rilevamento degli oggetti e EasyOCR per il rilevamento del testo.
  3. Mitigazione: Il sistema calcola la sovrapposizione tra le proiezioni degli elementi virtuali e gli oggetti/testi rilevati nel mondo reale. Se un elemento virtuale si sovrappone a un elemento del mondo reale per più del 30%, l'elemento viene segnalato. L'app HoloLens renderizza quindi l'elemento segnalato come completamente trasparente finché non si sposta di oltre 20 cm dal punto di ostruzione, preservando l'allineamento spaziale pur ripristinando la visibilità.
• Task Sperimentale (Pocket MonstARs): Un'area di task di 2,4 × 2,4 m contenente 12 scatole etichettate e 4 scatole con oggetti riconoscibili da YOLO. Gli utenti agiscono come lavoratori di magazzino, dirigendo il robot per "catturare" 15 mostri. Dieci mostri sono bersagli virtuali visibili; cinque sono "box monsters" nascosti all'interno di scatole reali, che richiedono agli utenti di identificare etichette o oggetti specifici per localizzare il bersaglio.
• Studio sugli Utenti: Uno studio fattoriale misto 2 × 3 con 34 partecipanti. Il fattore tra i soggetti era il Gruppo (ODM Attivo vs. ODM Inattivo). Il fattore entro i soggetti era il Trial (Nessuna Analisi, Analisi Situata, Analisi Situata con Frecce). Le prestazioni sono state misurate tramite i tempi di cattura e il feedback soggettivo è stato raccolto tramite sondaggi (GEQ, Facilità d'uso, Fiducia).

Contributi Chiave

1. Sistema ARTOO-DARTU: Un sistema AR-HRC integrato che fornisce analisi situate e controllo del robot progettato specificamente per robot di magazzino mobili, con l'83% dei partecipanti che lo preferisce rispetto a un baseline senza analisi.
2. Pipeline ODM: La prima pipeline di rilevamento e mitigazione dell'ostruzione progettata specificamente per l'analisi situata accoppiata al robot. A differenza del lavoro precedente, opera su elementi del mondo reale precedentemente non visti (etichette e oggetti) in ambienti dinamici senza richiedere infrastrutture cloud o modelli 3D predefiniti.
3. Pocket MonstARs: Un task sperimentale controllato e gamificato che astrae il prelievo di inventario in magazzino. Preserva le richieste critiche dell'identificazione di target nel mondo reale (lettura di etichette, riconoscimento di oggetti) consentendo al contempo una valutazione sistematica dell'ostruzione e dell'analisi AR.

Risultati

• Efficienza: La presenza di analisi situate ha aumentato l'efficienza complessiva del task del 46%, ma solo quando l'ODM era attivo. Senza ODM, l'analisi non ha migliorato l'efficienza e talvolta ha ostacolato le prestazioni a causa delle ostruzioni.
• Subtask del Mondo Reale: I partecipanti con l'ODM attivo sono stati il 61% più veloci nei subtask che richiedevano la visibilità del mondo reale (catturare i "box monsters") rispetto a quelli senza ODM. Nello specifico, nel trial di Analisi Situata (SA), il gruppo ODM ha catturato i box monsters in 32,7s rispetto ai 57,9s del gruppo senza ODM ($p=0,002$).
• Prestazioni Complessive: I partecipanti con l'ODM attivo sono stati il 39% più veloci complessivamente nel trial SA rispetto al gruppo senza ODM.
• Feedback Soggettivo: Gli utenti nel gruppo ODM hanno riportato una difficoltà percepita significativamente inferiore e una maggiore sensazione di competenza. L'83% di tutti i partecipanti ha classificato un trial con analisi AR come il proprio preferito. Gli utenti con ODM inattivo hanno citato frequentemente la frustrazione per la vista ostruita, un sentimento assente nel gruppo ODM.
• Frecce: L'aggiunta di frecce di traiettoria (SA+ARR) non ha migliorato significativamente le prestazioni rispetto a SA da sola e, in alcuni casi, ha portato a tempi di cattura più lenti a causa di errori di navigazione in cui gli utenti posizionavano il marker del robot all'interno delle scatole basandosi sulla posizione delle frecce.

Significatività e Rivendicazioni
L'articolo sostiene che l'analisi situata in AR può migliorare significativamente l'efficienza e l'esperienza dell'utente in scenari di HRC in magazzino, ma solo quando abbinata a una robusta strategia di mitigazione dell'ostruzione che preservi la visibilità del mondo reale. Gli autori sottolineano che la gestione delle ostruzioni deve essere trattata come una "preoccupazione di primo livello" e un prerequisito per un'assistenza AR efficace, piuttosto che come un raffinamento secondario. Lo studio dimostra che l'ODM riesce a bilanciare la necessità di ricche informazioni sullo stato del robot con il requisito di sicurezza e usabilità di mantenere la visibilità degli elementi fisici rilevanti per il compito. Gli autori notano che, sebbene il loro studio abbia utilizzato un'astrazione gamificata, i risultati evidenziano un compromesso fondamentale nell'AR-HRC: l'analisi migliora l'interazione solo se il sistema impedisce al contenuto virtuale di ostruire il mondo fisico. Concludono modestamente che sono necessari ulteriori lavori per validare queste scoperte in veri ambienti di magazzino con lavoratori reali ed elementi critici per la sicurezza.