Robust Assembly State Reasoning from Action Recognition for Human-Robot Collaboration

Sintesi Tecnica: Ragionamento Robusto sullo Stato di Assemblaggio dalla Riconoscimento delle Azioni per la Collaborazione Uomo-Robot

Definizione del Problema
Nel contesto dell'Industria 5.0 e della Collaborazione Uomo-Robot (HRC), una sfida critica rimane: consentire ai partner robotici di percepire accuratamente la fase corrente di un compito di assemblaggio collaborativo basandosi sugli input di Riconoscimento delle Azioni Umane (HAR). Sebbene i sistemi HAR possano spesso identificare il tipo di azione che viene eseguita (ad esempio, "avvitare"), essi spesso falliscono nel mappare queste azioni allo stato specifico di una sequenza di assemblaggio complessa. Ciò è particolarmente difficile in scenari realistici in cui i compiti comportano azioni ripetute dello stesso tipo primitivo, comportamenti non lineari dell'utente (saltare o riordinare i passaggi) e dati dei sensori imperfetti. Gli approcci attuali spesso si affidano a una logica rigida e predefinita o a segnali specifici che riducono la fluidità dell'interazione, mentre i metodi avanzati mancano di robustezza nei confronti di ambienti di compito diversificati, rumorosi e variabili.

Metodologia
Gli autori investigano e confrontano sistematicamente cinque distinti metodi per il tracciamento degli stati di assemblaggio dati gli input di riconoscimento delle azioni. Lo studio utilizza due diversi dataset open-source:

1. HA4M: Un assemblaggio di un ingranaggio epicicloidale con 13 tipi di azione e 19 stati, caratterizzato da azioni ripetute.
2. IKEA ASM: Tre compiti di assemblaggio di mobili (Tavolino da Caffè, Tavolino Laterale, Mobile TV) caratterizzati da variazioni naturali nell'ordine delle azioni, correzione degli errori e azioni cicliche ripetute.

I cinque approcci valutati sono:

• Logica di Base (Baseline Logic): Un algoritmo deterministico che itera attraverso gli stati basandosi sul far corrispondere le azioni osservate e sul decrementare un contatore temporale (inizializzato alla durata media dell'azione). Avanza negli stati se l'azione osservata corrisponde alla successiva azione prevista o se viene raggiunta una soglia temporale.
• Base Probabilistica Potenziata (Probabilistic Enhanced Baseline): Un'estensione della base che incorpora un modello probabilistico. Invece di una soglia temporale rigida, utilizza una Funzione di Distribuzione Cumulativa (CDF) Normale basata sulla media e sulla deviazione standard delle durate delle azioni per calcolare la probabilità di completamento, attivando una transizione di stato quando questa probabilità supera lo 0,9.
• Modello di Markov Nascosto (HMM): Un CategoricalHMM implementato con matrici di transizione ed emissione predefinite. Il modello assume una struttura sequenziale nota, con probabilità di transizione che favoriscono lo stato corrente (0,7) o il passaggio al successivo (0,225), e probabilità di emissione che favoriscono l'osservazione corretta (0,7). Questo metodo non richiede dati di addestramento.
• LSTM Focalizzata sul Compito (Task-Focused LSTM): Una rete neurale addestrata specificamente su un singolo tipo di compito. Prende una sequenza di input di azioni codificate one-hot e restituisce l'indice dello stato corrente. È addestrata su finestre di 5 secondi con il 20% di rumore simulato.
• LSTM Focalizzata sull'Azione (Action-Focused LSTM): Un'architettura di rete generica progettata per essere istanziata per ogni azione in una sequenza. Prevede le probabilità di inizio e completamento di azioni specifiche in base alla tipologia di azione corrente, alle statistiche di durata e all'output del modello dell'azione precedente. Ciò mira a evitare il riaddestramento per ogni nuovo compito.

Gli esperimenti sono stati condotti in due fasi:

1. Input Simulati: I metodi sono stati testati contro sequenze di azioni di verità fondamentale (ground-truth) con vari livelli di rumore iniettato (dallo 0% al 50%) per valutarne la robustezza.
2. Input Realistici: Un modello ST-GCN pre-addestrato è stato utilizzato per generare previsioni HAR da dati scheletrici, che sono stati poi forniti ai metodi di tracciamento dello stato per simulare le imperfezioni dei sensori nel mondo reale.

Risultati Chiave
Lo studio rivela che nessun metodo singolo è ottimale in tutti gli scenari; le prestazioni dipendono fortemente dalla variabilità del compito e dai livelli di rumore degli input.

• Robustezza al Rumore: Nel dataset HA4M (che ha azioni ripetute ma una sequenza fissa), il Task-LSTM ha ottenuto le prestazioni migliori in presenza di rumore da basso a moderato (F1 score di circa 0,64 con rumore 0-0,3). Tuttavia, all'aumentare del rumore, i metodi basati sulla logica hanno mostrato una maggiore resilienza.
• Compiti Variabili: Nei dataset IKEA (caratterizzati da alta variabilità e azioni cicliche ripetute), i metodi Baseline e Baseline Probabilistica hanno superato significativamente gli approcci basati su reti neurali e HMM. L'HMM, in particolare, ha avuto difficoltà a distinguere tra azioni identiche sequenziali in HA4M e tendeva ad "anticipare" la fine del compito negli scenari IKEA.
• Input HAR Realistici: Utilizzando gli output effettivi di ST-GCN (che avevano un'accuratezza inferiore, ad esempio F1 0,27 per IKEA), la Baseline Probabilistica ha ottenuto il punteggio F1 più alto per i compiti IKEA (0,46), mentre il Task-LSTM è rimasto superiore per HA4M (0,57).
• Modalità di Fallimento: Le matrici di confusione hanno indicato che le reti neurali e gli HMM spesso rimangono "bloccati" negli stati o saltano in avanti quando affrontano azioni ripetute o rumore. I metodi basati sulla logica sono stati più inclini a bloccarsi ma meno inclini a saltare gli stati.

Significatività e Rivendicazioni
L'articolo sostiene che il tracciamento robusto dello stato nella HRC richiede un approccio sfumato piuttosto che una soluzione "universale". Gli autori sottolineano che:

1. Il Contesto Conta: I metodi ottimali variano per compito. Gli approcci basati sulla logica sono più robusti in scenari con alta variabilità e azioni ripetute, mentre i metodi NN e HMM possono funzionare bene in compiti con limitata variabilità.
2. La Modellazione della Durata è Critica: I metodi che modellano esplicitamente la durata attesa dell'azione (come la Baseline Probabilistica) sono essenziali per gestire le azioni ripetute dove non viene fornito ulteriore sensing per distinguerle.
3. Generalizzabilità vs Specificità: Sebbene il deep learning offra alte prestazioni in ambienti controllati, fatica a gestire il rumore e la varianza inerenti alla HRC del mondo reale. Gli autori sostengono architetture generalizzabili che minimizzino le regole predefinite, pur riconoscendo che gli attuali approcci basati sulla logica offrono una robustezza necessaria per la distribuzione in ambienti complessi e non ideali.

Il lavoro conclude che la previsione accurata dello stato rimane una sfida non banale, specialmente quando gli utenti deviano dalle procedure ideali. Il lavoro futuro dovrà concentrarsi sull'integrazione di ulteriori modalità di dati (come il tracciamento dello stato degli oggetti) per migliorare ulteriormente la robustezza senza sacrificare la capacità di implementare sistemi con un minimo riaddestramento.