ENIGMA-360: An Ego-Exo Dataset for Human Behavior Understanding in Industrial Scenarios

Il paper presenta ENIGMA-360, un nuovo dataset sincronizzato di video ego- ed exocentrici raccolti in un ambiente industriale reale e annotati temporalmente e spazialmente per favorire la comprensione del comportamento umano e lo sviluppo di sistemi di sicurezza, evidenziando attraverso esperimenti basali le attuali limitazioni dei modelli nello scenario.

L'essenziale

Immagina di voler insegnare a un robot come riparare un macchinario complesso in una fabbrica. Se gli dai solo un video girato da una telecamera fissa sul soffitto (la vista "esterno"), il robot vedrà il lavoratore muoversi, ma non capirà cosa sta facendo esattamente con le sue mani: sta avvitando? Sta saldando? Sta toccando il componente sbagliato?

D'altra parte, se gli dai solo un video girato dagli occhiali del lavoratore (la vista "interno" o ego), il robot vedrà benissimo le mani e gli attrezzi, ma non saprà dove si trova il lavoratore nella stanza o cosa sta succedendo intorno a lui.

ENIGMA-360 è la soluzione a questo problema. È un nuovo "libro di istruzioni" digitale creato da ricercatori dell'Università di Catania e della loro azienda spin-off, Next Vision, per insegnare alle intelligenze artificiali a capire il comportamento umano in ambienti industriali reali.

Ecco i punti chiave spiegati in modo semplice:

1. Il "Doppio Occhio" Magico

Pensa a ENIGMA-360 come a un'esperienza di realtà virtuale dove hai due occhi che guardano la stessa scena allo stesso tempo:

• Occhio 1 (Ego): È come se fossi il lavoratore. Vedi le tue mani, l'utensile che tieni e i dettagli microscopici dell'azione.
• Occhio 2 (Exo): È come se fossi un ispettore che guarda il lavoratore da fuori. Vedi il contesto, la postura e come l'azione si inserisce nell'ambiente.

Il dataset contiene 360 video (180 coppie) girati in un vero laboratorio industriale, dove persone reali hanno riparato schede elettriche seguendo istruzioni precise.

2. Non è un Gioco, è Reale

Molti dataset precedenti sono come "giocare a costruire con i Lego": gli oggetti sono finti, senza texture, e le situazioni sono semplificate.
ENIGMA-360, invece, è come un film girato in un set reale.

• Gli oggetti sono veri: saldatrici, cacciaviti elettrici, oscilloscopi veri.
• Le persone sono vere: 34 partecipanti di età diverse (da 20 a 70 anni), con livelli di esperienza diversi (da principianti a esperti).
• Il trucco: Per non far perdere tempo ai lavoratori a leggere manuali cartacei, i ricercatori hanno creato un'app per HoloLens (occhiali intelligenti) che dà istruzioni a voce e mostra immagini in realtà aumentata. Questo rende la raccolta dati fluida e naturale.

3. L'Orchestra Sincronizzata

La cosa più speciale è che i due video (quello degli occhiali e quello della telecamera fissa) sono perfettamente sincronizzati.
È come se avessi due musicisti che suonano la stessa nota esattamente nello stesso istante. Questo permette all'AI di collegare ciò che vede il lavoratore (es. "sto stringendo questo bullone") con ciò che vede l'ambiente (es. "il lavoratore sta usando la mano destra e sta applicando forza").

4. Cosa hanno "etichettato" (Il Libro delle Regole)

Per insegnare all'AI, i ricercatori hanno annotato meticolosamente ogni video, come se fossero professori che correggono un compito:

• Tempo: Hanno segnato esattamente quando inizia e finisce ogni singolo passaggio (es. "Prendi il cacciavite", "Avvita", "Controlla il voltaggio"). Sono 68 passaggi diversi.
• Spazio: Hanno disegnato dei riquadri attorno alle mani e agli oggetti per dire all'AI: "Questa mano sta toccando questo oggetto".
• Extra: Hanno anche creato maschere di segmentazione (come ritagli precisi su Photoshop) e modelli 3D dell'intero laboratorio, per permettere ad altri ricercatori di creare simulazioni virtuali.

5. La Sfida: L'AI è ancora un po' "sognante"

I ricercatori hanno provato a usare le migliori intelligenze artificiali attuali per analizzare questi video. Il risultato? Si sono comportate male.

• Quando l'AI guardava solo il video esterno, spesso non capiva cosa stava facendo il lavoratore perché le mani erano nascoste o troppo piccole.
• Quando guardava solo il video interno, perdeva il contesto.
• Anche provando a farle guardare entrambi, l'AI faticava a collegare le due visioni.

Perché è importante?
Questo ci dice che abbiamo bisogno di nuove intelligenze artificiali più "sagge", capaci di capire che la realtà ha molte sfaccettature. ENIGMA-360 è la palestra dove queste nuove AI potranno allenarsi per diventare veri assistenti industriali, capaci di:

• Dire al lavoratore: "Attenzione, stai per toccare una parte calda, indossa i guanti!"
• Verificare se un'operazione è stata fatta correttamente.
• Guidare i nuovi assunti passo dopo passo senza errori.

In sintesi, ENIGMA-360 è il primo grande "campionario" di video industriali reali con due punti di vista sincronizzati, pronto per essere usato da chiunque voglia insegnare alle macchine a diventare dei veri colleghi di lavoro sicuri e intelligenti.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper ENIGMA-360, redatto in italiano.

Titolo: ENIGMA-360: Un Dataset Ego-Exo per la Comprensione del Comportamento Umano in Scenari Industriali

1. Il Problema

La comprensione del comportamento umano e delle interazioni con il mondo fisico è fondamentale per sviluppare agenti AI capaci di supportare i lavoratori in ambienti industriali, migliorando sicurezza ed efficienza. Tuttavia, lo sviluppo di tali sistemi è ostacolato dalla mancanza di dataset che catturino simultaneamente due prospettive complementari:

• Vista Ego-centrica (Ego): Fornita da telecamere indossabili (es. smart glasses), offre dettagli fini sulle interazioni mano-oggetto.
• Vista Exo-centrica (Exo): Fornita da telecamere fisse, offre il contesto ambientale e la dinamica del compito.

I dataset esistenti si concentrano spesso su ambienti domestici (es. cucine) o su scenari industriali simulati con oggetti privi di texture (es. assemblaggio di giocattoli), fallendo nel catturare la complessità visiva, la variabilità degli strumenti e la realisticità dei flussi di lavoro industriali reali. Inoltre, mancano registrazioni sincronizzate ego-exo in ambienti industriali reali.

2. Metodologia e Costruzione del Dataset

Gli autori hanno creato ENIGMA-360, un nuovo dataset multimodale acquisito in un vero laboratorio industriale.

• Ambiente e Attrezzature: Il dataset è stato raccolto in un laboratorio attrezzato con strumenti industriali reali (es. alimentatori, saldatrici, oscilloscopi, schede elettriche) e non con modelli semplificati.
• Procedure: Sono state definite due procedure di manutenzione realistiche (Riparazione scheda Alta Tensione e Bassa Tensione) sviluppate con esperti del settore. Ogni procedura ha quattro varianti basate su diversi componenti e strumenti (es. cacciavite manuale vs elettrico).
• Acquisizione Dati:
  • Partecipanti: 34 soggetti con diversi livelli di esperienza (da principianti a esperti) e diverse fasce d'età.
  • Dispositivi: Ogni partecipante ha indossato un Microsoft HoloLens 2 (vista Ego, 2272x1278 px, 30 fps) e una telecamera ZED fissa (vista Exo, 672x376 px, 15 fps).
  • Guida: Per evitare manuali fisici, è stata sviluppata un'applicazione in Realtà Mista (Unity) che fornisce istruzioni audio e visive passo-passo.
  • Sincronizzazione: Le due flussi video sono stati sincronizzati temporalmente utilizzando una lampada accesa come punto di riferimento visivo comune all'inizio di ogni sessione.
• Dimensioni: Il dataset contiene 360 video (180 coppie Ego-Exo), per un totale di circa 111,54 ore di registrazione.

3. Annotazioni e Risorse

Il dataset è riccamente annotato per supportare diverse ricerche:

• Annotazioni Temporali: 68 tipi di "keystep" (passi chiave) distinti, con timestamp di inizio e fine per un totale di 14.556 keystep annotati.
• Annotazioni Spaziali (Keyframes):
  • Interazioni Mano-Oggetto: 14.036 frame chiave con bounding box per mani (sinistra/destra) e oggetti attivi, stato di contatto e relazioni.
  • Oggetti: 25 classi di oggetti (fissi e mobili) con 275.135 annotazioni totali.
  • Maschere di Segmentazione: Sono stati generati pseudo-label di segmentazione semantica per mani e oggetti utilizzando SAM-HQ (Segment Anything Model), producendo oltre 1,6 milioni di maschere.
• Risorse Aggiuntive:
  • Feature video estratte con DINOv2 (1024 dimensioni per frame).
  • Modelli 3D dell'ambiente e degli oggetti per la generazione di dati sintetici e l'adattamento di dominio.

4. Risultati dei Benchmark

Gli autori hanno valutato tre task fondamentali per la comprensione del comportamento umano, confrontando diversi modelli State-of-the-Art (SOTA):

1. Segmentazione Temporale delle Azioni (TAS):

   • Modelli testati: C2F-TCN, ASFormer, LTContext, MSTCN++, DiffAct, FACT.
   • Risultati: I modelli performano bene quando addestrati e testati sulla stessa vista (Ego→Ego o Exo→Exo), con FACT che ottiene i risultati migliori. Tuttavia, c'è un crollo drastico delle prestazioni nel trasferimento incrociato (Ego→Exo o Exo→Ego), evidenziando un forte divario di dominio tra le due prospettive che i modelli attuali non riescono a colmare.

2. Riconoscimento dei Keystep:

   • Modello testato: TimeSformer.
   • Risultati: La vista Ego-centrica supera significativamente quella Exo-centrica in tutte le metriche (Precisione, Recall, F1). La vista Exo soffre di occlusioni e segnali visivi più deboli per le manipolazioni fini, rendendo difficile il riconoscimento dei passaggi specifici.

3. Rilevamento delle Interazioni Mano-Oggetto (Ego-HOI):

   • Metodi testati: Approcci basati su maschere (VISOR HOS, Label Propagation) e bounding box.
   • Risultati: Gli approcci basati su maschere di segmentazione superano quelli basati su bounding box, specialmente per compiti complessi come la classificazione dello stato di contatto e il riconoscimento degli oggetti. L'uso della propagazione delle etichette (Label Propagation) ha ulteriormente migliorato le prestazioni.

5. Contributi Chiave

1. Dataset Realistico: Primo dataset ego-exo sincronizzato acquisito in un vero laboratorio industriale con strumenti reali e flussi di lavoro autentici.
2. Annotazioni Granulari: Fornisce annotazioni temporali e spaziali dettagliate, incluse maschere di segmentazione e feature pre-calcolate.
3. Benchmark Sfidante: Dimostra che i modelli SOTA attuali non sono ancora pronti per gestire la complessità e il divario di dominio degli scenari industriali reali, specialmente nel trasferimento tra viste.
4. Risorse per la Ricerca: Rilascio di modelli 3D, feature DINOv2 e maschere SAM per facilitare la ricerca su transfer learning sintetico-reale e apprendimento di rappresentazioni multivista.

6. Significato e Impatto

ENIGMA-360 rappresenta una risorsa cruciale per lo sviluppo di sistemi di assistenza intelligente in ambito industriale. La disponibilità di dati reali e annotati permette di:

• Migliorare la sicurezza dei lavoratori rilevando errori procedurali o rischi in tempo reale.
• Sviluppare assistenti robotici o software capaci di comprendere non solo cosa sta facendo un operatore, ma come lo sta facendo, integrando il contesto globale (Exo) con i dettagli operativi (Ego).
• Guidare la ricerca verso nuove architetture in grado di fondere informazioni multimodali e multivista in ambienti complessi e non strutturati.

Il dataset è pubblicamente disponibile all'indirizzo: https://iplab.dmi.unict.it/ENIGMA-360.