Zero-Shot Skeleton-Based Action Anticipation

Immagina di guardare un film, ma lo schermo improvvisamente diventa nero dopo solo i primi secondi. Un personaggio piega le ginocchia e abbassa il centro di gravità. Ha il tempo di saltare una recinzione o sta per sedersi su una panchina? Nel mondo dell'informatica, questa è la sfida dell'Anticipazione dell'Azione. È l'arte di un robot o di un'IA che cerca di indovinare cosa farà una persona prima che l'abbia effettivamente finito. Questo è fondamentale per i robot di sicurezza, i dispositivi di assistenza e le auto autonome che devono reagire istantaneamente.

Di solito, questi computer vengono addestrati come studenti che imparano a memoria un libro di testo: vedono migliaia di esempi di "saltare" e migliaia di esempi di "sedersi", e imparano a individuare gli schemi. Ma cosa succede quando il robot vede un'azione completamente nuova, come una specifica mossa di danza o un modo unico di lanciare una palla? I computer tradizionali si bloccano perché non hanno memorizzato quella specifica mossa. È qui che entra in gioco l'Apprendimento Zero-Shot (Zero-Shot Learning). Pensatelo come un detective che non ha bisogno di aver visto il volto di un sospetto per identificarlo; invece, usa una descrizione (come "indossa un cappello rosso e tiene un bastone") per capire chi sia. Questo articolo affronta la complicata combinazione di queste due idee: indovinare un'azione da un solo piccolo sguardo iniziale e farlo per azioni che il computer non ha mai imparato.

---

Il mistero della danza vista a metà

In questo articolo, gli autori, Hongsong Wang e il suo team, introducono una nuova sfida che chiamano Zero-Shot Skeleton-Based Action Anticipation (o ZS-SkAA per brevità). Immaginate di cercare di indovinare una canzone sentendo solo le prime due note, ma la canzone è una che non avete mai sentito prima. Dovete fare affidamento sulla "forma" della melodia e sulla descrizione della canzone per capirla.

I ricercatori hanno notato che, sebbene i computer stiano diventando bravi a riconoscere azioni complete, faticano quando vedono solo l'inizio di un movimento (la parte "early-stage") e quando quel movimento è qualcosa di totalmente nuovo. I metodi esistenti presuppongono che il computer abbia visto ogni possibile azione in precedenza, il che non è realistico per il mondo reale. Per risolvere il problema, hanno costruito un nuovo modello "baseline" — un punto di partenza per la ricerca futura — che cerca di risolvere questo enigma.

Come pensa il modello: il kit di attrezzi del detective

Gli autori hanno progettato un sistema che agisce come un detective super intelligente usando tre trucchi principali:

1. La Mappa dello Scheletro (GCN): Invece di guardare un video del viso o dei vestiti di una persona, il modello guarda un "omino stilizzato" fatto di giunture 3D (come gomiti, ginocchia e spalle). Usano uno strumento chiamato Rete Convoluzionale Grafica (GCN). Potete immaginarlo come una mappa che comprende come il vostro gomito sia collegato alla spalla e come il ginocchio si muova con l'anca. Conosce l'"albero genealogico" delle vostre parti del corpo.
2. La Macchina del Tempo (Transformer): Poiché il modello vede solo i primi secondi dell'azione, deve capire come il movimento fluisce nel tempo. Usano un Transformer (lo stesso tipo di tecnologia che aiuta i chatbot a comprendere il linguaggio) per osservare la sequenza dei movimenti. È come leggere una storia dove l'ordine delle parole conta tanto quanto le parole stesse.
3. Il Corrispettivo della Descrizione (Informazione Mutua): Questa è la magia dello "Zero-Shot". Il modello non guarda solo lo scheletro; legge anche una descrizione testuale dell'azione (come "saltare" o "danzare"). Il modello cerca di massimizzare l' "informazione mutua" tra lo scheletro visivo e la descrizione testuale. Immaginate di cercare di abbinare una foto sfocata di un cane alla descrizione scritta di un "animale peloso che abbaia". Il modello impara ad allineare la forma visiva del movimento con il significato delle parole, anche se non ha mai visto quel cane specifico prima d'ora.

Per rendere tutto questo ancora migliore, il modello osserva lo scheletro in tre modi diversi contemporaneamente:

• Giunture: Dove si trovano le parti del corpo.
• Ossa: Le linee che collegano le parti.
• Movimento: Quanto velocemente si muovono le parti.
  Fondendo queste tre visioni, il modello ottiene un'immagine più ricca, specialmente quando ha a disposizione solo un piccolo frammento di tempo.

Cosa hanno scoperto: le previsioni precoci migliorano

Il team ha testato il loro modello su un famoso dataset chiamato NTU RGB+D, che contiene migliaia di movimenti umani registrati. Hanno diviso le azioni in due gruppi: quelle che il modello "ha visto" durante l'addestramento (le classi "seen") e quelle che non ha mai visto (le classi "unseen").

Hanno misurato quanto bene il modello riuscisse a indovinare l'azione quando vedeva solo il 10% al 90% del video. Ecco cosa è successo:

• Il vantaggio iniziale: Quando il modello vedeva solo l'inizio dell'azione (il 10% - 30% del video), l'uso combinato delle tre visioni (giunture, ossa e movimento) è stato di enorme aiuto. Ha migliorato l'accuratezza fino al 4% rispetto al semplice guardare le giunture. È come avere una lente d'ingrandimento, una torcia e un tachimetro tutti insieme quando si ha solo un istante per guardare.
• Lo spostamento successivo: Man mano che il modello vedeva più del video (dal 40% al 90%), guardare solo le giunture diventava efficace quanto, o addirittura leggermente meglio, della combinazione complessa. Ciò suggerisce che, una volta ottenute informazioni sufficienti, i dettagli extra potrebbero essere solo rumore.
• Batter la concorrenza: Confrontato con un metodo precedente chiamato SMIE, il loro nuovo modello indovina costantemente meglio. Ad esempio, sul dataset NTU RGB+D 60, quando era visibile solo il 10% dell'azione, il loro modello indovinava correttamente il 39,62% delle volte, mentre il vecchio metodo otteneva il 36,50%. Sul dataset più grande NTU RGB+D 120, il divario era ancora più ampio all'inizio, con il loro modello che raggiungeva il 26,46% di accuratezza contro il 23,38% dell'altro metodo.

I momenti "Aha!"

Gli autori hanno anche eseguito esperimenti per vedere quali parti del kit di attrezzi del detective stessero facendo il lavoro pesante.

• La posizione conta: Hanno scoperto che se avessero rimosso la "codifica posizionale" (la parte che dice al modello quale giuntura è quale e in quale ordine sono i fotogrammi), il modello si sarebbe confuso. È come cercare di leggere un libro dove le parole sono tutte mescolate; il modello non riusciva a capire se il braccio si stava muovendo verso l'alto o verso il basso.
• Key Frames (Fotogrammi chiave): Hanno anche testato un modulo speciale che cerca di trovare i "fotogrammi chiave" più importanti (i momenti più drammatici del movimento). Quando lo hanno disattivato, le prestazioni del modello sono diminuite. Questo prova che il modello impara davvero a concentrarsi sulle parti più eccitanti dell'azione per fare la sua previsione.

In sintesi

Questo articolo non sostiene di aver risolto il problema dell'anticipazione robotica per sempre. Al contrario, stabilisce un nuovo campo da gioco (un benchmark) e un punto di partenza forte (un modello baseline) su cui altri possano costruire. Dimostra che combinando una comprensione intelligente della struttura corporea, un acuto senso del tempo e un modo intelligente di abbinare immagini e parole, i computer possono iniziare a indovinare cosa faranno gli esseri umani dopo, anche per azioni che non hanno mai visto prima.

I risultati suggeriscono che questo approccio è una direzione promettente per costruire robot che possano interagire in sicurezza con noi nel mondo reale, dove le sorprese sono inevitabili. Come sottolineano gli autori, questo è solo l'inizio di un percorso di ricerca vitale per creare macchine che siano veramente adattabili.