Multi-modal Ensemble Approach for Decoding Player Intentions in Table Tennis

Immagina di cercare di indovinare cosa stia per fare il tuo amico. Forse sta allungando la mano verso un biscotto, o forse sta per saltare su e giù. Di solito, ti limiti a osservare il suo linguaggio del corpo. Se la sua mano si muove verso il barattolo, sai che sta arrivando un biscotto. Ma cosa succederebbe se potessi anche leggere la sua mente? E se potessi vedere le scintille elettriche che scoccano nel suo cervello prima ancora che la sua mano abbia fatto un minimo movimento? Questo è l'eccitante mondo delle "interfacce cervello-computer" e della "predizione del movimento". Gli scienziati cercano costantemente di capire come combinare ciò che vediamo (il movimento del corpo) con ciò che percepiamo (l'attività cerebrale) per predire le intenzioni umane. È come cercare di risolvere un mistero dove hai due diversi set di indizi: un set mostra le impronte e l'altro mostra i pensieri di chi le ha lasciate. Perché questo è importante? Perché se diventassimo davvero bravi a indovinare cosa le persone vogliono fare prima che lo facciano effettivamente, potremmo costruire strumenti incredibili per aiutare gli atleti ad allenarsi più duramente o per aiutare le persone con disabilità a controllare braccia robotiche solo con i loro pensieri.

Ora, restringiamo il campo a un mistero specifico: il tennis da tavolo. È uno sport che avviene così velocemente da essere quasi una scia sfocata. Un nuovo studio ha deciso di vedere se fosse possibile predire esattamente in quale direzione un giocatore avrebbe colpito la pallina — a sinistra o a destra — guardando due cose contemporaneamente: i movimenti del corpo e le onde cerebrali. I ricercatori hanno utilizzato un dataset speciale che registrava nove giocatori reali (sette ragazzi e due ragazze, tutti tra i 18 e i 30 anni) mentre giocavano. Hanno costruito due "detective" differenti per risolvere l'enigma. Il primo detective osservava solo il video dei giocatori. Utilizzava un modello matematico per tracciare le loro pose, come un robot che impara a riconoscere un colpo di tennis solo guardando il video. Il secondo detective ascoltava solo il cervello. Utilizzava un cervello artificiale speciale (chiamato rete neurale) per leggere i segnali elettrici (EEG) provenienti dalle teste dei giocatori.

È qui che la cosa diventa affascinante. Il "detective del corpo" è stato molto veloce nel indovinare l'intenzione, capendola solo 100 millisecondi prima che la racchetta colpisse la pallina. Il "detective del cervello" è stato un po' più lento ma comunque impressionante, intercettando l'intenzione 500 millisecondi prima dell'impatto. Entrambi erano piuttosto bravi a indovinare attacchi a sinistra o a destra da soli. Ma la vera magia è avvenuta quando i ricercatori hanno fatto lavorare i due come una squadra. Combinando gli indizi del video e i segnali cerebrali in un unico "super detective", la squadra è diventata ancora più brava a indovinare. Hanno raggiunto un punteggio di 0,563 (una misura specifica di quanto fossero accurati), che è un miglioramento piccolo ma chiaro rispetto all'uso del solo corpo o del solo cervello. Il documento suggerisce che, poiché ogni detective lavora indipendentemente, potremmo facilmente aggiungere altri sensi alla squadra in futuro, come la frequenza cardiaca o i segnali muscolari. Sebbene questo non significhi che abbiamo già un casco magico per la lettura del pensiero pronto per le Olimpiadi, i risultati suggeriscono che questo approccio potrebbe essere uno strumento utile per l'allenamento sportivo o anche per la costruzione di future protesi neurali che aiutino le persone a muoversi di nuovo.