Human Fall Detection Using Deep Learning Methods: A Multimodal Audio-Video Approach

Le cadute sono una minaccia silenziosa, particolarmente per gli anziani, dove un singolo passo falso può portare a infortuni, una perdita di indipendenza o peggio. Per decenni, la soluzione è stata spesso quella di chiedere alle persone di indossare un dispositivo, come un pendaglio o un braccialetto, che possa rilevare un improvviso abbassamento. Ma questi dispositivi hanno un difetto: si basano sul fatto che la persona si ricordi di indossarli, e possono essere scomodi o stigmatizzanti. Ciò ha spinto i ricercatori a cercare un modo per osservare e ascoltare senza toccare, usando telecamere e microfoni per individuare una caduta nel momento stesso in cui avviene. La sfida è che una caduta somiglia e suona molto come altre azioni quotidiane, come sedersi velocemente, chinarsi per allacciarsi una scarpa o anche solo sdraiarsi per riposare. Per risolvere questo problema, gli scienziati si sono rivolti al deep learning, un tipo di intelligenza informatica che impara i modelli studiando migliaia di esempi, proprio come un bambino impara a riconoscere un cane vedendo molti cani diversi. Insegnando a questi sistemi a comprendere sia il movimento visivo di un corpo che i suoni che produce, i ricercatori sperano di creare una rete di sicurezza che sia sempre in ascolto, sempre in osservazione e sempre pronta a far scattare un allarme.

Un team di ricercatori di università pakistane e italiane si è posto l'obiettivo di costruire esattamente questo tipo di sistema, ma con una specifica variante: volevano vedere se combinare vista e udito potesse fare un lavoro migliore rispetto a uno solo dei due sensi. Hanno iniziato con una collezione di registrazioni video che mostravano persone che simulavano cadute oltre a compiere attività normali come camminare e sedersi. I ricercatori hanno trattato il video e l'audio come due flussi separati di informazioni. Per prima cosa, hanno isolato il suono da ogni clip video. Hanno convertito l'audio in un singolo canale e poi lo hanno scomposto in una mappa dettagliata delle sue frequenze nel tempo, cercando i picchi di energia acuti e improvvisi che si verificano quando un corpo colpisce il pavimento. Hanno utilizzato un metodo matematico per comprimere questi dati sonori in una forma gestibile e hanno poi applicato un processo di ricerca computerizzata per selezionare solo le caratteristiche sonore più utili, scartando il rumore. Queste caratteristiche selezionate sono state inserite in un tipo di cervello artificiale progettato per ricordare le sequenze, permettendogli di comprendere che una caduta è un modello di suono specifico che avviene nell'arco di alcuni secondi, non solo un singolo rumore.

Allo stesso tempo, i ricercatori hanno esaminato i fotogrammi del video. Non hanno cercato di riconoscere il volto o l'abbigliamento della persona; si sono concentrati interamente su come si muoveva il corpo. Hanno creato un riassunto visivo speciale che mostrava dove era avvenuto il movimento negli ultimi secondi, evidenziando il percorso del movimento mentre sfumava le parti statiche e più vecchie della scena. Da questa immagine in movimento, hanno tracciato il contorno della persona per ottenere una forma chiara del suo movimento. Proprio come per il suono, hanno inserito questi modelli visivi in un modello informatico di apprendimento delle sequenze che potesse tracciare come la forma del movimento cambiasse da un momento all'altro. Il risultato è stato costituito da due esperti separati: uno bravo ad ascoltare una caduta e l'altro bravo a vederne una. Il sistema basato sul suono ha identificato correttamente le cadute circa l'81 percento delle volte, mentre il sistema basato sul video è stato ancora più accurato, riuscendoci il 92 percento delle volte.

La vera prova, tuttavia, non è stata nel modo in cui ciascun sistema funzionasse da solo, ma in come funzionassero insieme. I ricercatori hanno provato sei modi diversi per combinare le decisioni dei sistemi audio e video. Alcuni metodi erano semplici, come fare la media dei due punteggi o lasciare che la maggioranza decidesse l'esito. Questi approveri semplici hanno performato scarsamente, con alcune combinazioni che hanno portato l'accuratezza fino al 36 percento. Ciò ha dimostrato che mescolare semplicemente i due segnali non era sufficiente; il sistema aveva bisogno di un modo più intelligente per pesare le prove. I ricercatori hanno quindi provato un metodo in cui un terzo modello informatico più avanzato ha imparato come combinare gli output degli esperti audio e video. Questo sistema finale, che agiva come un supervisore che revisionava il lavoro di due specialisti, ha raggiunto un'accuratezza straordinaria del 98 percento. È stato in grado di individuare la caduta anche quando uno dei sensi era incerto, utilizzando efficacemente la forza del video per supportare l'audio, o la chiarezza del suono per confermare la visione.

Lo studio suggerisce che, sebbene le telecamere siano potenti, aggiungere il suono crea una rete di sicurezza più affidabile. I ricercatori hanno scoperto che le cadute producono firme acustiche distinte che vengono spesso trascurate dai sistemi basati solo sulla visione, specialmente se la persona è parzialmente nascosta o se l'illuminazione è scarsa. Al contrario, il suono può essere confuso dal rumore di fondo, rendendo essenziale la conferma visiva. Utilizzando un metodo sofisticato per fondere questi due flussi di informazioni, il team ha dimostrato che un approccio multimodale è di gran lunga superiore rispetto al fare affidamento su un singolo senso. Hanno notato, tuttavia, che i loro risultati derivavano da un set relativamente piccolo di cadute simulate in un ambiente controllato, e che le condizioni del mondo reale con più persone, livelli di rumore variabili e diverse angolazioni delle telecamere avrebbero presentato nuove sfide. Il lavoro non sostiene di aver risolto interamente il problema del rilevamento delle cadute, ma fornisce una solida base per futuri sistemi che possano monitorare case e strutture di cura con maggiore fiducia, assicurando che, quando avviene una caduta, l'aiuto possa essere chiamato immediatamente.