Human Fall Detection Using Deep Learning Methods: A Multimodal Audio-Video Approach

As quedas são uma ameaça silenciosa, particularmente para idosos, onde um único passo em falso pode levar a ferimentos, perda de independência ou algo pior. Durante décadas, a solução tem sido frequentemente pedir às pessoas que usem um dispositivo, como um pingente ou uma pulseira, que possa detectar uma queda súbita. Mas esses dispositivos têm uma falha: dependem de a pessoa se lembrar de usá-los, e podem ser desconfortáveis ou estigmatizantes. Isso levou pesquisadores a buscar uma maneira de observar e ouvir sem tocar, usando câmeras e microfones para detectar uma queda no momento em que ela acontece. O desafio é que uma queda se parece e soa muito com outras ações cotidianas, como sentar-se rapidamente, curvar-se para amarrar um sapato ou até mesmo apenas deitar-se para descansar. Para resolver isso, cientistas recorreram ao aprendizado profundo (deep learning), um tipo de inteligência computacional que aprende padrões estudando milhares de exemplos, de forma muito semelhante a como uma criança aprende a reconhecer um cachorro ao ver muitos cachorros diferentes. Ao ensinar esses sistemas a compreender tanto o movimento visual de um corpo quanto os sons que ele faz, os pesquisadores esperam criar uma rede de segurança que esteja sempre observando, sempre ouvindo e sempre pronta para levantar um alarme.

Uma equipe de pesquisadores de universidades do Paquistão e da Itália partiu para construir exatamente esse tipo de sistema, mas com um toque específico: eles queriam ver se combinar visão e som poderia ter um desempenho melhor do que cada sentido isoladamente. Eles começaram com uma coleção de gravações de vídeo que mostravam pessoas simulando quedas, bem como realizando atividades normais como caminhar e sentar. Os pesquisadores trataram o vídeo e o áudio como dois fluxos separados de informação. Primeiro, eles isolaram o som de cada clipe de vídeo. Eles converteram o áudio em um único canal e, em seguida, o decomporam em um mapa detalhado de suas frequ frequencies ao longo do tempo, procurando pelos picos agudos e súbitos de energia que ocorrem quando um corpo atinge o chão. Utilizaram um método matemático para comprimir esses dados sonoros em uma forma gerenciável e aplicaram um processo de busca computadorizada para selecionar apenas as características sonoras mais úteis, descartando o ruído. Essas características selecionadas foram alimentadas em um tipo de cérebro artificial projetado para memorizar sequências, permitindo que compreendesse que uma queda é um padrão de som específico que ocorre ao longo de alguns segundos, e não apenas um ruído isolado.

Ao mesmo tempo, os pesquisadores observaram os quadros de vídeo. Eles não tentaram reconhecer o rosto ou as roupas da pessoa; em vez disso, focaram inteiramente em como o corpo se movia. Eles criaram um resumo visual especial que mostrava onde o movimento havia ocorrido nos últimos segundos, destacando o caminho do movimento enquanto suavizava as partes estáticas e antigas da cena. A partir dessa imagem em movimento, traçaram o contorno da pessoa para obter uma forma clara de seu movimento. Assim como com o som, alimentaram esses padrões visuais em um modelo de computador de aprendizado de sequência que poderia rastrear como a forma do movimento mudava de um momento para o outro. O resultado foram dois especialistas separados: um que era bom em ouvir uma queda e outro que era bom em vê-la. O sistema baseado no som identificou corretamente as quedas cerca de 81 por cento das vezes, enquanto o sistema baseado em vídeo foi ainda mais preciso, acertando 9 de 92 por cento das vezes.

O teste real, no entanto, não estava em quão bem cada sistema funcionava sozinho, mas em como eles funcionavam juntos. Os pesquisadores testaram seis maneiras diferentes de combinar as decisões dos sistemas de áudio e vídeo. Alguns métodos eram simples, como tirar uma média dos dois escores ou deixar que a maioria votasse no resultado. Essas abordagens simples tiveram um desempenho ruim, com algumas combinações caindo para uma precisão de apenas 36 por cento. Isso mostrou que simplesmente misturar os dois sinais não era suficiente; o sistema precisava de uma maneira mais inteligente de pesar as evidências. Os pesquisadores então testaram um método onde um terceiro modelo de computador, mais avançado, aprendeu a combinar as saídas dos especialistas de áudio e vídeo. Este sistema final, que atuava como um supervisor revisando o trabalho de dois especialistas, alcançou uma precisão notável de 98 por cento. Ele foi capaz de detectar a queda mesmo quando um dos sentidos estava incerto, utilizando efetivamente a força do vídeo para apoiar o áudio, ou a clareza do som para confirmar o visual.

O estudo sugere que, embora as câmeras sejam poderosas, adicionar o som cria uma rede de segurança mais confiável. Os pesquisadores descobriram que as quedas produzem assinaturas acústicas distintas que muitas vezes são perdidas pelos sistemas baseados apenas na visão, especialmente se a pessoa estiver parcialmente escondida ou se a iluminação for ruim. Por outro outro lado, o som pode ser confundido pelo ruído de fundo, tornando a confirmação visual essencial. Ao usar um método sofisticado para misturar esses dois fluxos de informação, a equipe demonstrou que uma abordagem multimodal é muito superior a depender de um único sentido. Eles observaram, no entanto, que seus resultados vieram de um conjunto relativamente pequeno de quedas simuladas em um ambiente controlado, e que condições do mundo real com múltiplas pessoas, níveis de ruído variados e diferentes ângulos de câmera apresentariam novos desafios. O trabalho não afirma ter resolvido o problema da detecção de quedas inteiramente, mas fornece uma base sólida para sistemas futuros que possam monitorar lares e instalações de cuidados com maior confiança, garantindo que, quando uma queda ocorrer, a ajuda possa ser chamada imediatamente.