Human Fall Detection Using Deep Learning Methods: A Multimodal Audio-Video Approach

Stürze sind eine stille Bedrohung, insbesondere für ältere Menschen, bei denen ein einziger Fehltritt zu Verletzungen, einem Verlust der Unabhängigkeit oder Schlimmerem führen kann. Jahrzehntelang bestand die Lösung oft darin, Menschen dazu aufzufordern, ein Gerät wie einen Anhänger oder ein Armband zu tragen, das einen plötzlichen Sturz registrieren kann. Doch diese Geräte haben einen Makel: Sie beruhen darauf, dass die Person daran denkt, sie zu tragen, und sie können unbequem oder stigmatisierend sein. Dies hat Forscher dazu veranlasst, nach einer Möglichkeit zu suchen, zu sehen und zu hören, ohne zu berühren, indem Kameras und Mikrofone eingesetzt werden, um einen Sturz im Moment des Geschehens zu erkennen. Die Herausforderung besteht darin, dass ein Sturz sehr ähnlich aussieht und klingt wie andere alltägliche Handlungen, wie etwa das schnelle Hinsetzen, das Bücken, um die Schuhe zu binden, oder auch nur das Hinlegen, um sich auszuruhen. Um dies zu lösen, haben sich Wissenschaftler der tiefen Lernverfahren (Deep Learning) zugewandt, einer Form der künstlichen Intelligenz, die Muster lernt, indem sie tausende von Beispielen studiert – ganz so, wie ein Kind einen Hund erkennt, indem es viele verschiedene Hunde sieht. Indem sie diesen Systemen beibringen, sowohl die visuelle Bewegung eines Körpers als auch die Geräusche, die er macht, zu verstehen, hoffen Forscher, ein Sicherheitsnetz zu schaffen, das immer beobachtet, immer zuhört und immer bereit ist, einen Alarm auszulösen.

Ein Team von Forschern aus Universitäten in Pakistan und Italien setzte sich genau das vor und wollte ein solches System entwickeln, jedoch mit einer speziellen Wendung: Sie wollten sehen, ob die Kombination aus Sehen und Hören besser abschneidet als jeder Sinn allein. Sie begannen mit einer Sammlung von Videoaufnahmen, die zeigten, wie Menschen Stürze simulierten sowie normale Aktivitäten wie Gehen und Sitzen ausführten. Die Forscher behandelten das Video und das Audio als zwei separate Informationsströme. Zuerst isolierten sie den Ton aus jedem Videoclip. Sie wandelten das Audio in einen einzelnen Kanal um und zerlegten es dann in eine detaillierte Karte seiner Frequenzen über die Zeit, um nach den scharfen, plötzlichen Energiespitzen zu suchen, die entstehen, wenn ein Körper auf den Boden aufschlägt. Sie verwendeten eine mathematische Methode, um diese Tonendaten in eine handhabbare Form zu komprimieren, und wandten dann einen computergestützten Suchprozess an, um nur die nützlichsten Audio-Merkmale herauszufiltern und das Rauschen zu verwerfen. Diese ausgewählten Merkmale wurden in eine Art künstliches Gehirn eingespeist, das darauf ausgelegt ist, Sequenzen zu speichern, was es ermöglichte zu verstehen, dass ein Sturz ein spezifisches Klangmuster ist, das über einige Sekunden hinweg auftritt, und nicht nur ein einzelnes Geräusch.

Gleichzeitig betrachteten die Forscher die Videobilder. Sie versuchten nicht, das Gesicht oder die Kleidung der Person zu erkennen; stattdessen konzentrierten sie sich vollständig darauf, wie sich der Körper bewegte. Sie erstellten eine spezielle visuelle Zusammenfassung, die zeigte, wo in den letzten Sekunden Bewegungen stattgefunden hatten, indem sie den Pfad der Bewegung hervorhob und statische Teile der Szene ausblendete. Aus diesem bewegten Bild zeichneten sie die Silhouette der Person nach, um eine klare Form ihrer Bewegung zu erhalten. Genau wie beim Ton speisten sie diese visuellen Muster in ein Sequenz-lernendes Computermodell ein, das die Veränderung der Form der Bewegung von einem Moment zum nächsten verfolgen konnte. Das Ergebnis waren zwei separate Experten: einer, der gut darin war, auf einen Sturz zu hören, und ein anderer, der gut darin war, einen zu sehen. Das auf Ton basierende System identifizierte Stürze zu etwa 81 Prozent korrekt, während das videobasierte System noch genauer war und eine Trefferquote von 92 Prozent erreichte.

Der wahre Test lag jedoch nicht darin, wie gut jedes System allein funktionierte, sondern wie sie zusammenarbeiteten. Die Forscher probierten sechs verschiedene Wege aus, um die Entscheidungen der Audio- und Videosysteme zu kombinieren. Einige Methoden waren einfach, wie etwa das Bilden eines Durchschnitts der beiden Werte oder das Überlassen der Entscheidung durch eine Mehrheitsentscheidung. Diese einfachen Ansätze schnitten schlecht ab, wobei einige Kombinationen die Genauigkeit auf bis zu 36 Prozent senkten. Dies zeigte, dass das bloße Mischen der beiden Signale nicht ausreichte; das System benötigte eine intelligentere Methode, um die Beweise abzuwägen. Die Forscher probierten daraufhin eine Methode aus, bei der ein drittes, fortgeschritteneres Computermodell lernte, die Ergebnisse der Audio- und Videoexperten zu kombinieren. Dieses finale System, das wie ein Vorgesetzter fungierte, der die Arbeit von zwei Spezialisten überprüft, erreichte eine bemerkenswerte Genauigkeit von 98 Prozent. Es war in der Lage, den Sturz selbst dann zu erkennen, wenn sich einer der Sinne unsicher war, indem es effektiv die Stärke des Videos nutzte, um das Audio zu stützen, oder die Klarheit des Tons, um die visuelle Bestätigung zu festigen.

Die Studie legt nahe, dass Kameras zwar leistungsstark sind, das Hinzufügen von Ton jedoch ein zuverlässigeres Sicherheitsnetz schafft. Die Forscher fanden heraus, dass Stürze distinkte akustische Signaturen erzeugen, die von rein visuellen Systemen oft übersehen werden, insbesondere wenn die Person teilweise verdeckt ist oder die Lichtverhältnisse schlecht sind. Umgekehrt kann der Ton durch Hintergrundgeräusche verwirrt werden, was die visuelle Bestätigung essenziell macht. Durch die Verwendung einer anspruchsvollen Methode zur Verschmelzung dieser beiden Informationsströme demonstrierte das Team, dass ein multimodaler Ansatz einem einzelnen Sinn weit überlegen ist. Sie merkten jedoch an, dass ihre Ergebnisse aus einem relativ kleinen Satz simulierter Stürze in einer kontrollierten Umgebung stammten und dass reale Bedingungen mit mehreren Personen, variierenden Geräuschpegeln und unterschiedlichen Kamerawinkeln neue Herausforderungen darstellen würden. Die Arbeit beansprucht nicht, das Problem der Sturzerkennung vollständig gelöst zu haben, bietet aber eine starke Grundlage für zukünftige Systeme, die Wohnungen und Pflegeeinrichtungen mit größerer Zuversicht überwachen können, um sicherzustellen, dass bei einem Sturz sofort Hilfe gerufen werden kann.