Reporting of AI and ML Studies in Elderly Care Settings: A Rapid Systematic Scoping Review

Stellen Sie sich eine Welt vor, in der Technologie leise über ältere Menschen wacht, nicht um die menschliche Pflege zu ersetzen, sondern um sie zu unterstützen. In Pflegeheimen, betreuten Wohnanlagen und Privathaushalten wird zunehmend von Computern verlangt, Dinge zu tun wie etwa einen Sturz zu erkennen, bevor eine Pflegekraft eintrifft, vorherzusagen, wann ein Bewohner mehr Hilfe benötigen könnte, oder tägliche Routinen auf Anzeichen von Problemen zu überwachen. Diese Systeme verlassen sich auf künstliche Intelligenz und maschinelles Lernen – zwei Begriffe, die oft nach Science-Fiction klingen, in der Praxis aber schlichtweg Wege sind, wie Computer aus Daten lernen, um Vorhersagen zu treffen oder Muster zu erkennen. Die Hoffnung ist, dass diese Werkzeuge die Pflege sicherer und effizienter machen können. Damit diese Werkzeuge jedoch vertrauenswürdig sind und effektiv eingesetzt werden können, müssen die Menschen, die sie entwickeln, genau erklären, wie sie funktionieren, von welchen Daten sie gelernt haben und wo sie versagen könnten. Ohne klare Erklärungen könnte ein System, das auf dem Papier perfekt aussieht, in der realen Welt nutzlos oder sogar gefährlich sein.

Ein Team von Forschern der Hochschule Kempten beschloss vor Kurzem, genau zu untersuchen, wie Wissenschaftler derzeit über diese Projekte der künstlichen Intelligenz für ältere Menschen berichten. Sie haben kein neues System entwickelt oder ein spezifisches Gerät getestet. Stattdessen fungierten sie als Auditoren der Literatur, indem sie 69 aktuelle, seit 2020 veröffentlichte Studien sammelten und untersuchten. Ihr Ziel war es herauszufinden, ob die Autoren dieser Studien genügend Informationen bereitgestellt haben, damit andere die von ihnen entwickelten Systeme verstehen können. Sie wollten wissen, ob die Berichte Details darüber enthielten, wer die Technologie nutzen würde, welche Art von Daten den Computer trainiert haben und ob das System außerhalb einer kontrollierten Laborumgebung getestet worden war.

Sie fanden eine Landschaft ungleichmäßiger Berichterstattung vor. Während die Forscher im Allgemeinen gut darin waren, den grundlegenden Zweck ihrer Systeme und die Herkunft ihrer Daten zu beschreiben, ließen sie oft die entscheidenden Details aus, die bestimmen, ob ein System tatsächlich in einem geschäftigen Pflegeheim oder in einem ruhigen Wohnzimmer funktionieren kann. Beispielsweise beschrieben fast alle Studien, was der Computer tun sollte, aber weniger als die Hälfte erklärte klar, wer der menschliche Entscheidungsträger sein würde. In vielen Fällen war unklar, ob das System dazu gedacht war, eine Pflegekraft, ein Familienmitglied oder den Bewohner selbst zu alarmieren, oder wie diese Person auf den Alarm reagieren sollte. Dieser Mangel an Klarheit macht es schwierig zu wissen, wie die Technologie in den komplexen, menschenzentrierten Ablauf der täglichen Pflege passt.

Die Lücke weitete sich, als die Forscher untersuchten, wie diese Systeme getestet wurden. Die meisten Studien stützten sich auf eine interne Validierung, was bedeutet, dass der Computer mit denselben Daten getestet wurde, die er bereits gesehen hatte, oder mit Daten, die denjenigen sehr ähnlich waren, von denen er gelernt hatte. Das ist so, als würde ein Schüler eine Übungsklausur mit genau den Fragen machen, die er zuvor gelernt hat. Dies zeigt zwar, dass der Computer Muster erkennen kann, beweist aber nicht, dass er mit der unordentlichen, unvorhersehbaren Realität einer neuen Umgebung umgehen kann. Nur ein kleiner Teil der Studien, gerade einmal 16 Prozent, berichtete darüber, dass ihre Systeme mit völlig neuen, unabhängigen Daten getestet wurden. Noch weniger, etwa 20 Prozent, beschrieben die Testung des Systems in einer realen Pflegeumgebung, in der es mit tatsächlichen Patienten und Personal interagierte. Ohne diese Realwelt-Tests bleibt ungewiss, ob die Systeme dann noch genauso gut funktionieren, wenn sie mit dem Lärm, den Bewegungen und der Vielfalt eines echten Zuhauses oder einer echten Einrichtung konfrontiert werden.

Die vielleicht besorgniserregendste Auslassung war der Mangel an Diskussionen über Unsicherheit und Voreingenommenheit (Bias). Wenn ein Computer eine Vorhersage trifft, ist er selten zu 100 Prozent sicher, und er kann manchmal auf eine Weise falsch liegen, die bestimmte Gruppen stärker betrifft als andere. Die Forscher fanden heraus, dass nur 9 Prozent der Studien erklärten, wie das System mit Unsicherheit umgeht oder wie sicher es sich bei seinen Antworten ist. Ähnlich verhielt es sich bei der Frage, ob nur 23 Prozent der Studien prüften, ob das System bei verschiedenen Untergruppen unterschiedlich abschneidet, wie etwa bei Männern gegenüber Frauen oder Menschen mit unterschiedlichen Mobilitätseinschränkungen. Ohこと diese Informationen gibt es keine Möglichkeit zu wissen, ob ein System für alle Menschen, die es nutzen könnten, fair und zuverlässig ist. Die Studien sprachen auch selten darüber, was passiert, wenn Daten fehlen – ein in der Realität häufig vorkommendes Ereignis –, was eine erhebliche Wissenslücke hinterlässt, wie sich diese Systeme verhalten würden, wenn Sensoren ausfallen oder Datensätze unvollständig sind.

Die Autoren der Übersichtsarbeit deuten an, dass die derzeitige Art und Weise, wie diese Studien geschrieben werden, sich zu sehr auf die technische Konstruktion des Computermodells konzentriert und zu wenig darauf, wie das System in die breitere menschliche Umgebung passt. Bestehende Richtlinien für die Berichterstattung in der medizinischen Forschung, die für diagnostische Werkzeuge wie Röntgenbilder oder Bluttests entwickelt wurden, scheinen die einzigartigen Herausforderungen der Altenpflege nicht vollständig abzudecken, in der der „Patient“ oft eine ganze Gemeinschaft von Menschen mit unterschiedlichen Bedürfnissen ist und die „Diagnose“ oft ein kontinuierlicher Strom von Verhaltensdaten ist. Die Übersicht zeigt, dass sich die Technologie zwar rasant weiterentwickelt, die Art und Weise, wie Forscher über deren Einsatzbereitschaft und Grenzen kommunizieren, jedoch nicht Schritt gehalten hat. Bis die Berichte klare Details darüber enthalten, wer das System nutzt, wie es in der realen Welt getestet wurde und wo es versagen könnte, wird es für Pflegekräfte und Institutionen schwierig sein zu wissen, ob diese Werkzeuge wirklich bereit sind, dem Vertrauen in die Sicherheit und das Wohlergehen älterer Menschen zu entsprechen.