Reporting of AI and ML Studies in Elderly Care Settings: A Rapid Systematic Scoping Review

Stel je een wereld voor waarin technologie stilletjes over ouderen waakt, niet om menselijke zorg te vervangen, maar om deze te ondersteunen. In verpleeghuizen, woonzorgcentra en particuliere woningen wordt er steeds vaker van computers gevraagd om zaken te doen zoals een val te signaleren voordat een zorgverlener arriveert, te voorspellen wanneer een bewoner meer hulp nodig heeft, of dagelijkse routines te monitoren op tekenen van problemen. Deze systemen vertrouwen op kunstmatige intelligentie en machine learning, twee termen die vaak als sciencefiction klinken, maar in de praktijk simpelweg manieren zijn voor computers om van gegevens te leren om voorspellingen te doen of patronen te herkennen. De hoop is dat deze hulpmiddelen de zorg veiliger en efficiënter kunnen maken. Echter, om deze tools vertrouwd en effectief te kunnen gebruiken, moeten de mensen die ze bouwen precies uitleggen hoe ze werken, van welke gegevens ze hebben geleerd en waar ze kunnen falen. Zonder duidelijke uitleg kan een systeem dat op papier perfect lijkt, in de echte wereld nutteloos of zelfs gevaarlijk zijn.

Een team onderzoekers van de Kempten University of Applied Sciences besloot onlangs nauwkeurig te kijken naar hoe wetenschappers momenteel rapporteren over deze projecten met kunstmatige intelligentie voor ouderen. Zij hebben geen nieuw systeem gebouwd of een specifiek apparaat getest. In plaats daarvan traden zij op als auditors van de literatuur door 69 recente studies te verzamelen en te onderzoeken die sinds te publiceren waren sinds 2020. Hun doel was om te zien of de auteurs van deze studies voldoende informatie boden zodat anderen de systemen die zij hadden gecreëerd, konden begrijpen. Ze wilden weten of de rapporten details bevatten over wie de technologie zou gebruiken, met wat voor soort gegevens de computer was getraind, en of het systeem buiten een gecontroleerde laboratoriumomgeving was getest.

Wat zij vonden was een landschap van ongelijke verslaglegging. Hoewel de onderzoekers over het algemeen goed waren in het beschrijven van het basisdoel van hun systemen en waar ze hun gegevens vandaan haalden, lieten ze vaak de cruciale details weg die bepalen of een systeem daadwerkelijk kan werken in een druk verpleeghuis of een stille woonkamer. Bijvoorbeeld, bijna elke studie beschreef wat de computer zou moeten doen, maar minder dan de helft legde duidelijk uit wie de menselijke besluitvormer zou zijn. In veel gevallen was het onduidelijk of het systeem bedoeld was om een verpleegkundige, een familielid of de bewoner zelf te waarschuwen, of hoe die persoon op de melding zou moeten reageren. Dit gebrek aan duidelijkheid maakt het moeilijk om te weten hoe de technologie past in de complexe, mensgerichte loop van de dagelijkse zorg.

De kloof werd groter toen de onderzoekers keken naar hoe deze systemen werden getest. De meeste studies vertrouwden op interne validatie, wat betekent dat de computer werd getest op dezelfde gegevens die hij al eerder had gezien of op gegevens die zeer vergelijkbaar waren met waar hij van had geleerd. Dit is als een leerling die een oefentoets maakt met exact dezelfde vragen waarop hij heeft gestudeerd. Hoewel dit aantoont dat de computer patronen kan herkennen, bewijst het niet dat hij de rommelige, onvoorspelbare realiteit van een nieuwe omgeving aankan. Slechts een klein deel van de studies, 16 procent, rapporteerde dat zij hun systemen hadden getest op volledig nieuwe, onafhankelijke gegevens. Nog minder, ongeveer 20 procent, beschreef het testen van het systeem in een echte zorgsetting waar het interactie had met werkelijke patiënten en personeel. Zonder deze tests in de echte wereld blijft het onzeker of de systemen even goed zullen presteren wanneer ze worden geconfronteerd met de ruis, beweging en variëteit van een echt huis of een echte instelling.

Misschien wel de meest zorgwekkende weglating was het gebrek aan discussie over onzekerheid en bias. Wanneer een computer een voorspelling doet, is hij zelden 100 procent zeker, en hij kan soms fouten maken die bepaalde groepen mensen harder treffen dan anderen. De onderzoekers ontdekten dat slechts 9 procent van de studies uitlegde hoe het systeem omging met onzekerheid of hoe zelfverzekerd het was in zijn antwoorden. Op dezelfde manier controleerde slechts 23 procent van de studies of het systeem anders presteerde voor verschillende subgroepen, zoals mannen versus vrouwen of mensen met verschillende soorten mobiliteitsproblemen. Zonder deze informatie is er geen manier om te weten of een systeem eerlijk of betrouwbaar is voor alle mensen die het mogelijk zullen gebruiken. De studies bespraken ook zelden wat er gebeurt als gegevens ontbreken, een veelvoorkomende situatie in het echte leven, waardoor een aanzienlijk blinde vlek ontstond in hoe deze systemen zouden reageren wanneer sensoren falen of dossiers incompleet zijn.

De auteurs van de review suggereren dat de huidige manier waarop deze studies worden geschreven te veel gericht is op de technische constructie van het computermodel en te weinig op hoe het systeem in de bredere menselijke omgeving past. Bestaande richtlijnen voor het rapporteren van medisch onderzoek, die ontworpen zijn voor diagnostische instrumenten zoals röntgenfoto's of bloedtests, lijken niet volledig de unieke uitdagingen van ouderenzorg te dekken, waarbij de "patiënt" vaak een hele gemeenschap van mensen met uiteenlopende behoeften is, en de "diagnose" vaak een continue stroom van gedragsgegevens is. De review geeft aan dat hoewel de technologie snel vordert, de manier waarop onderzoekers de gereedheid en beperkingen ervan communiceren, niet heeft kunnen bijbenen. Totdat de rapporten duidelijke details bevatten over wie het systeem gebruikt, hoe het in de echte wereld is getest en waar het kan falen, zal het voor zorgverleners en instellingen moeilijk zijn om te weten of deze hulpmiddelen werkelijk klaar zijn om vertrouwd te worden met de veiligheid en het welzijn van ouderen.