Reporting of AI and ML Studies in Elderly Care Settings: A Rapid Systematic Scoping Review

テクノロジーが、人間のケアに取って代わるのではなく、それを支えるために、静かに高齢者を見守る世界を想像してみてください。介護施設や高齢者向け住宅、あるいは個人の自宅において、コンピューターは、介護者が到着する前に転倒を察知したり、入居者がより多くの助けを必要とする時期を予測したり、あるいはトラブルの兆候を示す日常のルーチンを監視したりすることに、ますます期待されるようになっています。これらのシステムは人工知能（AI）と機械学習に依存していますが、これら二つの言葉はしばしばSFのように聞こえますが、実際には、単にコンピューターがデータから学習して予測を行ったり、パターンを見つけ出したりするための方法に過ぎません。こうしたツールの目的は、ケアをより安全で効率的なものにすることです。しかし、これらのツールが信頼され、効果的に使用されるためには、それらを構築する人々が、それがどのように機能するのか、どのようなデータから学習したのか、そしてどこで失敗する可能性があるのかを正確に説明しなければなりません。明確な説明がなければ、紙の上では完璧に見えるシステムであっても、現実の世界では役に立たなかったり、あるいは危険であったりする可能性があります。

ケンプテン応用科学大学の研究チームは最近、科学者たちが現在、これらの高齢者向けAIプロジェクトについてどのように報告しているかを詳しく調査することに決めました。彼らは新しいシステムを構築したり、特定のデバイスをテストしたりしたわけではありません。代わりに、彼らは文献の監査役として振る舞い、2020年以降に発表された69件の最新の研究を集めて検討しました。彼らの目的は、研究の著者が、自分たちが作ったシステムを他者が理解するために十分な情報を提供しているかどうかを確認することでした。彼らは、報告の中に、誰がそのテクノロジーを使用するのか、どのような種類のデータがコンピューターを訓練したのか、そしてそのシステムが制御されたラボ環境の外でテストされたのかどうかといった詳細が含まれているかを知りたかったのです。

彼らが発見したのは、報告の不均衡な状況でした。研究者たちは、システムの基本的な目的やデータの入手先については概ね適切に記述していましたが、そのシステムが忙しい介護施設や静かなリビングルームで実際に機能するかどうかを決定づける重要な詳細については、しばしば記載を漏らしていました。例えば、ほぼすべての研究がコンピューターが何をすべきかを記述していましたが、半分未満の研究しか、人間による意思決定者が誰であるかを明確に説明していませんでした。多くの場合、システムが看護師に通知するのか、家族に通知するのか、あるいは入居者自身に通知するのか、あるいはその人が通知に対してどのように反応すべきなのかが不明確でした。このような明確さの欠如は、テクノロジーが、複雑で人間中心の日常的なケアの流れの中にどのように組み込まれるのかを知ることを困難にします。

研究者たちがこれらのシステムがどのようにテストされているかに目を向けると、その溝はさらに広がりました。ほとんどの研究は内部妥当性に依存しており、これは、コンピューターがすでに見たデータ、あるいは学習したものと非常によく似たデータを用いてテストされたことを意味します。これは、学生が勉強したのと全く同じ問題を使って練習テストを受けているようなものです。これは、コンピューターがパターンを認識できることを示してはいますが、新しい環境における乱雑で予測不可能な現実に対処できることを証明するものではありません。完全に新しい、独立したデータを用いてシステムをテストした研究は、わずか16パーセントでした。さらに、システムを実際のケアの設定でテストし、実際の患者やスタッフと相互作用させた研究は、約20パーセントとさらに少なくなりました。これらの実世界でのテストがなければ、ノイズ、動き、そして多様性に直面したときに、システムが同様に機能するかどうかは不透明なままです。

おそらく最も懸念される欠落は、不確実性とバイアスに関する議論の欠如でした。コンピューターが予測を行う際、それはめったに100パーセント確実ではなく、特定のグループに対して他のグループよりも影響を与えるような形で間違えることがあります。研究者たちは、システムが不確実性をどのように扱っているか、あるいは回答に対してどの程度の自信を持っているかを説明している研究は、わずか9パーセントであることを発見しました。同様に、システムが男女の違いや、異なるタイプの移動能力を持つ人々といった、異なるサブグループに対して異なるパフォーマンスを示すかどうかをチェックしている研究は、わずか23パーセントでした。この情報がなければ、そのシステムがすべての人にとって公平で信頼できるものであるかどうかを知る術はありません。また、研究ではデータが欠落している場合についての議論もほとんど行われておらず、これは現実生活ではよく起こることですが、センサーが故障したり記録が不完全であったりする場合に、これらのシステムがどのように振る舞うかという大きな盲点となっています。

レビューの著者らは、現在の研究の書き方は、コンピューターモデルの技術的な構築に焦のできすぎており、システムがいかに広範な人間環境に適合するかという点に十分に注意が払われていないと示唆しています。X線や血液検査のような診断ツール向けに設計された既存の医学研究のガイドラインは、高齢者ケアにおける独自の課題を完全にはカバーできていないようです。高齢者ケアでは、「患者」はしばしば多様なニーズを持つ人々のコミュニティ全体であり、「診断」はしばしば継続的な行動データのストリームであるからです。このレビューは、テクノロジーが急速に進歩している一方で、研究者がその準備状況や限界を伝える方法はそれに追いついていないことを示しています。報告に、誰がシステムを使用するのか、どのように実世界でテストされたのか、そしてどこで失敗する可能性があるのかという明確な詳細が含まれない限り、介護者や施設が、これらのツールを高齢者の安全と幸福のために本当に信頼できるものとして受け入れることは困難でしょう。