How can digital and AI-enabled behaviour change interventions be evaluated while they are changing? HUMMBER: identifying what changed, for whom, why and with what effect

地図も、風も、乗組員もすべてが同時に変化している中で、嵐の中を船を操縦しようとしている場面を想像してみてください。これは、スマートフォンやウェアラブルデバイス上で展開される現代のヘルスケア・プログラムが直面している現実です。これらのデジタルツールは、運動を増やしたり食生活を改善したりといった、より健康的な習慣を身につけるための助けとなるよう設計されています。最新バージョンのものの中には、人工知能（AI）を使用して、その人が何を必要としているかを推測し、アドバイスをリアルタイムで変更するものさえあります。しかし、この絶え間ない変化は、これらのツールが実際に効果があるのかどうかを測定しようとする人々にとって問題を引き起こします。もしプログラムが毎週のように機能を変更したり、ユーザーの生活環境が変化したりする場合、単純な「前後比較」によるチェックは誤解を招くものになります。ある人が最終的に良い状態に到達したとしても、そこに至るまでの道のりは他の人とは異なっているかもしれませんし、あるいは、そのツールがあるグループには効果があったものの、別のグループには効果がなかったということもあり得ます。これらの「動く標的」を真に理解するためには、科学者たちは単に最終的な結果を待つのではなく、プログラムが実行されている最中に観察し、耳を傾け、問いを投げかける方法を必要としています。

研究チームは、この複雑さを扱うための新しい手法を提案しました。それは「HUMMBER」と呼ばれるものです。このアプローチは、新しいアプリや医学的治療法ではなく、これら変化し続けるデジタルツールを研究するための「ルールセット」です。研究者たちは、何が変化しているのか、誰が影響を受けているのか、どのような条件下で、そしてなぜそうなるのかを追跡できる手法を作りたかったのです。決定的なのは、この手法が最終的な判断において人間を主導権に置いている点です。AIは示唆を与えたりデータを収集したりすることができますが、この手法は、データが何を意味するのか、そしてそのデータに基づいて行動すべきかどうかを、人間の評価者が決定することを保証します。チームはこのアイデアを検証するために、完全にコンピュータ生成されたシミュレーションを構築しました。彼らは架空のデジタル・ヘルス・プログラムを作成し、600人の仮想の人々で構成し、そのプログラムを26週間走らせました。彼らは、一部の人々がインターネット接続に難があったり、プログラムが難しすぎたりするといった特定の課題を導入し、新しい手法がこれらの問題を正確に特定できるかどうかを確認しました。

シミュレーションの結果、最終的な結果だけを見ることには罠があることが明らかになりました。コンピュータの世界において、研究者は5つの異なる仮想グループを作成しました。26週間の終了時までに、5つのグループすべてがほぼ同じ成功レベル、つまり約70パーセントがプログラムを継続しているという結果に達していました。しかし、各グループが辿った道のりは全く異なるものでした。あるグループはテクノロジーの不具合によって苦しみ、別のグループは目標が高すぎると感じ、また別のグループは単に興味を失いました。もし研究者が最終的な数値だけを見ていたとしたら、これらの重要な違いを見逃していたことになります。しかし、HUMMBER法はこれらの個別の経路を追跡することに成功しました。目的地は同じであっても、そこに到達した、あるいは到達できなかった理由は、各グループごとに固有のものであることを示したのです。これは、結末だけでなく、物語の全体像を見るための手法が必要であることを証明しています。

また、この研究は、公平性がどのようにデータの中に隠れてしまうかを浮き彫りにしました。研究者は、デジタルアクセスが限られている人々が、ツールから助けを得る機会が少なくなるシナリオをプログラムしました。この手法は、それを即座に捉えました。それらの参加者は、たとえ提供される支援自体は他の全員と同様に有効であったとしても、サポートを受ける機会が少なく、欠損データが多いことが示されました。この詳細な追跡がなければ、研究者は「インターネット環境が悪い人々に対して、ツールが機能しなかった」と誤って結論付けていたかもしれません。しかし、この手法によって、問題はツールの有効性ではなく、アクセス権の問題であることが明確になりました。この区別は、ヘルスケア・ツールが、最高のテクノロジーを持つ人々だけでなく、すべての人を助けるようにするために不可欠です。

もう一つの重要な発見は、ユーザーを煩わせることなく、どのように情報を求めるかについてでした。シミュレーションでは、ユーザーへの確認方法として、「即座に尋ねる」「しばらく待つ」「ユーザー自身に回答のタイミングを選ばせる」という異なる方法をテストしました。結果は、ユーザーにタイミングを選ばせることが最も効率的であることを示しました。それは、ユーザーが回答に費やした1分間あたりの有用な情報の収集量が最も多かったからです。これは、人の時間と選択を尊重することが、単なる親切なジェスチャーにとどまらず、収集されるデータの質を向上させ得ることを示唆しています。また、この手法は、システムが「なぜ変化が起きたのか」を判断できるかどうかについてもテストしました。シミュレーションにおいて、問題の原因に関する誤った推測から始まった場合でも、HUMMBER法は新しい証拠が入ってくるにつれて、徐々に自らを修正していきました。すぐに答えを出すのではなく、物語が進展するにつれて理解を更新し、最終的にはほとんどのケースで真の原因を特定しました。

おそらく最も重要なことは、この手法が「まだ分からない」と言って立ち止まる方法を学んだことです。シミュレーションの中で、研究者は特定の機能が行動の変化を引き起こしたことを証明しようとしました。しかし、データが不安定であったり、比較が不公平であったりする場合、この手法は結論を下出すことを拒否しました。それは、結論を無理に導き出すのではなく、結果を「証拠不十分」とラベル付けしました。これは意図的な設計上の選択です。研究者たちは、システムを慎重に設計しました。もし証拠が十分に強くなかったり、データが偏るような形で欠落していたりする場合、この手法は不確実性をフラグ立てしました。それは、答えを持っているふりをすることはありませんでした。これにより、意思決定者が偽りの希望に基づいて行動してしまうことを防ぎます。また、システムはツールの効果が時間の経過とともに変化する状況についてもチェックを行い、第1週目に導き出された結論が、第20週目にも盲目的に適用されないようにしました。

研究者たちは、これはあくまで手法自体のテストであり、実際のヘルスケア・プログラムのテストではないことを注意深く述べています。人々や出来事はすべて、制御された条件下でルールが機能するかを確認するために、コンピュータによって作られた架空のものです。彼らはこれを実際の患者や実際の病院でテストしたわけではありません。目的は、変数や結果があらかじめ設定されている状況下で、この手法の論理が成り立つことを証明することでした。シミュレーションは、このアーキテクチャが、異なる種類の証拠を混乱させることなく結びつけられることを示しました。それは、「何が起きたか」という物語と「なぜそれが起きたか」という物語を分離でき、ユーザーへの負担を可視化できることを証明しました。

この研究は、デジタル・ヘルスの未来に向けた新しい進むべき道を示唆しています。人工知能がヘルスケア・アプリにおいて一般的になるにつれ、これらのツールは絶えず変化し、適応していくでしょう。HUMMBER法は、これらの変化を密接に監視し、誰が恩恵を受け、誰が取り残され、そして実際に何が結果を動かしているのかを理解するための方法を提供します。それは、証拠を解釈し、最終的な判断を下す責任を、再び人間の評価者に委ねるものです。シミュレーションはこのコンセプトが制御された環境で機能することを証明しましたが、研究者たちは、次のステップはこれを現実世界で試すことであると述べています。彼らは、医師、患者、そして開発者が、これらのルールを共に用いて、複雑で変化し続けるデジタル・ヘルス・ツールを理解できるかどうかを確認する必要があります。それまでは、この手法は、ますます自動化される世界において、人間の判断をその中心に据え続けるための有望な設計図であり続けるでしょう。