From Dyad to Triad: Eliciting XAI Requirements in Stroke Rehabilitation

見えないコーチと沈黙の患者

自転車に乗る練習をしている場面を想像してみてください。親がサドルを支えてくれる代わりに、ロボットがあなたを導いているとします。このロボットは、あなたのふらつきを見逃さず、あなたが転びそうになる瞬間を正確に察知できます。しかし、ここに落とし穴があります。ロボットは決して言葉を発しません。ただハンドルを傾けたり、ペダルを止めたりするだけです。あなたは「ペダルを強く踏みすぎたのかな？」「バッテリーが切れたのかな？」「ロボットが壊れているのかな？」と、もどかしさを感じるかもしれません。これが**説明可能なAI（XAI）**の世界です。簡単に言えば、XAIとは、コンピュータプログラムが単に結果を示すだけでなく、「なぜ」その決定を下したのかを私たちに伝える技術のことです。

さて、このロボットが、脳卒中サバイバー（脳卒中を経験した人々）が腕の動きを再学習するのを助けていると想像してください。脳卒中は、脳の配線における停電のようなもので、しばしば言葉を明確に話したり、複雑な概念を素早く処理したりすることを困難にします。長年、医師はこのシナリオにおける「コーチ」として、なぜエクササイズがうまくいかなかったのか、どう修正すべきかを患者に説明してきました。しかし、テクノロジーが介入することで、チームは二人組（医師と患者）から三人組（医師、患者、そしてロボット）へと変化します。ここで大きな疑問が生じます。言葉を見つけるのに苦労している人に、ロボットからどのような「説明」が必要なのかを、どうやって問いかければよいのでしょうか？もしあなたが「対照的な説明（contrastive explanation）がいいですか、それとも反事実的な説明（counterfactual one）がいいですか？」と尋ねたら、彼らはただ呆然と立ち尽くすだけでしょう。この論文は、まさにその問題に深く切り込み、言葉をうまく発することができない患者の声にどう耳を傾けるべきかを探っています。彼らが使うロボットが、単に機能するだけでなく、彼らにとって本当に「意味のある」ものになるために。

---

「何？」から「なぜ？」へ

この論文は、コミュニケーションのパズルを解くために設計された巧妙な実験について述べています。研究者たちは、脳卒中サバイバーがリハビリを支援するAIシステムに対して、実際に何を理解する必要があるのかを知りたいと考えました。しかし、そこには障害がありました。多くの患者が、言葉を発したり複雑な言語を理解したりすることが困難になる失語症を抱えていることです。もし直接、「このアルゴリズムに対してどのような透明性を求めますか？」と尋ねれば、彼らは言葉に詰まるか、あるいは、困らせたくないという思いから、提案されたことに何でも「はい」と答えてしまうかもしれません。

パラム・ラジュプラとヨゲシュ・クマール・ミーナ率いるチームは、抽象的な質問をするのをやめ、物語を見せることにしました。彼らは**ビデオベースの足場かけプロトコル（video-based scaffolding protocol）**を作成しました。「足場（scaffolding）」とは、壁を建てる際に建設業者が使う一時的な木の支えのようなものです。ここでの「木」とは、スニタというキャラクターが、腕を動かすためにブレイン・コンピュータ・インターフェース（BCI）を使おうとしている様子を描いた、2分間の短い一連の動画でした。動画では、機械が動いたり動かなかったりする、あるいは混乱を招くフィードバックを与えるといった、現実的な問題が描かれていますが、解決策は示されていません。代わりに、動画は混乱の瞬間に止まり、視聴者に「ここでスニタを助けるには何が必要でしょうか？」と問いかけるのです。

これらの動画から最大限の成果を得るために、研究者たちは、患者が自身のニーズを表現しやすくするための4つの特別なテクニック、すなわち「足場かけのアプローチ」を用いました。

1. 「馴染みのあるシステム」への橋渡し（類推による架け橋 / Analogical Bridging）: 「神経信号」や「インピーダンス」といった言葉を使う代わりに、進行役はAIを誰もが知っているものに例えました。例えば、悪い脳信号を携帯電話の通話が途切れた状態に例えました。これにより、EEG（脳波）技術について聞いたこともない患者にとって、「信号を修正する」という概念が突然、完璧に理解できるものとなったのです。
2. 「第三者の視点」という盾（投影的ペルソナ / Projective Personas）: 患者に直接「プライバシーについて不安がありますか？」と聞くことは、恐怖や恥ずかしさを感じさせることがあります。そこで研究者は、「懐疑的な人が心配しそうなことは何ですか？」と尋ねました。これにより、患者は自分の弱さを認めていると感じることなく、自身の懸念を口にすることができました。
3. 「AかBか」の選択（二者択一の強制 / Binary Forcing）: 開かれた質問（自由回答形式）は、時に負担が重すぎることがあります。研究者は物事を単純化しました。「短い要約がいいですか、それとも膨大なレポートがいいですか？」「機械が指示を出すべきですか、それとも人間が説明すべきですか？」このようにすることで、精神的負荷を軽減し、患者が明確な選択を行えるようにしました。
4. 「沈黙は金」のルール（応答時間の延長 / Extended Response Time）: 彼らは質問の後に15秒から30秒の沈黙を与えました。失語症の人にとって、その追加の時間は、空白の表情と、思慮深い答えとの間の決定的な差となります。

彼らが発見したもの：多様な声の集まり

この研究には、3人の脳卒中サバイバー（うち2人は中等度から重度の失語症）と、3人の家族介護者が参加しました。結果は驚くべきものであり、患者は決して一様なグループではないことを示しました。

• 詳細度のレベルが異なる: ある患者は、ごく単純な報告（「やったかどうかだけ教えて」）を望みましたが、別の患者は、あらゆる動きに対する詳細な逐一の解説を求めました。もし設計者がたった一人の意見を聞いていたら、もう一人の患者を苛立たせるシステムを作っていたかもしれません。
• 信頼する「コーチ」が異なる: 医師が言ったことと機械が示したことが食い違うとき、医師を信頼する患者もいれば、より「客観的」だと感じて機械の数値を信頼する患者もいました。興味深いことに、誰を信頼しているかにかかわらず、全員が「サポートされていると感じられれば、もっと懸命に取り組む」と答えました。
• 求める助けの種類が異なる: 機械が直接自分に話しかけ、ミスを修正できるようにしたい患者もいれば、まだ機械と話すことに自信がないため、家族や人間がまずエラーを説明することを好む患者もいました。

隠れた罠：「専門家」のバイアス

この論文は、研究者自身が意図せず状況を台無しにしてしまう可能性があるという、厄介な問題にも光を当てています。彼らは自分たちのやり取りを観察することで、無意識のうちに回答を誘導してしまう3つの方法を発見しました。

1. 「多いほうが良い」というバイアス: 患者がシンプルなレポートを求めた際、進行役が「AIができるのは複雑なことだ」と思い込み、それを「詳細なレポート」として要約してしまうことがありました。これは、患者が実際に求めていた「簡潔さ」という好みを、図らずも消し去ってしまう行為でした。
2. 「ああ、そうだと思った」というバイアス: 患者が意外な答え（例えば、「機械に自分の考えを知ってほしい」と言うなど）を出したとき、進行役がすぐに次の予想通りの質問に移ってしまうことがありました。これにより、貴重な洞察を見逃してしまいました。
3. 「部屋にいる医師」の効果: 医師が同席していたため、患者は実際には機械を好んでいたとしても、医師の方をより信頼すると答えることがありました。権威の存在が回答を変えてしまったのです。

まとめ

この論文は、患者が何を必要としているかを、私たちは単に「分かっている」と決めつけてはならないことを示唆しています。医師が患者に必要だと「考える」ことや、ソフトウェアエンジニアが最善だと「想像する」ことに基づいて、ロボットのコーチを設計することはできません。この研究は、ビデオ、単純な類推、そして十分な時間といった適切なツールがあれば、言葉を発することに苦労している患者の真の声を聞くことができるということを示しています。

しかし、著者たちは、これはあくまで**形成的研究（formative study）であり、世界全体のための最終的な解決策ではなく、手法をテストするための第一歩であることを慎重に述べています。彼らはインドの一つのセンターで、わずか6人の人々を対象に調査を行ったに過ぎません。彼らは、あらゆる場所のあらゆる脳卒中サバイバーのために問題を解決したと主張しているわけではありません。むしろ、コミュニケーションの障壁を持つ人々のためにAIを設計しようとするすべての人に向けて、一つのプロトコル（レシピ）**と、**警告（避けるべきバイアスのチェックリスト）**を提示しているのです。

最大の教訓は何でしょうか？信頼できるAIとは、単にコードを賢くすることではありません。そのコードが何を言っているのかを、使う人々が実際に理解できるようにすることなのです。そして、そのためには、全く新しい方法で耳を傾ける術を学ばなければなりません。