How Best to Explain Machine Learning Models to Clinicians: A User Study of Explanation Types

あなたは、患者のデータを見て、その人が病気になる直前かどうかを予測できる、超スマートなロボット医師を作ったと想像してください。しかし、ここには一つ落とし穴があります。そのロボットは「ブラックボックス」なのです。答えは出してくれるのですが、なぜそう判断したのかを教えてくれません。まるで、「危険！」と叫ぶものの、どの水晶玉を使ってそれを見たのかを明かさないマジック8ボールのようです。

この問題を解決するために、研究者たちは、ロボットの思考プロセスを説明する3つの異なる方法を、実際の現場の医師（看護師や医師）にテストすることにしました。彼らは、どの説明スタイルが、医師にロボットへの信頼を高めさせ、理解を深めさせ、さらには患者の容態に関する彼らの考えを実際に変えさせるのかを知りたかったのです。

3つの「懐中電灯」スタイル

チームは、ロボットの決定に光を当てる3つの異なる方法をテストしました。

1. アトリビューション・フラッシュライト（「スコアカード」方式）: この方法は、あらゆるデータにスコアを付与します。これは、教師がテストを採点し、どの答えが正解で間違っていたか、そしてそれぞれの回答に何点分の価値があるかをハイライトするようなものです。「心拍数が高く、それがリスクスコアに4.5ポイント加算されました」といった具合です。
2. カウンターファクチュアル・フラッシュライト（「もしも」方式）: これは「もし〜だったら」というゲームです。これは、結果を変えるために患者の数値をどのように変更すればよいかを医師に示します。ビデオゲームのチートコードのように、「もし心拍数を下げて血圧を上げれば、ロボットは『危険！』と叫ぶのをやめます」と教えてくれるのです。
3. ルールベース・フラッシュライト（「レシピ」方式）: この方法は、料理のレシピのようなシンプルなルールのリストを提供します。「もし乳酸値が高く、かつ呼吸が速ければ、ロボットは危険を予測する」といった具合です。

大発見：スコアカードの勝利

39人の医師や看護師にこれら3つのスタイルを見せた結果、答えは明白でした。**アトリビューション・フラッシュライト（スコアカード）**が明確な勝者でした。

• 信頼: 医師たちは、スコアカードを見たとき、他の2つのスタイルを見たときよりも、ロボットの予測をより信頼しました。
• 理解: スコアカードが最も理解しやすかったのです。医師たちは、内容を本当に「把握できた」と感じました。
• 影響力: これが最も重要な部分です。スコアカードは、医師たちの考え（何が重要であるか）を実際に変えました。スコアカードを見たとき、医師たちは「おっと、私はリスクの原因について勘違いしていた。ロボットは別のことを指摘しているのだ」と言う可能性が高まりました。

論文では、他の2つの方法（「もしも」と「レシピ」）も有用ではあったものの、スコアカードほどのインパクトはなかったと示唆しています。「もしも」スタイルは自由記述のコメントの中で最も評価が低く、多くの医師が混乱したり、有用性が低いと感じたりしていました。

医師 vs 看護師：ワークフローの違い

ここで面白い展開があります。2種類の医療専門職によって反応が異なったのです。

• 医師: 説明を見る前から、彼らはすでに説明に関心を持っていました。しかし、スコアカードを使用した後、その関心はさらに高まりました。それは、「これが重要だとは分かっていたが、今やこれが自分の大きな決断にどう役立つのかが見えてきた」と考えたようなものです。
• 看護師: 彼らは最初から説明が重要だと考えていましたが、説明を見ても考えが変わることはありませんでした。論文では、これは看護師が（チェックリストのような）厳格でステップバイステップのプロトコルに従うことが多いことが理由かもしれないと示唆されています。そのため、複雑な説明は、ゼロから診断を下す医師ほど、彼らのワークフローを変えることはないのです。

医師たちが求めていたもの

研究では、医師たちが画面上で何をしたいと考えているかも尋ねました。

• 多ければ多いほど良い（ただし、多すぎないこと）: 医師の約半分（46.2%）が、3種類の説明すべてを同時に見たいと考えていました。彼らは1つに絞り込むのではなく、全体像を把握するために、スコアカード、 「もしも」、そして「レシピ」のすべてを求めていたのです。
• 簡潔に: 詳細については、医師たちは「短くて甘い（簡潔な）」バージョンを求めました。約77%の医師は、スコアカードにおいて最も重要な数個の特徴だけを見たいと考えていました。同様に、84%が長いレシピではなく、短いルールのリストを望みました。

この論文が述べて「いない」こと

この研究が証明していないことを知っておくことが重要です。研究者たちは、これらの説明がロボット医師を完璧にする、あるいは実世界の患者の転帰（アウトカム）を保証すると言ったわけではありません。彼らはあくまで、調査における医師の「発言」と「思考」を測定したに過ぎません。また、これらはあらゆる種類のロボット医師やあらゆる種類の病院でテストされたわけでもありません。結果は、時系列データ（時間の経過に伴う患者のバイタルサインなど）で学習された特定のロボットと、2つの大学の39人の医師および看護師という特定のグループに基づいています。

まとめ

もしあなたが病院向けのロボット医師を作っているなら、単一の説明を提示するだけでは不十分です。論文は、最も信頼と理解を築けるアトリビューション・スコアカードを優先すべきだと示唆しています。しかし、多くの医師はすべてを見たいと考えているため、スコアカードに加えて他のスタイルも表示しつつ、リストは短く読みやすく保つのが賢明でしょう。そして、もし相手が看護師であれば、その説明は医師ほどワークフローを動かさない可能性があることを覚えておき、状況に応じてアプローチを調整してください。