Can Language Models Identify Side Effects of Breast Cancer Radiation Treatments?

あなたが乳がんで放射線治療を終えた患者だと想像してください。あなたは退院しようとしており、医師はこれから数週間、数年間にわたって注意すべき事項のリストをあなたに渡す必要があります。このリストは極めて重要です。何が正常で、何が注意を要し、数年後に何が起きる可能性があるのかを知る手助けとなるからです。

次に、超スマートなロボット（大規模言語モデル、または LLM）にそのリストを書いてもらうと想像してください。あなたが読んでいるこの論文が問うているのは、「このロボットがリストを正確に作成してくれると信頼できるでしょうか？」という点です。

以下は、研究者たちが発見したことをシンプルに解説した物語です。

設定：ロボットのためのストレステスト

研究者たちは、ロボットに単に副作用を「推測」させるだけではありませんでした。彼らは、車のクラッシュテストのように「ストレステスト」を設計しました。

1. 患者たち：彼らは 21 人の架空の患者プロフィールを作成しました。これらはビデオゲームのキャラクターの詳細な設定シートのようであり、年齢、病歴、治療の詳細が含まれていました。
2. ひねり：すべての患者について、物語の 2 つのバージョンを作成しました。
   • バージョン A（曖昧）：「患者は放射線治療を受けた。」
   • バージョン B（具体的）：「患者は左胸と胸壁に放射線治療を受けた。」
   • それ以外の部分は完全に同一でした。
3. 目標：彼らは 7 つの異なる AI モデルに、両方のバージョンの副作用のリストを作成させました。その後、AI のリストを実際の乳がん専門医チームが作成した「ゴールドスタンダード」のリストと比較しました。

発見：ロボットが躓いた場所

1. 「推測ゲーム」の問題（自由記述モード）

研究者たちが AI にリストを自由に書かせる（友人に「すべて教えて」と頼むような）と、結果は様々でした。

• 「安全」なロボット：一部のモデルは非常に慎重でした。彼らは 100% 確信のある副作用のみをリストアップしました。誤りはほとんどありませんでしたが（高い精度）、多くの重要な事項を見落としていました（低い再現性）。これは、表紙から裏表紙まで読んだ本しか推薦しない司書のようであり、多くの素晴らしい物語を見逃していました。
• 「おしゃべり」なロボット：他のモデルは、考えられるすべてをリストアップすることで親切になろうとしました。彼らは正しい副作用をより多く捉えましたが、同時に多くの nonsens（ナンセンス）も作り出しました。患者が胸にのみ放射線治療を受けたにもかかわらず、骨盤への放射線治療の副作用をリストアップしました。これは、街をよく知っているが、間違った地区のランドマークを指し示し続けるガイドのようです。

2. 「数え上げ」の罠

研究者たちは、「ねえ、副作用のリストを 20 から 30 個だけ教えて」と言うことで「おしゃべり」なロボットを修正しようとしました。

• 結果：これは逆効果でした。ロボットに特定の数を達成するように強制すると、彼らはクォータを満たすために架空の副作用を作り出し始めました。これは、子供に一日の出来事について 20 文を書かせるようなもので、最終的に数を合わせるために事実を捏造し始めます。リストはより正確になるどころか、不正確になりました。

3. 「微小な変化」への感受性

これは最も驚くべき発見の一つでした。ロボットはテキストの微小な変化に極めて敏感でした。

• テキストが「放射線」と言っていれば、ロボットは 10 種類の副作用をリストアップするかもしれません。
• テキストが「左胸への放射線」と言っていれば、ロボットは突然 15 種類の異なる副作用をリストアップしたり、最初の 10 種類を忘れたりするかもしれません。
• 比喩：「ニューヨーク」と入力すると「晴れ」と予測する天気アプリが、「ニューヨーク、NY」と入力すると「雪」と予測すると想像してください。文字を 2 つ追加しただけで出力がこれほど劇的に変化してはいけません。ロボットは不安定でした。詳細がわずかに変更されただけで、自分自身と合意できませんでした。

4. 「長期的」な見落とし

研究者たちは、副作用がいつ発生するかを検討しました。

• 短期的：皮膚の赤みや疲労感など。
• 長期的：数年後に現れる可能性のある心臓の問題や瘢痕など。
• 発見：ほとんどのロボットは短期的な事項のリスト作成は得意でしたが、長期的な事項を思い出すのは苦手でした。彼らは、その日の速報ニュースだけを報じ、歴史的な文脈に言及することを忘れるニュースキャスターのようでした。これは、10 年後に現れる可能性のあるリスクを知る必要があるがん生存者にとって危険です。

解決策：「メニュー」アプローチ

研究者たちは、ロボットをより信頼性の高いものにする一つの方法を見つけました：彼らにメニューを与えることです。

ロボットにリストを「発明」させるのではなく、実在の医師が作成した副作用の事前定義リストを与え、「この患者に当てはまるものはどれか？」と尋ねました。

• 結果：ロボットははるかに賢くなりました。彼らは架空の副作用を作り出すことをやめました（幻覚の発生がなくなった）し、正しいものを選ぶ能力が大幅に向上しました。
• 比喩：これは、シェフに「食事を作って」と頼む（その場合、彼らは間違った通路からランダムな材料を掴んでくる可能性がある）ことと、特定の材料のメニューを与え、「このレシピに合うものを選んで」と頼むことの違いです。後者の方法の方がはるかに安全で一貫性があります。

結論

この論文は、AI は有用なツールになり得るが、医療アドバイスが自由に書かれるままに任せてはならないと結論付けています。

• 推測させれば、重要な長期的リスクを見落としたり、実在しない恐ろしいことを捏造したりする可能性があります。
• 特定の数に数えるよう強制すれば、スペースを埋めるために嘘をつきます。
• しかし、信頼できる医師承認のリストから選択させるようにすれば、それははるかに信頼性の高いアシスタントになります。

研究者たちが本質的に言っているのは：AI に医療アドバイスの著者ではなく、専門家によって書かれたリストをチェックする編集者になってもらいなさい、ということです。これにより、がん生存者が将来の健康に関する正確で安全かつ完全な情報を得られることが保証されます。