Large Language Models for Cancer Communication: Evaluating Linguistic Quality, Safety, and Accessibility in Generative AI

あなたは、インターネット上のほぼすべての情報を読み込んだ超スマートなロボットによって書かれた本が並ぶ、巨大な図書館に足を踏み入れたところだと想像してください。このロボットは「大規模言語モデル（LLM）」と呼ばれています。それは、何百万もの会話、ニュース記事、教科書を暗記したデジタル・オウムのようなものです。人間らしく話し、文章を最後まで補い、複雑なアイデアを親しみやすく説明することには非常に長けています。しかし、ここに落とし穴があります。ロボットが自信満々に話しているからといって、それが真実であるとは限らず、また、親切だからといって安全であるとも限らないのです。

ここで、この図書館の中にある、健康に関する非常に深刻なコーナーを思い浮かべてください。具体的には、多くの女性が罹患する2種類の癌、乳癌と子宮頸癌についてです。このコーナーでは、情報を正しく得ることが生死に関わる問題となります。もしロボットが間違ったアドバイスを与えたら、あなたは医師に診てもらうのを遅らせたり、恐ろしい間違いを犯したりしてしまうかもしれません。科学者たちは、「もしこのロボットに癌について尋ねたら、明確で安全かつ優しい答えを返してくれるだろうか、それとも混乱したり、意地悪なことを言ったり、事実を捏造したりするのだろうか？」と考えてきました。これが、研究者たちが解決しようとしている大きな問いです。なぜなら、これらのデジタルヘルパーが、人々の健康について語る準備ができているかどうかを知る必要があるからです。

---

偉大なるロボットの健康診断

この研究において、研究チームは8つの異なるロボットの脳を、乳癌と子宮頸癌に関する質問に対してどのように対処するかを見るために、厳格な「健康診断」にかけることにしました。彼らは単にロボットにチャットをさせたわけではありません。彼らは3つの特定の課題、すなわち、言語的質（ロボットがいかに上手く話し、思考するか）、安全性と信頼性（聞き心地が良いか、あるいは有害か）、そしてコミュニケーションのアクセシビリティと効果（理解しやすいか、そして思いやりを持って聞こえるか）という、巨大な障害物コースを設定しました。

チームは2つのチームを対戦させました。チーム1は「ジェネラル・オールスターズ」で、料理のレシピから宇宙旅行まであらゆるものについて訓練された5つのロボット（Llama 3、Gemma、Alpacaなど）です。チーム2は「メディカル・スペシャリスト」で、医学の教科書や医師のノートに基づいて特別に訓練された3つのロボット（MedAlpacaやBioMistralなど）です。研究者たちは、専門家たちが実際にその仕事に適しているのか、それともジェネラル・オールスターズこそが真のヒーローなのかを知りたいと考えました。

結果：ジェネラリストがスピーチ・コンテストで勝利し、スペシャリストは明暗が分かれた

ここからが興味深いところですが、結果は多くの人が予想するであろう展開を覆しました。

言語的質――つまり、回答がいかに知的で、明快で、論理的に聞こえるか――に関しては、ジェネラル・オールスターズが王座を勝ち取りました。ロボットのLlama 3が明確な勝者であり、一貫性があり、正確で、多くの偽の事実（「ハルシネーション」と呼ばれる問題）を作り出すこともありませんでした。しかし、物語はそれほど単純ではありませんでした。メディカル・スペシャリストについては、Meditronのように実際にジェネラル・ロボットよりも偽の事実を少なく作ったものもあれば、苦戦したものもありました。平均すると、医療モデルは専門用語を使いすぎたり、論理の流れに問題があったりする傾向がありました。結局のところ、単にロボットが医学を勉強したからといって、より優れた書き手や思考家になるとは限らないのです。時には、一つの主題に集中しすぎることで、他の領域でつまずいてしまうこともあるのです。

しかし、研究者が安全性と信頼性をチェックした際、結果は複雑な混在を見せました。ジェネラル・オールスターズ（特にLlama 3）は、毒性や偏りが低く、一貫して最も安全な選択肢であることが示されました。一方で、メディカル・スペシャリストは、一様に「安全でない」ロボットの集団ではありませんでした。実際、一つのスペシャリストであるMedAlpacaは、テストされたすべてのロボットの中で最も毒性が低く、ジェンダーバイアスも最小でした。高いレベルの潜在的な危害、毒性、およびバイアスを示したのは、他の医療モデルたちでした。つまり、一部の医療ロボットは知識は持っているものの、優しさや公平さを忘れてしまっており、一方で、他のロボットは一団の中で最も礼儀正しく安全であったのです。

しかし、メディカル・スペシャリストには一つのスーパーパワーがありました。それはアクセシビリティです。テキストを読みやすくすることに関して、スペシャリスト（MedAlpacaなど）は、はるかに平易な言葉で書いていました。彼らの回答は読解レベルが低く、より幅広い層の人々にとって理解しやすいものでした。ジェネラル・オールスターズは、より賢く聞こえる一方で、大学卒業程度の学歴がないと理解するのが難しいような、複雑で高度な言語を使用していました。

大きな教訓

この研究は、私たちは「医療用」のロボットであれば自動的に患者と話すのに最適な選択肢であると決めつけることはできず、また、それらがすべて危険であるとも決めつけられないことを示唆しています。研究結果は、難しいトレードオフが存在することを示しています。ジェネラル・ロボットは一般的に、より賢く、安全で、共感的である傾向がありますが、多くの人が読むには難しすぎる書き方をします。医療ロボットは一筋縄ではいきません。簡単な言葉で書くものもあれば、安全であったり偏りがあったりするものもあり、MedAlpacaのように、実は最も安全で読みやすいものもあります。

研究者たちは、注意が必要であると結論づけています。私たちは単に健康に関する質問をどのロボットにも投げかけて、うまくいくことを期待することはできません。代わりに、ジェネラル・ロボットの安全性と明快さと、医療用ロボットの平易な言語の両方の長所を組み合わせた、より優れたシステムを構築する必要があります。それまでは、これらのデジタルツールが単に賢いだけでなく、安全で、優しく、そしてすべての人にとって理解しやすいものになるよう、さらなる調整が必要なのです。