BanglaDiaHallu: Hallucinations of large language models and the effect of guideline-grounded retrieval-augmented generation in Bangla diabetes question answering
本研究は、大規模言語モデルがベンガル語による糖尿病に関する質問回答において顕著なハルシネーション（幻覚）率を示す一方で、検索拡張生成を通じてバングラデシュの糖尿病に関する国家ガイドラインに基づきローカルに展開可能なモデルを接地させることで、医学的な正確性と安全性が大幅に向上するものの、いかなる構成も完全にエラーフリーではないため臨床的な監視が不可欠であることを示している。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。 免責事項の全文を読む
現代社会において、人々は迅速で信頼できるガイダンスを求め、健康に関する答えを求めて人工知能へとますます傾倒しています。大規模言語モデルとして知られるこれらのコンピュータプログラムは、膨大な量のテキストで学習されており、何億人もの人々が話すベンガル語を含む多くの言語で流暢に話すことができます。しかし、これらのシステムにはよく知られた欠点があります。それは、単に真実ではないことを述べているにもかかわらず、完璧に自信満々な様子で話すことができるという点です。誤った一言が危険な選択につながりかねない医療分野において、事実を捏造するこの傾向は「ハルシネーション（幻覚）」と呼ばれます。これらのコンピュータプログラムの学習データが、英語に比べて薄く、信頼性が低いことが多いベンガル語のような言語においては、これは特に懸念される問題です。バングラデシュで糖尿病と共に生きる数百万人もの人々にとって、自国語で正確かつ安全な助言を得ることは、単なる利便性の問題ではなく、極めて重要なニーズです。特に、現地の病院がしばしば過密状態にあり、遠隔診療が常態化している場合にはなおさらです。
ある研究チームは、糖尿病についてベンガル語で質問された際に、これらのコンピュータプログラムがどの程度の頻度で医学的事実を捏造するかを測定し、信頼できる情報源と結びつけることでそのエラーを防げるかどうかを検証することに着手しました。彼らは、食事や薬、あるいは妊娠中の管理や宗教的な断食といったトピックを網羅した、患者が尋ねる可能性のある40の一般的な質問を集めました。そして、4つの異なるオープンソースのコンピュータモデルに対して、これらの質問に答えるよう求めました。これらのモデルはサイズや設計が異なり、汎用的なツールもあれば、ベンガル語に特化して調整されたものもありました。また、研究者たちは、一つのモデルに対して、発言する前に公式の「バングラデシュ・糖尿病疾患に関する国家ガイドライン」を参照することを強制する特別なシステムを構築しました。これは「検索拡張生成（RAG）」として知られる手法です。その後、2人の医師がすべての回答を読み、正確性、安全性、明瞭さに基づいて評価し、誤った、あるいは根拠のない医学的主張を含む回答をすべてハルシネーションとしてマークしました。
結果は、モデル間に驚くべき差があることを明らかにしました。最も高度な汎用モデルは、回答のわずか2.5%でしか事実を捏造しませんでしたが、医学用ではないもののベンガル語用に設計されたモデルは、ほぼ同等の性能を示しました。しかし、より小規模で専門化されていない汎用モデルの一つは、実に77.5%もの回答でハルシネーションを起こしていました。そのモデルは、バングラデシュに存在しない食品を捏造したり、危険な投薬変更を提案したり、患者に危害を及ぼしかねない助言を提供したりしました。このことは、単にその言語を話せるモデルを持つだけでは不十分であり、モデルの基礎となる知能が、使用する言語と同じくらい重要であることを示しています。
研究者たちは、最も脆弱なモデルを公式の国家ガイドラインに基づかせることで、その問題を解決できるかどうかをテストしました。彼らはモデルに正しい医学的規則へのアクセス権を与え、そのテキストのみから回答するように指示しました。その改善は劇的でした。ハルシネーションの発生率は77.5%から11.3%へと急落しました。回答はより正確で完全かつ安全になり、モデルのパフォーマンスは、ほとんどの基準においてベンガル語適応モデルに匹賛するか、あるいはそれを上回りました。ただし、安全性、読みやすさ、信頼性の面では、依然として最高のモデルには及びませんでした。このシステムは、危険なほど信頼できないツールを、はるかに安全な患者用アシスタントへと変えることに成功したのです。
しかし、研究は解決策が完璧ではなかったことも明らかにしました。公式のガイドラインに基づいていたとしても、モデルは9回に1回程度の割合で間違いを犯していました。これらの残存するエラーは、特に懸念すべきものでした。なぜなら、それらは明らかなナンセンスではなく、流暢で構造化された文章でありながら、インスリンの服用を中止するよう指示したり、存在しない医療機器の使用を勧めたりするなど、具体的かつ自信に満ちた、潜在的に有害な助言を含んでいたからです。モデルは、これらの虚偽の主張を裏付けるために、公式のガイドラインさえ引用することがありました。これにより、エラーの特定がより困難になっていました。このことは、コンピュータを信頼できる情報源に接続することは非常に効果的であるものの、リスクを完全に排除するわけではないことを示唆しています。研究者たちは、これらのツールが患者にとって安全であるためには、強力なベースモデルに基づいて構築され、公式のガイドラインに基づき、そして医療助言を行う前に必ず人間の医師によってチェックされなければならないと結論付けました。この研究は、何百万人ものベンガル語話者のために、アクセシブルで信頼できるヘルス・アシスタントを創出するための明確な道筋を示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。