VietMed-MCQ: A Consistency-Filtered Data Synthesis Framework for Vietnamese Traditional Medicine Evaluation

あなたは、現代医学に関するあらゆる質問に答えることができる、超スマートなロボット司書（大規模言語モデル）を想像してみてください。それは、西洋の病院にあるすべての教科書を読み終えた天才のような存在です。しかし、もしあなたがそのロボットに「ベトナム伝統医学（VTM）」について質問したら——それは古代の薬草、特定の文化的概念、そして現地の慣習に基づいています——そのロボットは突然、デタラメな推測を始めます。それは、イタリアのパスタの作り方しか知らないシェフに、完璧な一杯の「フォー」を作るよう頼むようなものです。彼らは料理の基本は知っていますが、特定の文化的な「秘伝のソース」が欠けているのです。

主な問題は、このロボットが勉強するための優れた「模擬試験」が十分に存在しないことです。適切なテストがなければ、ロボットが実際に学習しているのか、それとも単に作り話をしているだけなのかを知る術がありません。

解決策：新しい「模擬試験」工場

この論文の著者たちは、ベトナム伝統医学に特化した大規模な模擬試験を作成するために、VietMed-MCQと呼ばれる新しい工場を建設しました。彼らがどのように行ったかを、簡単な比喩を用いて説明します。

1. レシピ本（RAGパイプライン）： ロボットに推測させる代わりに、彼らは信頼できる医学テキストという厳格な「レシピ本」を与えました。ロボットは回答を書き留める前に、必ず本の中で答えを探さなければなりません。これは、検索拡張生成（RAG）パイプラインと呼ばれます。
2. ダブルチェック・システム： ロボットが単に幻覚（ハルシネーション／作り話）を起こしていないかを確認するために、彼らは「二人ルール」を採用しました。二つの異なるAIモデルに同じ質問を見せ、それぞれ独立して解かせました。両方のモデルが同じ回答に同意した場合、その回答は正しい可能性が高いと判断されました。
   • 落とし穴： 論文では、このシステムが完璧ではないことを認めています。これは、回答が根拠となる証拠の中に「部分文字列（テキストの一部）」として含まれているかを確認するものであり、学生が教科書の文章をそのまま書き写したかどうかを確認することに似ています。これは優れた第一歩ですが、学生がその文章の背後にある「論理」を真に理解していることを保証するものではありません。
3. 人間によるレビュー： ロボットの助けがあっても、人間は必要です。一人の医学専門家と四人の学生が問題をレビューしました。彼らは94.2%の割合で「グッド」を出し、互いに高い一致度（高い「Fleiss' kappa」スコア）を示しました。これは、このテストが信頼できるものであることを意味しています。

結果：新しいベンチマーク

彼らは、易しいものから非常に難しいものまで、3,190問の多肢選択式問題からなるテストバンクを作成しました。そして、7種類の異なる「スマートなロボット（オープンソースAIモデル）」にこのテストを受けさせ、誰が合格するかを検証しました。

驚くべき発見：

• 「中国とのつながり」： もともと中国語のデータで集中的に学習されたロボットは、ベトナム語のデータで特別に学習されたロボットよりも優れた成績を収めました。
  • 比喩： こう考えてみてください。ベトナム伝統医学は、伝統中国医学と多くの共通のルーツを持っています。「中国語で訓練された」ロボットは、すでにこれらの医学的概念の「根源的な言語」を学習していたため、ベトナム語の知識だけでなく、医学的な歴史についても、ベトナム語しか知らないロボットよりも上手く翻訳することができたのです。
• 苦戦： 中国語の優位性があったにもかかわらず、複雑な診断推論を行えるロボットは一つもありませんでした。単純な事実については対処できましたが、質問が複雑な多段階の思考（例えば、厄介な病気を診断する実際の医師のような思考）を必要とする場合、彼らはすべて躓きました。

結論

この論文は、これらのロボットがまだ医師に取って代わったり、患者を治療したりできる準備ができていると主張しているわけではありません。むしろ、これは研究者のためのツールです。彼らはデータセットとコードを公開しており、他の科学者がより優れた「模擬試験」を構築し、AIモデルが迷うことなく、複雑で文化的に特殊なベトナム伝統医学の世界を学習できるよう支援できるようにしています。