Cross-Lingual Empirical Evaluation of Large Language Models for Arabic Medical Tasks

技術要約：アラビア語の医学的タスクにおける大規模言語モデルのクロスリンガル実証評価

問題提起
大規模言語モデル（LLM）は、臨床意思決定支援や医学的質問回答といった英語中心の医学的アプリケーションにおいて顕著な能力を示しているが、言語的多様性を持つコミュニティにおける信頼性は未だ証明されていない。先行研究では、アラビア語のような低リソース言語において、医学用LLMの性能が大幅に低下することが指摘されているが、その根本的な原因については十分に理解されていない。既存の文献では、こうした性能低下の要因を、事前学習データの不足やドメインの不一致といった広範な理由に帰属させることが多いが、それが本質的な言語特性（例：形態論、トークン化）、医学ドメインへの適応不足、アーキテクチャの選択、あるいはこれらの要因間の相互作用によるものなのかを、系統的に切り分けて検証できていない。このような詳細な理解の欠如が、効果的な多言語トレーニングおよび評価戦略の設計を妨げている。

手法
著者らは、アラビア語と英語の医学的タスク間における性能差の具体的な寄与因子を特定するために設計された、系統的なクロスリンガル実証研究を提示する。本研究では、19の医学専門分野を含むアラビア語の医学多肢選択式問題（MCQ）データセットであるMedAraBenchと、その英訳版を使用する。アラビア語の原文と英語の翻訳の両方でモデルを評価することにより、医学的コンテンツを制御し、言語表現の影響を単離して検証する。

評価フレームワークは、多様なオープンソースモデル（例：汎用LLMとしてのDeepSeek-V3.2、LLaMA 3.3 70B、および医学ドメイン適応モデルとしてのMeditron 3、Med42、MedGemma）を用い、5つの具体的な研究課題（RQ）に対処する。手法には以下が含まれる：

1. クロスリンガル精度比較： 同一のプロンプト構造の下で、アラビア語入力と英語入力の間の性能差を測定する。
2. 粒度の高い分析： 入力長、教育的難易度（学習年数）、および医学的専門分野が性能にどのように影響するかを調査する。
3. アライメントと出力形式： 「ソフトマッチング」（文字選択）と「ハードマッチング」（自由形式のテキスト生成）を比較し、指示への追従性と表面形式の生成能力を評価する。
4. トークン化分析： トークン化の効率、断片化率（単語あたりのトークン数、トークンあたりの文字数）、および単一文字トークンの出現頻度を調査する。
5. 信頼性評価： モデルが報告する確信度・説明と、実際の正解との相関関係を分析する。

主な貢献
本論文は主に3つの貢献を行う：

• 診断フレームワーク： 言語、出力形式、トークン化の挙動、および信頼性のシグナルにわたる制御された分析を可能にする、クロスリンガル診断評価フレームワークの設計。
• 単離された実証研究： 医学的ドメインコンテンツを制御しつつ、言語の効果を単離した、MedAraBenchとその英語対応版に関する初の系統的な研究。
• 切り分けられた知見： アラビア語の性能低下は、単なる医学的知識の不足ではなく、表現、アライメント、および評価の要因が複雑に絡み合って引き起こされていることを特定した。

結果
実証分析により、いくつかの重要な知見が得られた：

• 持続的な性能格差： 評価されたほぼすべてのモデルにおいて、アラビア語での精度は英語よりも著しく低い。この格差は、タスクの複雑さ（例：医学部の後半の学年）や自由形式の生成によって増大する。DeepSeek-V3.2のみが両言語間で同等の性能を示しており、注目すべきことに、モデルのサイズが大きいことが必ずしもクロスリンガルの性能低下を抑制することを保証しない。
• タスクの複雑さと長さ： アラビア語における性能低下は、入力の長さと難易度の影響を不釣り合いに受ける。英語の性能は入力が長くなっても比較的安定している一方で、アラビア語の精度は問題の長さが増すにつれて著しく低下する。
• 出力形式への感度： モデルが文字ベースの選択肢を選ぶ場合と比較して、自由形式のテキスト回答を生成する必要がある場合に、性能格差は拡大する。アラビア語の出力は正解に対する表面形式の類似性が低く、これは指示への追従や生成タスクが言語固有の困難さを増幅させることを示唆している。
• トークン化の断片化： トークン化分析により、アラビア語の医学テキストにおける構造的な断片化が明らかになった。アラビア語の入力は、英語と比較して一貫して単語あたりのトークン数が多く、単一文字トークンの発生率が高い。この断片化は、トークン使用量の増加や潜在的な性能低下と相関しているが、その影響は一様ではない。一部のモデル（DeepSeek-V3.2など）は断片化にもかかわらず安定性を維持しており、トークン化は寄与因子ではあるものの、唯一の要因ではないことを示している。
• 信頼性の欠如： モデルが報告する確信度および生成された説明は、正解との相関が限定的である。実際、中程度の負の相関が観察され、確信度が高い予測ほど精度が低いという現象が見られた。この較正の不備は、医学的な設定において確信度スコアが正解の信頼できる指標にはならないことを示唆している。

意義
本論文は、アラビア語の医学用LLMに見られる性能格差は、単なる医学的知識の不足やデータの希少性に起因するものではないと主張している。むしろ、言語表現の問題（トークン化の断片化）、アライメントの制約、および評価プロトコルを含む、相互作用する要因によって性能低下が引き起こされている。本研究は、言語を意識した設計および評価戦略の必要性を強調している。著者らは、どの特定の要因がモデルの失敗を支配しているのかを理解しなければ、効果的な多言語トレーニング戦略やアライメント手順を設計することは困難であると結論付けている。本研究は、集計された性能スコアを超えて、過小評価されている言語におけるLLMの失敗の背後にある具体的なメカニズムに対処するための、基礎的な診断的アプローチを提供するものである。