Evaluating Methods for Assessing LLM-Translated Clinical Discharge Instructions: A Comparison of Automated Metrics, MQM-Based Evaluation, and Clinician Review

患者が病院を退院する際、受け取る退院指導書は単なるタスクのリストではありません。それは、専門的なケアと日常生活を繋ぐ極めて重要な架け橋です。もしこれらの指示が理解されなければ、投薬ミス、フォローアップ診療の missed（見落とし）、そして健康状態の悪化のリスクが急激に高まります。主要言語としてスペイン語を話す患者にとって、この架け橋は彼らの母国語で築かれなければなりません。何十年もの間、病院はこれらの文書の正確性を確保するために人間の翻訳者に頼ってきましたが、人工知能の急速な台頭は、より速い新しい翻訳生成の方法を提供しています。エッセイを書いたり複雑な質問に答えたりできるものと同じ種類の技術である大規模言語モデルは、今、人間の専門家と同じような配慮と精密さを持って医療文書を翻訳できるかどうかを検証するためにテストされています。中心となる問いは、単に機械が言葉を翻訳できるかどうかではなく、一つの誤った言葉が患者自身の健康に対する理解を変えてしまう可能性がある中で、機械が「意味」を翻訳できるかどうかです。

コロラド大学医学部の研究チームは、人工知能が英語からスペイン語への病院の退院指導書をどの程度上手く翻訳できるかをテストすることで、この問いに答えるべく取り組みました。彼らは単にコンピュータに翻訳を求めたのではありません。指示の出し方によってコンピュータの成果がどのように変わるかを見るために、厳格な実験を構築しました。彼らは、大規模な医療データベースから抽出した200件の実際の匿名化された退院指導書を取り出し、3つの異なる人工知能モデルに入力しました。人間が機械に対してどのように話しかけるかが重要かどうかを判断するために、彼らは2つの異なるプロンプト手法を用いました。一方の手法では、コンピュータに対し、集中治療室の専門的な臨床医として振る舞い、テキストの翻訳に責任を持つよう指示しました。もう一方の手法では、役割や文脈を与えず、単に言葉を翻訳するという非常に単純で逐語的な指示を与えました。目的は、機械を医師として設定することが、単なる言葉の入れ替えツールとして扱うよりも、優れた医療翻訳をもたらすかどうかを確認することでした。

これらの翻訳の質を判断するために、研究者たちはそれぞれ異なる角度からテキストを見る3つのアプローチを用いました。第一に、自動化されたコンピュータ指標を使用しました。これらは言語技術の分野における標準的なツールであり、翻訳の中に元のテキストと一致する単語やフレーズがいくつあるかをカウントします。これらのツールは高速で数千の文書を処理できますが、主に表面レベルの類似性を見ています。第二に、MQM（Multidimensional Quality Metric）と呼ばれる構造化されたフレームワークを使用しました。この手法は、翻訳を、医療用語が正しいか、トーンが患者にとって適切か、文法が自然に流れているかといった特定のカテゴリーに分解します。彼らは人工知能システムを「審判」として機能させ、これらのカテゴリーにわたって翻訳をスコアリングさせました。最後に、最も重要なこととして、人間の専門家を投入しました。英語とスペイン語の両方に堪能な2人のバイリンガルの医師が、ランダムに選ばれた翻訳をレビューしました。彼らは、高品質で安全な翻訳のゴールドスタンダード（黄金律）となる基準を用いて、これらの文書をスコアリングしました。

結果は、コンピュータが「良い」と考えるものと、人間の医師が「良い」と考えるものとの間に、驚くべき乖離があることを明らかにしました。自動化された指標（単語の重複をカウントするもの）は、一貫して、単純で逐語的なプロンプトによって生成された翻訳を好みました。コンピュータに単に逐語的に翻訳するよう指示したとき、自動スコアは高くなり、出力が元の英語テキストに近いことを示唆していました。しかし、構造化された品質スコアや人間のレビューを見たとき、異なる姿が浮かび上がりました。「臨床医」のプロンプトによって生成された翻訳、つまりコンピュータに医療の専門家として振る舞うよう求めたものは、たとえ自動の単語カウントツールによる評価が低かったとしても、スタイルやトーンの面で優れたパフォーマンスを示すことがよくありました。これは、過去に翻訳の成功を測定するために使用されてきたツールが、病院という環境において最も重要なニュアンスを捉えきれていない可能性を示唆しています。

研究者が人工知能の審判によるスコアと人間の医師によるスコアを比較したところ、その一致度は驚くほど低いものでした。コンピュータと人間の専門家は、翻訳が正確であるか、あるいは医療用語が正しいかについて、しばしば意見が食い違いました。機械と人間の間で最も高い一致が見られたのは、ルールが明確で客観的な、フォーマットやローカルな慣習などの領域でした。しかし、医療の意味の正確さや、患者にとっての言葉の適切さといった、最も重要な領域においては、機械と人間は頻繁に異なる見解を持っていました。2人の人間の医師の間でさえ、必ずしも一致していなかったことは、医療翻訳を判断することには、自動化が困難な人間による解釈の度合いが含まれることを浮き彫りにしました。この研究は、人工知能モデルは概して高品質な翻訳を生成しているものの、最も苦戦する領域は、まさに深い臨床的文脈の理解を必要とする領域であることを明らかにしました。

研究者たちは、翻訳された医療文書の安全性を保証するために、単一の手法では不十分であると結論付けました。自動化されたツールは大量のテキストを迅速にチェックするのに有用であり、構造化されたスコアリングシステムは評価を整理するのに役立ちますが、どちらも人間の専門家の判断を完全に代替することはできません。この研究は、層状のアプローチが最善であることを示唆しています。すなわち、明らかなエラーを排除するために高速な自動チェックを使用し、続いて、テキストの最も重要な部分に対して人間の臨床医によるターゲットを絞ったレビューを行うという方法です。この組み合わせにより、人工知能の効率性と、患者の安全を守るために必要な人間の監視とのバランスが保たれます。これらの知見は、医療のような極めて重要な環境においては、言葉を翻訳する能力と、ケアを伝える能力は別物であり、人間の専門知識がプロセスにおいて不可欠な要素であり続けることを思い出させてくれます。