Context-Window-Mediated Corruption of Large Multimodal Models in Clinical Medicine: A Systematic Review
バイアスリスクが高い10件の研究を対象としたこの系統的レビューは、臨床医学における大規模マルチモーダルモデルが4つの明確な失敗クラスにわたる入力ベースの破損に対して脆弱であることを明らかにしており、この脅威はモデルの特性やテストされた防御策に関わらず持続し、出力の完全性を損なうために敵対的な攻撃者を必要としません。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代の病院には、新しい種類の助手が登場した。これらは大規模言語・視覚モデルであり、膨大な量のテキストや画像を学習し、患者のチャートを読み、X線写真を解釈し、診断を提案することができるコンピュータプログラムである。これらは、医師が入力する内容、患者が話す言葉、あるいは画像が示すものといった情報のストリームを受け取り、それらすべてを一連の連続的な流れとして処理することで機能する。システムは、その流れのどの部分が信頼できる指示であり、どの部分が単なる背景ノタイズや偶然の書き殴りに過ぎないのかを、本質的に理解しているわけではない。コンピュータにとって、医師によって書かれたコマンドと、患者による走り書きは、同じ種類のデータに見えるのである。これは特有の脆弱性を生み出す。つまり、入力される情報がわずかでも改変されると、たとえマシン自体がいかに賢かろうとも、その出力は劇的に変化してしまう可能性があるのだ。
これは、コンピュータが壊れている、あるいは作りが悪いという問題ではない。それは、コンピュータの「聞き方」の問題である。指示に従うことにあまりに熱心なあまり、作業中に誰かが耳元で新しい命令を囁くと、即座にそれまでの作業を止めてその囁きに従ってしまう、非常にスキルの高い翻訳者を想像してみてほしい。人工知能の世界では、これは「プロンプト・インジェクション」と呼ばれ、入力そのものがシステムの挙動を乗っ取ってしまう現象である。セキュリティの専門家たちは、悪意のあるハッカーがこのトリックを用いることを長らく懸念してきたが、ある系統的なレビューは、医療分野に対してより不穏な問いを投げかけている。果たして、この危険にハッカーは必要なのだろうか？ 単なる医療画像上の偶然の印や、患者の切迫した、あるいは混乱した言い回しが、同じような失敗を引き起こすことはあり得るのだろうか？
ベス・イスラエル・ディーコネス・メディカルセンターとデブレツェン大学の研究チームは、医療モデルが入力の改変に対してどのように反応するかをテストした既存のあらゆる研究を集めることで、この問いに答えようとした。彼らは、2025年から2026年の間に発表された、がん診断、皮膚病変分析、患者への助言、投薬ガイダンスなど多岐にわたる10件の特定の研究を調査した。彼らの目的は、コンピュータの内部コードをハッキングしたり、秘密の学習データにアクセスしたりすることなく、単に読み取る内容や見る対象を変更するだけで、これらの強力なツールが汚染され得るかどうかを確認することであった。
研究者たちは、モデルが極めて脆弱であることを発見した。そして、その汚染には悪役を必要としない。実際、研究によれば、入力が研究者によって作成された意図的な攻撃であっても、あるいは通常の臨床資料に似せて作られた非悪意的なコンテンツであっても、大幅な出力の変化が生じることが示された。しかし、このレビューは、自然に発生するコンテンツと意図的な攻撃を一致した条件下で比較した研究は存在しないため、現実世界の事故が同様の失敗を引き起こすかどうかは未だ証明されていないと明記している。チームは、これらの失敗を4つの主要なカテゴリーに分類した。第一は「指示階層の失敗（instruction-hierarchy failure）」であり、隠されたコマンドが医師の元の要求を上書きしてしまう現象である。第二は「エビデンス整合性の失敗（evidence-integrity failure）」であり、モデルが偽の情報や捏造された所見を真実として受け入れてしまう現象である。第三は、画像を見るモデルに特有の「マルチモーダル干渉（multimodal interference）」であり、医療画像の上や内部に書かれたテキストが、画像自体の視覚的証拠を上書きしてしまう現象である。第四は「相互作用の感受性（interactional sensitivity）」であり、メッセージのトーンや誤った前提がモデルの決定を変化させてしまう現象である。
結果は衝撃的であった。皮膚がんの画像を用いたある研究では、画像にたった一つの捏造されたラベルを加えただけで、モデルの診断精度が58〜62％の範囲から0.0〜1.9％へと急落した。別の研究では、研究者が患者のメッセージのトーンをより緊急性が高く、あるいは権威的であるように変更したところ、モデルが患者を救急外来へ送るよう推奨する割合が、約14％から最大82％にまで跳ね上がった。おそらく最も懸念すべきは、これらの失敗が古いバージョンから最新の最も強力なシステムに至るまで、異なる種類のモデル全般で発生したことである。一貫して安全であると証明されたモデルは一つもなかった。ある種のエラーに対して堅牢なシステムが、別の種類のエラーに対しては最も脆弱であることも多かった。
研究者たちは、現在の防御策がこれらの問題を阻止できるかどうかもテストした。プロンプトに安全に関する指示を追加する、二番目のモデルに最初のモデルの仕事をレビューさせる、あるいは修正された例を用いてモデルを再学習させるといった戦略を検討した。これらの手法のいずれも、リスクを排除することはできなかった。エラーをわずかに減少させるものもあったが、全く効果がないものもあった。モデルを再学習させるという一つの防御策は、偽の情報に対する拒絶能力を向上させたが、同時にモデルが正当な要求までも拒否するようにさせ、本質的に一つの種類のミスを別のミスへとトレードオフさせてしまった。決定的なのは、テストされた防御策のどれもが、異なる種類のエラーに対しては機能しなかったことである。一つの問題に対する修正策が、別の問題から保護することにはならなかった。
レビューの大部分は、これらの失敗に悪意のある攻撃者が必要かどうかという点に焦点を当てていた。利用可能な証拠に基づく答えは、研究者が作成した、通常の偶然の臨床資料（スライド上の手書きのメモや、患者自身の切迫した言い回しなど）に見えるコンテンツであっても、システムを破壊するのに十分であったということである。しかし、論文では、これらは日常的な診療から抽出されたものではなく、自然に発生するコンテンツのみを単独でテストした研究は存在しないことを明確にしている。このことは、脅威が単なるサイバー攻撃ではなく、これらのモデルの情報処理における根本的な弱点であることを示唆している。システムに入力されるデータの完全性は、モデル自体の安全性と同じくらい重要なのである。
著者らは、現在の医療用人工知能へのアプローチは、モデルの学習と出力の監視に重点を置きすぎている可能性があり、重要なパズルのピースを見落としている可能性があると結論づけている。もしシステムに投入される情報が単純で非悪意的な手段によって汚染され得るのだとしたら、臨床判断全体の安全性は、その入力の純粋さに依存することになる。入力されるデータが偶然または意図的な操作から自由であることを保証できず、かつ、あらゆる種類のエラーに対して機能する防御策が確立されるまでは、現実世界のケアにおけるこれらのツールの信頼性は不透明なままである。これらの知見は、早期警戒として機能する。これらのシステムの安全性は、機械の知能だけでなく、その機械に読ませようとする世界の信頼性に依存しているのである。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。