あなたは謎解きに挑んでいると想像してみてください。しかし、手がかりは、何年も前に異なる探偵たちが書き残した、100冊もの異なるノートの中に散らばっています。明らかな手がかりもあれば、乱雑なページの中央に隠されているものもあります。そして、中には記録に答えがないために、単に答えることができない問いもあります。これは、複雑で長期的な健康歴を持つ患者を治療する医師たちが直面している日常の現実です。彼らは、今日の症状を理解するために、5年前の入院時に何が起きたかを覚えておかなければなりません。同時に、記録が沈黙している場合には、「わかりません」と言うべきタイミングも知っておく必要があります。

ここで、大規模言語モデル（LLM）が登場します。これらは、本を一冊丸ごと読み、それに関する質問に答えることで最近有名になった、非常にスマートなAIチャットボットです。科学者たちは、これらのAIが医師と同じことができるかどうかに期待を寄せています。つまり、患者の人生の物語すべてを読み、数年離れた受診間の点と点を結びつけ、正確な医学的助言を提供できるかどうかです。しかし、一つ問題があります。現在のほとんどのAIテストは、短いパラグラフに基づいた短くて単純なクイズのようなものです。それらは、AIが「現実の医療マラソン」をこなせるかどうか、つまり、答えが3年前の会話の中に埋もれているようなケースや、答えが出ない時に潔く認めることができるかどうかをテストしていません。

そこで、MedLoCoMoと呼ばれる新しい研究が登場しました。研究者たちは、AIが患者ケアの複雑で長期的な現実を扱えるかどうかを検証するために特別に設計された、非常に困難で挑戦的なテストを構築しました。彼らは単にAIに短いメモを読ませたのではありません。各患者に対して、数十回の入院記録をカバーする、74,000語の小説に相当するデータを読み込ませたのです。結果は、ある種の現実を突きつけるものでした。AIモデルは単一の受診に関する質問には優れていましたが、異なる受診間の点と点を結びつける際には大幅に苦戦しました。最も賢いモデルであっても、医学的な特別訓練を受けているモデルであっても、「新しい謎」を解くために必要な「古い手がかり」を思い出すことは困難でした。この研究は、単にAIをより賢くしたり、記憶容量を大きくしたりするだけでは不十分であることを示唆しています。AIは、詳細の中に迷い込むことなく、患者の過去と現在を真に結びつける方法をまだ学ぶ必要があるのです。

MedLoCoMoの物語：医学的記憶のテスト

患者の病歴を、単一の日記としてではなく、巨大なマルチシーズン形式のテレビ番組として考えてみてください。患者が病院へ行くたびに、新しい「シーズン」が始まります。そこには新しいエピソード（診察）、プロットの急展開（診断）、そしてキャラクターの変化（健康状態の変化）が含まれています。現在のエピソードを理解するためには、シーズン1、シーズン3、あるいはシーズン5に何が起きたかを覚えておく必要があることがよくあります。

MedLoCoMo（Medical Long-Context Memoryの略）の開発に携わった研究者たちは、AIがこれらの「医学的テレビ番組」の究極の「熱狂的なファン」になれるかどうかを知りたいと考えました。彼らは、MIMIC-IVデータベースから得られた匿名化された実データを使用して、標準化されたテストであるベンチマークを構築しました。彼らは単にランダムなメモを集めたのではありません。100通りのユニークな患者のタイムラインを注意深く構築しました。各タイムラインは長い対話であり、平均して1,669.8ターン（やり取り）におよび、29.7セッション（入院）にわたって展開され、1つの会話につきなんと74,512.2トークン（テキストの塊）を含んでいます。ストーリーがあまりに長く、150,000トークンを超えるものもあります！

3種類のチャレンジ

テストを公平かつ徹底的なものにするため、研究者たちはビデオゲームのレベルのように、3種類の異なる質問を作成しました。

1. 「シングルシーズン」チャレンジ： これらは、たった一度の入院中に起きたことについての質問です。これは、「シーズン2のエピソード5で、医師は何と言いましたか？」と尋ねるようなものです。これは、AIが長い文書の中から特定の事実を見つけ出せるかどうかをテストします。
2. 「マルチシーズン」チャレンジ： これらは非常に難しいものです。複数の受診にわたって点と点を結ぶことをAIに求めます。例えば、「患者は2014年に心臓の問題があり、2016年には肺の問題がありました。これらは現在の息切れとどのように関連していますか？」といった具合です。これは、AIが過去を記憶し、それを現在と結びつけることができるかどうかをテストします。
3. 「ひっかけ問題」チャレンジ： 時として、答えがあるはずなのに、実際には医学的記録の中にその情報が含まれていないことがあります。これらは「敵対的」な質問です。優れたAIは、答えを捏造するのではなく、「わかりません」と言うべきです。これは「棄却（abstention）」と呼ばれます。

AIが得意だったこと（そして不得意だったこと）

研究者たちは、汎用モデル（GPT-5.1やQwenなど）や、医学データに特化したモデル（MedGemmaなど）を含む、多くの異なるAIモデルをテストしました。その結果は以下の通りです。

• 「ローカル」のエキスパート： 質問が単一の入院に関するものであった場合、AIはかなりうまく機能しました。彼らは物語の「現在のシーズン」の中から正しい事実を見つけ出すことができました。
• 「長期的な記憶」の苦戦： 質問が複数の受診をまたいで情報を結びつける必要があった途端、AIのパフォーマンスは著しく低下しました。最大級の最も賢いモデルであっても、過去と現在をリンクさせることに苦労しました。それはまるで、AIが現在のエピソードのあらすじは覚えていても、番組全体のバックストーリーを忘れてしまっているかのようでした。
• 専門化は救済にならなかった： 医学教科書に基づいて特別に訓練されたモデルであれば、より優れているだろうと予想されるかもしれません。驚いたことに、医学特化型モデルは汎用モデルを一貫して上回ることはありませんでした。彼らもまた、長いタイムラインの中で迷子になる可能性が同様に高かったのです。
• 「わかりません」の要素： 一部のモデルは、記録に答えがない場合に「わかりません」と言うことに非常に長けていました。これは良いことです！しかし、研究者たちは、モデルがすべての質問に対して「わかりません」と答えることで高いスコアを得られる可能性があることも指摘しました。つまり、実際に答えられるはずの質問に対しても答えられないまま、単に回答を避けている可能性があります。そのため、彼らは「わからない」と言う割合と、実際の回答の質のの両方を調査しました。

記憶の実験

ストーリーがあまりに長いため、研究者たちはAIに「外部メモリ」（ノートに書き込み、後で見返すようなもの）を与えることが助けになるかどうかをテストしました。彼らは、単純な検索エンジン（BM25）や、より複雑なメモリシステムなど、さまざまなメモリツールを試しました。

結果はまちまちでした。メモリツールは、答えが欠落している場合に、AIがより正確に「わかりません」と言えるよう助けとなりました。しかし、それらは異なる入院間の点と点を結びつけるという問題を魔法のように解決することはありませんでした。結局のところ、より大きなメモリやより優れた検索ツールを持っていることは、時間を超えて「推論」する能力を持っていることと同じではないのです。AIは依然として、どの古い手がかりが新しい問題にとって重要なのかを判断することに苦労していました。

まとめ

MedLoCoMoの研究は、AIが長いテキストを読むことは得意になりつつあるものの、患者の人生の物語を真に理解する医師のように振る舞うには、まだ長い道のりがあることを示唆しています。それは単に、より大きな脳やより長い記憶を持つことではありません。患者の履歴を一つの首尾一貫した物語へと編み上げる方法を学ぶことなのです。

研究者たちは、これが研究のためのテストであり、現時点では実生活の医学的助言のためのツールではないことを明確にしています。会話や質問は、実際の医療記録に基づいてAIによって作成された合成的なものです。目的は、医師が複雑な患者の履歴を逃すことなく追跡できるよう、将来的に医師を支援するより良いシステムを構築するための手助けをすることです。今のところ、AIは一章を読み上げることはできるものの、本一冊を書き上げる方法をまだ学んでいる最中の、非常に賢い学生のような存在です。