Premarket transparency and postmarket observability in FDA-authorized AI-enabled medical devices: a source-linked cross-sectional study

医療技術の世界を、新しい発明が出るたびに特別なIDカードが付与される、巨大で賑やかな図書館だと想像してみてください。長年、この図書館における最もエキサイティングな新刊は、「スマート」なコンピュータ、つまり医師が病気を特定したり、X線写真を読んだり、心拍数を監視したりするのを助けることができる人工知能（AI）によって書かれてきました。しかし、ここには厄解な点があります。本の表紙がキラキラと新しく輝いているからといって、その中に何が書かれているのか、あるいは、明かりを消して現実世界の混沌とした状況になった時に、その物語が本当に通用するものなのかどうか、私たちが正確に把握できるとは限らないのです。

これらの「AIドクター」が仕事ができる準備ができているかどうかを理解するには、2つの異なる側面を見る必要があります。第一に、「市販前（Premarket）」のチェックです。これは、著者が本を棚に並べる前に、厳しい司書（FDA：米国食品医薬品局）に宿題を見せるようなものです。私たちは知りたいのです。彼らはさまざまな種類の人々でテストしたのか？ さまざまな病院で試したのか？ 彼らの答えの背後にある数学的な根拠を示したのか？ 第二に、「市販後（Postmarket）」のチェックです。これは本が売られた後に起こることです。これは、図書館の「読者フィードバック」箱を見ることによく似ています。もし本に誤字があったり、分かりにくい章があったりした場合、人々は苦情を書き込みますか？ もし図書館に十分なフィードバック用紙がなかったり、用紙が欠けていたりすれば、その本がすべての人にとって安全であるかどうかを判断することはできません。大きな疑問はこうです。新しいAI医療機器は、自分たちの宿題を見せるのが上手くなってきているのでしょうか？ そして、実際に動き始めたとき、私たちはそのフィードバックフォームを実際に目にすることができるのでしょうか？

---

宿題のチェック：著者はプロセスを示しているか？

この研究において、研究者のオルガ・ラヴィンダ（Olga Lavinda）氏は、非常に徹底した司書の役割を演じることに決めました。彼女は、2011年から2026年3月までの間の1,491件の異なる決定事項が含まれる、FDAの公開リストを精査しました。彼女はデバイスが完璧かどうかをチェックしていたのではなく、単に公開されている要約（司書に渡された「宿題」）が、重要な事項を実際に述べているかどうかを確認していたのです。

彼女は、確認したい7つの主要項目を含む「成績表」を作成しました。

1. 実患者のデータを使用したことに言及しているか？
2. AIがどれほど上手く機能したかについて、少なくとも1つの明確なスコアを提示しているか？
3. 患者の属性（年齢や性別など）を記述しているか？
4. 複数の病院でAIをテストしたか？
5. AIがこれまで見たことのないデータに対してテストを行ったか？
6. さまざまな種類のスキャナーや装置を使用したか？
7. 特定のグループの人々に対してAIがどのように機能したかを示しているか？

結果は、良いニュースと「まだ取り組んでいる最中」というニュースが混ざり合ったものでした。初期の頃（2011〜2020年）は、これらのデバイスのうち、これら7つの項目のうち5つ以上をチェックしていたものは、わずか約16.5%でした。しかし、2024〜2026年に至るまでには、その数字は59.5%へと跳ね上がりました。それはまるで、著者たちが突然、物語の導入部をより詳細に書き始めたかのようです。彼らは「これを3つの病院でテストしました」とか「異なる年齢層の人々に対しても機能することを確認しました」といったことを述べる可能性がずっと高くなったのです。

しかし、改善が進まなかったことが一つあります。それは「プロスペクティブ研究（前向き研究）または読者研究」です。これは、もっと専門的な言い方をすれば、「患者が診察に来るリアルタイムの状況でテストしたのか、あるいは、AIの回答を医師のグループが見て同意するかどうかを確認したのか？」ということです。これは依然として稀なケースであり、全期間を通じて16〜18%程度で停滞していました。それは、著者たちが依然として、リアルタイムで行われる最終試験よりも、主に練習テストを見せている状態であることを示唆しています。

フィードバック・ボックス：次に何が起こるのか、見えるだろうか？

これらのデバイスが世に出た後、研究者は「市販後」の側面についても調査しました。彼女は、すべてのデバイスを公開されているフィードバック履歴、具体的にはMAUDEデータベース（医師や病院が問題を報告するシステム）に関連付けることを試みました。

ここでの物語は少し複雑になります。彼女がフィードバック記録に関連付けることができた1,477件のデバイスのうち、傾向を算出できるほどの十分な履歴を持っていたのは、わずか約54%でした。これは、新しいレストランを評価しようとする状況に似ています。もしレストランが先週オープンしたばかりなら、まだ十分に多くの人が食べてレビューを残していないため、その料理が良いか悪いかを判断することはできません。研究によると、最新のデバイス（2024〜2026年）では、分析可能な十分な公開フィードバック履歴を持っていたのは約45%でした。一方、古いデバイス（2011〜2020年）では、その数字は71.7%と高くなっていました。

研究者はまた、「リコール（製品の回収）」についても調査しました。彼女は、過去2年間にその製品カテゴリーのどこかにリコール通知があったデバイスが約47.7%であることを発見しました。しかし、彼女は、これが「その特定の」デバイスがリコールされたことを意味するのではないと、非常に慎重に述べています。それは、自動車のブランド全体に対して「タイヤを点検してください」という警告が出ているようなものです。あなたの特定の車にパンクが生じていることを意味するのではなく、そのカテゴリーに問題があることを示しているのです。

総括

では、これらすべては何を意味しているのでしょうか？ この研究は、AI医療機器に関する公開された「宿題」が、より完全なものになりつつあることを示唆しています。製造業者は、自分たちのツールをどこでテストし、誰に対してテストしたのかを伝えることが上手くなってきています。しかし、「最終試験」、つまり発生しているリアルタイムの患者に対してテストを行うことは、依然として稀なことです。

さらに、宿題の内容は充実してきているものの、最新のデバイスに関する「フィードバック・ボックス」は、レビューを集めるための時間がまだ経過していないために、しばしば空の状態になっています。研究者は、要約が詳細であるからといってそのデバイスが完璧であるとは限らず、また、公開フィードバック・ボックスにまだ問題が見当たらないからといって、問題が存在しないわけではない――単に、判断するには時期尚早である可能性がある――という点を強調しています。

要するに、図書館は本の整理や、より明確な要約を書くことは上手くなってきていますが、誰もが実際に読み始めるまで、その物語が本当に通用するかどうかを知るには、もう少し待つ必要があるのです。