Can it be checked? A cross-sectional meta-research audit of access to, and reporting in, machine learning studies of pharmaceutical manufacturing and quality control
この横断的なメタ研究監査によれば、医薬品製造に関する機械学習の研究のうち、購読なしでアクセス可能なものは約3分の1に過ぎない一方で、アクセス可能な論文のうち、結果の独立した検証を可能にするために必要な公開データ、コード、およびホールドアウト評価の組み合わせを備えているものは、わずか1.1%である。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。 免責事項の全文を読む
現代の医薬品を製造する工場では、現在、機械は単に混ぜたり瓶詰めしたりする以上のことを行っています。機械は観察し、測定し、予測します。機械学習と呼ばれる一種のコンピュータ・インテリジェンスを用いることで、これらのシステムは写真から欠陥のある錠剤を見つけたり、薬がどのように溶けるかを予測したり、あるいは生細胞が成長する巨大なタンク内の繊細な条件を監視したりすることができます。この技術は、すべての錠剤や注射剤が安全で効果的であることを保証するための標準的なツールとなっています。しかし、これらのスマートなシステムが、それらを規制する人々や処方する医師たちから信頼されるためには、そのシステムを構築する科学者たちが自らの仕事を証明できなければなりません。シェフが料理のレシピと材料を示すことなく「この料理は美味しい」と主張できないのと同様に、科学者も、コンピュータ・モデルが機能していると主張するためには、それが学習したデータ、それを実行するコード、そして未知の新しい例に対して機能するという証拠を示さなければなりません。
ある新しい研究は、シンプルかつ極めて重要な問いを投げかけています。科学者が医薬品製造に関するこれらの機械学習の研究を発表する際、研究室の外にいる誰もが実際にその成果を検証できるのだろうか？という問いです。研究者は、ファニ・クマール・バラガムという名の独立した学者であり、2019年から2025年までのこの分野の発表記録を監査することを目的としました。彼らは二つのことを知りたかったのです。第一に、特別な図書購読権を持たない一般の人でも、論文の全文を読むことができるのか？ 第二に、もし読めるとしても、その論文には実験を再現し結果を検証するために必要な具体的な詳細が含まれているのか？ 研究の結果、答えは、ほとんどの論文において、両方の質問に対する答えは「ノー」であるというものでした。
調査を行うため、研究者は5つの主要な科学データベースを検索し、人間の薬の製造やテストに機械学習を使用していることを記述した数千もの論文を探しました。レビュー論文、プレプリント、および基準に適合しない研究を除外した後、研究対象となる553報の論文が残りました。最初の障壁はアクセスでした。研究は、各論文が公衆に対して無料で公開されているかどうかを確認しました。553報のうち、購読なしで読めるのはわずか186報、つまり約3分の1でした。残りはペイウォールの背後に隠されているか、あるいは取得できない状態にありました。これらの中にはオープンアクセスと表示されているものもありましたが、多くの場合、ダウンロードをブロックする自動セキュリティチェックのような技術的な障壁が原因でした。これは、この分野の論文の3報に2報において、好奇心旺盛な読者が全文を見ることすらできないことを意味しています。
次に、研究者は閲覧可能な186報の論文に焦点を当てました。彼らは、結果を検証するために不可なる4つの「材料」が報告されているかを精査しました。それは、生のデータ、コンピュータ・コード、データがトレーニング用とテスト用のグループにどのように分割されたかの明確な説明、そしてモデルが一度も見なかったデータに基づく最終的なパフォーマンス・スコアです。この最後の部分は極めて重要です。これがないと、モデルはルールを学習しているのではなく、単に答えを暗記しているだけである可能性があるからです。研究によれば、ほぼすべての論文がデータの分割方法については言及していましたが、実際のデータやコードを共有しているものは極めて少数でした。データを公開していたのは約4分の1であり、コードを公開していたのは約10分の1に過ぎませんでした。
状況は、「完全なパッケージ」を探す際にはさらに悪化しました。研究では、データ、コード、分割、そして最終的なテスト結果のすべてを一度に共有している論文を「検証可能（checkable）」な論文と定義しました。186報の閲覧可能な論文のうち、この基準を満たしたのはわずか2報でした。それはわずか1パーセント強です。言い換えれば、この分野で発表された研究のほとんどは、独立した人物が分析を再実行し、見出しとなっている数字を確認するために必要な情報を提供していません。研究者は、この透明性の欠如はデータ自体の性質によるものではないと指摘しました。データが大規模な工業工場からではなく、小さな実験室の実験から得られたものであっても、共有されることは稀でした。同様に、共有されたコードの欠如も、コードが秘密であったからではなく、単に提供されなかったためでした。
また、研究は、これらの問題が時間の経過とともに改善されているのか、あるいは論文が掲載されたジャーナルの種類によって異なるのかについても調査しました。結果は、データの共有率やコードの共有率が年を追うごとに大幅に改善されている様子はなく、報告の質も科学ジャーナルの種類を問わず同様であったことを示しました。研究者は、論文を読み取りスコアを付けるために、人工知能の一種である大規模言語モデルを使用しましたが、その手法は、モデルに同じ論文を2回チェックさせることで検証を行いました。モデルは、自身の判断を裏付ける特定の文章を論文の中から見つけ出すことができ、情報の欠如が読者の誤解ではなく、報告における実在するギャップであることを証明しました。
結論は痛烈です。機械学習は医薬品製造において日常的なものになりつつありますが、発表された記録の多くは不透明です。論文の3分の1は公衆が読むことができず、読める論文であっても、結果を検証するために必要な詳細情報のセットをすべて含んでいるものはほとんどありません。研究者は、著者が何か新しいことや困難なことを行う必要はないと示唆しています。彼らは単に、すでに持っているデータとコードを共有し、どのデータが主要な結果を生み出したのかを明確に述べればよいのです。著者がすでに所有しているものを求めることで、科学界はこの「出版されたもの」と「検証可能なもの」との間の溝を埋め、私たちの薬を作るスマートな機械が、主張通りに信頼できるものであることを確実にすることができるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。