A Comparative Evaluation of Sample Selection Algorithms for Multivariate Calibration in Near-Infrared Spectroscopic Analysis of Pharmaceutical Formulations

あなたは、新しい種類の薬（パラセタモール）の完璧なレシピを作ろうとしているシェフだと想像してください。あなたは、さまざまなバッチから作られた58種類の異なる錠剤が入った巨大な瓶を持っています。そして、コンピュータに、これらの錠剤から跳ね返ってくる光を「味わう」方法（近赤外分光法）を教え、中にどれくらいの量の薬が含まれているかを正確に推測させたいと考えています。

大きな問題は、コンピュータに教えることではありません。どの錠剤を最初に見せるかという点です。

もし、コンピュータに教えるために、適当に手に取った錠剤を渡してしまうと、運が良すぎたり悪すぎたりする可能性があります。コンピュータが「簡単な」錠剤ばかりを見て、自分は天才だと思い込んでしまい、後で少し異なる新しい錠剤を見た時に無残に失敗してしまうかもしれません。これは、練習問題を5回解いて答えを暗記しただけで、根本的な概念を理解していないために、本番の試験で落第してしまう学生のようなものです。

この論文は、コンピュータに教えるための正しい錠剤の選び方として、どの手法が最適かを競う「料理コンテスト」です。

4人のコンテスタント（アルゴリズム）

研究者たちは、58個の錠剤を2つのグループ、つまりトレーニング・グループ（コンピュータに教えるためのもの）とテスト・グループ（コンピュータが本当に学習したかを確認するためのもの）に分割するための4つの戦略（アルゴリズム）をテストしました。

1. Kennard–Stone（ケナード・ストーン）: これは「宇宙探査家」です。すべての錠剤を見て、互いに最も異なるものを選び出し、トレーニング・グループが可能性の「マップ」全体をカバーするようにします。これにより、マップの隅々まで空白がないようにします。
2. Honigs（ホーニグス）: これは「探偵」です。一つずつ錠剤を選び、すでに選ばれたものと比較して、最もユニークに見えるものを常に選び出します。最も際立った手がかりを探しているのです。
3. Duplex（デュプレックス）: これは「バランスの取れたチームビルダー」です。トレーニング・チームとテスト・チームを同時に構築しようとし、両方のチームが等しく強く、多様であることを保証します。
4. Naes（ネース）: これは「クラブの代表者」です。見た目が似ているものに基づいて錠剤を「クラブ（クラスター）」にグループ化し、その各クラブから代表を一人ずつ選ぶことで、あらゆる種類の錠剤が確実に代表されるようにします。

（彼らはまた、「ランダム」というグループも含めています。これは、目を閉じて指をさして選ぶようなものです。）

結果：誰が勝ったのか？

研究者たちは、スマートなコンピュータモデル（ガウス過程回帰）を使用して、選ばれた錠剤のグループが、薬の含有量を予測するのにどれほど役立つかを調べました。

• 勝者: Kennard–Stone と Honigs が明確なチャンピオンでした。これらは最高の錠剤の組み合わせを選び出し、コンピュータがほぼ完璧な精度（99.999%の精度）で結果を予測することを可能にしました。
• 敗者: Duplex と Naes もコンピュータの教育には役立ちましたが、新しい錠剤でテストした際、コンピュータはより多くの間違いを犯しました。結局のところ、これらの手法はトレーニング用の錠剤が互いに似すぎていたため、コンピュータが「過信」してしまい、新しい変化に対応できなくなったのです。
• ランダムな選択: 予想通り、ただランダムに掴み取る方法は最悪の結果となりました。

大きな驚き: Kennard–Stone と Honigs はわずかに数値が異なっていましたが、厳格な統計テストの結果、両者は統計的に引き分けであることが示されました。両者はこの仕事において等しく優れています。

発見された2つの重要なルール

論文では、機械の他の2つの「つまみ（設定）」についてもテストしました。

1. トレーニングに使用する錠剤の数は？
   彼らは、全錠剤の60%から90%をトレーニングに使用することを試みました。彼らはシンプルなルールを見つけました。教えれば教えるほど、学習は向上するということです。90%の錠剤をトレーニングに使用することが最良の結果をもたらしました。しかし、ある一定の時点を超えると、錠剤を増やしてもそれ以上はあまり効果が得られない（収穫逓減）ことにも気づきました。

2. 「違い」をどう測定するか？
   アルゴリズムが錠剤を選ぶためには、2つの錠剤がどれほど違うかを測定する必要があります。彼らは2つの「定規」をテストしました。

   • ユークリッド距離: 標準的な定規（地図上の直線距離を測るようなもの）。
   • マハラノビス距離: 「スマートな」定規（光の波長が互いに関連していることを理解しているもの）。
   • 発見: 優勝した Kennard–Stone 法において、「スマートな」定規（マハラノビス）の方が優れた結果を示しました。それは、標準的な定規よりも、光の波の複雑な関係をより良く理解していました。

まとめ

この論文の主な教訓はシンプルです。トレーニング・データを単にランダムに選んではいけません。

もしあなたのコンピュータを錠剤の優れた医者にしたいのであれば、最初にどの例を見せるかについて賢明である必要があります。「宇宙探査家」（Kennard–Stone）の戦略を用いて、トレーニング・サンプルを慎重に選べば、ほぼ完璧な結果を得ることができます。

この論文は、コンピュータがトレーニング・データに対してどれほど上手く機能したかだけを見ていると、騙される可能性があると警告しています。コンピュータが単に答えを暗記しているのではなく、本当にレッスンを学んだのかを確認するために、常に未知の新しいデータでテストしなければなりません。

要約すると: 完璧な予測モデルを構築するには、「宇宙探査家」（Kennard–Stone）戦略を使ってトレーニング・サンプルを注意深く選び、そうすれば、ほぼ完璧な結果が得られるでしょう。