SHIELD reduces information leakage in data splits through joint structural optimization

人工知能を科学的発見に活用しようとする競争の中で、研究者たちは、未知の材料、医薬品、化学反応の特性を予測することをコンピュータに教えようとしています。その目的は、単に測定済みの内容を暗記することではなく、根本的なルールを学習させることで、未知のものについても正しく推測できるようにすることです。コンピュータがこれらのルールを真に学習したかどうかをテストするために、科学者たちはデータを2つの山に分けます。一つはコンピュータの学習用、もう一つはテスト用です。もしテスト用の山が学習用の山と似すぎている場合、コンピュータは問題を解くのではなく、馴染みのあるパターンを認識することに頼ってしまいます。これは、宿題の問いを少し言い換えただけの問題でテストを受けている学生のようなものです。彼らは満点を取りますが、実際には主題を学習していません。数十年にわたり、データの分割における標準的な方法はすべてをランダムに混ぜ合わせることでしたが、これでは危険なほど似通ったペアが対極の側に残ってしまうことが多く、モデルが現実世界でどの程度うまく機能するかについて、誤った安心感を生み出してしまいます。

ハマド・ビン・ハリーファ大学の研究チームは、この問題を解決するために「SHIELD」と呼ばれる新しい手法を開発しました。データをランダムにシャッフルしたり、単一のルールを用いて分離したりする代わりに、SHIELDはデータの3つの異なる角度から同時に観察する高度なオーガナイザーとして機能します。それは、項目がどのように「家族（グループ）」としてまとめられているか、複雑な特徴の網の中でどのように互いに近く位置しているか、そして全体的な分布がどのように比較されるかを考慮します。その後、システムはこれらすべての関係を同時に尊重するようにデータを切り分け、テストセットが学習セットとは真に異なるものであることを保証します。研究者たちは、3Dプリンティングに使用される金属合金の研究から、量子化学における微小な分子の挙動に至るまで、8つの異なる科学的データセットを用いてこの手法をテストしました。その結果、SHIELDは既存の手法よりも一貫して厳格かつ現実的なテスト条件を作り出し、ランダムなテスト下では成功しているように見えた多くのモデルが、真に新しいデータに直面した際には失敗することを明らかにしました。

問題の核心は、科学的データの構造にあります。生物学や材料科学のような分野では、データポイントは決して独立していません。新しい薬の分子は古い分子のわずかな変異である可能性があり、あるいは金属合金は共通の履歴を持つ特定の材料のファミリーに属している可能性があります。コンピュータモデルがある分子のバージョンで学習し、それとほぼ同一のバージョンでテストされる場合、モデルは化学を理解する必要はなく、単に類似性を認識すればよいだけです。これは「情報の漏洩（information leakage）」と呼ばれ、楽観的な予測を導きます。研究者たちは、単純なクラスタリングやランダムな選択に依存することが多い標準的な手法が、しばしばこれらの隠れたつながりを断ち切ることに失敗することを示しました。例えば、金属部品を層状に構築するプロセスであるレーザー粉末床溶融法に関するデータセットでは、データをランダムに分割すると、学習セットとテストセットが混ざり合いすぎてしまい、コンピュータはプロセスの実際の物理学ではなく、使用された機械や合金のタイプに基づいて結果を簡単に推測できてしまう状態でした。

この問題を解決するために、SHIELDフレームワークは、漏洩を引き起こす3つの特定の種類の関係を扱うように設計されました。第一に、階層的な包含関係（hierarchical containment）を調べ、合金のファミリーやタンパク質のバリアントのセットといった関連するグループを同じ側にまとめて、もう一方の側へ漏洩しないようにします。第二に、特徴多様体（feature manifold）を検証します。これは、特性に基づいたデータポイント間の近さをマッピングする方法であり、マップ上の隣接する点が引き離されないようにするものです。第三に、分布（distribution）を管理し、テストセットの全体的な広がりが、既知の将来のシナリオと制御された一致を見せるか、あるいは全く未知のシナリオをシミュレートした意図的なズレを持つようにします。革新的な点は、SHIELDがこれらのルールを一つずつ順番に適用して前のステップの成果を台無しにするのではなく、これら3つを同時に最適化し、科学の自然な構造を壊すことなく分離の必要性を満たすバランスを見つけ出すことです。

チームはこの手法を幅広い科学分野にわたって検証しました。ガラス形成合金の研究において、既存の手法のいくつかはデータを効果的に分離できるものの、クラスのバランスを崩してしまうことがあり、誤解を招く結果につながることが分かりました。SHIELDは、難しいテスト環境を作り出しつつ、クラスのバランスを維持することに成功しました。量子化学の領域、すなわち小さな有機分子のエネルギー状態を予測することを目的とした分野では、この新手法は、コンピュータモデルに真の「外挿（extrapolation）」を強いるような形で学習セットとテストセットを分離することに成功しました。研究者がこれらの新しい分割を用いて標準的な機械学習モデルをテストした際、その結果は示唆に富むものでした。ランダムな分割で高い精度を示していたモデルが、精度が大幅に低下し、時には完全に失敗することが判明したのです。この性能低下はモデルが壊れたことを意味するのではなく、以前のテストが簡単すぎたことを示していました。新しい分割は、モデルが学習経験の範囲外にあるデータに対処できないという事実を露呈させたのです。

最も顕著な発見の一つは、添加製造（アディティブ・マニュファクチャリング）のデータセットから得られました。これには、6種類の異なる合金と45種類の異なるプリンターモデルを用いた、1,579回の金属部品の造形が含まれていました。研究者がSHIELDを使用して、学習データから合金のファミリー全体を保持（ホールドアウト）したとき、コンピュータモデルは非常に苦戦しました。他の分割では良好なパフォーマンスを示していたニューラルネットワークモデルが崩壊し、極めて不正確な予測を出したのです。これは、モデルがその特定のタイプの合金を一度も見たことがなく、単純なパターンマッチングに頼ることができなかったために起こりました。対照的に、特定のプリンターモデルを保持した場合、モデルはより良好なパフォーマンスを示しました。この非対称性は、重要な洞察を与えてくれました。すなわち、合金のファミリーはモデルが越えることのできない根本的な物理的障壁を代表していたのに対し、プリンターの識別子はそれほど重要ではない変数であったということです。SHIELDフレームワークは、これら2種類の課題を区別することができ、データのどの側面が真に予測困難であるかを理解する助けとなりました。

研究者たちはまた、この手法が「粗視化（coarsening）」と呼ばれる技術を用いることで、大規模なデータセットにも対応できることを示しました。非常に大規模なデータの集合に対して、すべてのポイント間の関係を計算することは計算量的に不可能です。SHIELDは、分割を行う前に、階層に基づいて関連する項目をより大きな「スーパーノード」へとグループ化することで、この問題を解決します。彼らのテストの一つでは、この手法によって問題のサイズを1,600倍以上に縮小しましたが、分割の質はすべてのデータポイントを個別に処理した場合と同じくらい厳格なままでした。このスケーラビリティにより、微細な漏洩を検出する能力を失うことなく、最大規模の科学的データセットにこの手法を適用できます。また、チームは「Discovery Normalized Squared Error」と呼ばれる、分割の難易度を測定する新しい指標を導入しました。この指標は、学習データからテストデータへと移行する際にエラーがどの程度増大するかを測定し、モデルが未知の事象に遭遇した際にどのように機能するかについて、より明確な展望を提供します。

本研究は、データの分割方法とは単なる技術的な詳細ではなく、問われている科学的な問いの根幹に関わるものであると結論付けています。もし分割によって情報が漏洩してしまうならば、そのベンチマークは間違ったものを測定していることになります。データの構造的関係を共同で最適化することにより、SHIELDは、モデルが新しい知識を発見する能力に対して、より誠実な評価を提供します。研究者たちは、これがすべての問題を解決する魔法の杖ではなく、何をテストしているのかについて科学者にさらなる厳密さを求めるためのツールであることを強調しています。研究結果は、現在科学文献で称賛されている多くのモデルが、自然の法則を学習しているのではなく、学習データの特異性に過学習（オーバーフィッティング）している可能性があることを示唆しています。科学データの真の構造を尊重する手法を用いることで、研究者は真の発見に向けた挑戦に備えることができるモデルを構築でき、コンピュータが新しい材料や新薬を予測するとき、それが単なる幸運な推測ではなく、真の理解に基づいていることを保証できるのです。