Between-study variance inflates apparent accuracy in literature-compiled machine learning models of sulphate resistance in SCM-blended cement

コンクリートは地球上で最も広く使用されている建築材料ですが、その製造は世界の炭素排出の主要な原因となっています。より環境に優しいものにするため、エンジニアはフライアッシュ、シリカフューム、あるいは籾殻灰のような農業廃棄物などの補完的な材料を混合することがよくあります。これらの添加物はセメントの一部を置き換えることで、炭素足跡を抑えつつ、多くの場合、化学的攻撃に対するコンクリートの耐性を向上させます。コンクリート構造物にとって最も破壊的な脅威の一つは硫酸塩攻撃であり、これは土壌、地下水、または海水から硫酸塩イオンが材料に浸透することで発生します。これらのイオンはセメントと反応して結晶を形成し、コンクリートの内部から膨張・亀裂を生じさせ、最終的には崩壊させてしまいます。このような過酷な条件下で特定の配合のコンクリートがどの程度長持ちするかを予測することは、安全性と持続可能性のために極めて重要ですが、従来の試験方法では時間がかかり、結果を得るまでに数年を要することもあります。

近年、科学者たちは予測を加速させるために機械学習を活用しています。コンピューターのアルゴリズムに過去の数百件の実験データを読み込ませることで、研究者たちは、硫酸塩に曝露された後の新しいコンクリート配合の強度がどの程度になるかを即座に推定できるモデルを作成したいと考えています。これらのモデルは高い精度を備えていると称賛されており、しばしばほぼ完璧な精度で結果を予測できると主張されています。しかし、新たな調査によれば、この称賛された精度は錯覚である可能性があることが示唆されています。この研究は、モデルがコンクリートの複雑な化学を実際に学習しているのではなく、単にデータを生成した特定の研究所を記憶しているだけであることを明らかにしました。真に新しい状況に直面したとき、これらのモデルは完全に失敗します。これは、エンジニアリングにおける人工知能の信頼性をどのように評価すべきかについて、深刻な疑問を投げかけています。

この研究の調査者たちは、3つの個別の査読済み学術論文からまとめられたデータセットを検証することに着手しました。これらの論文には、さまざまな補完材料を含むモルタル配合の圧縮強度（サンプルを押しつぶすのに必要な力）の測定値が含まれていました。データは、異なる種類の添加物、異なる置換レベル、および数日から1年以上にわたる硫酸塩溶液への曝露を網羅していました。合計で、チームは94の明確な観測値を収集しました。彼らは、業界標準である「ランダム分割」という手法を用いて、標準的な機械学習モデルをこの結合データに対して学習させました。この手法では、コンピューターがすべてのデータポイントをシャッフルし、20パーセントをテスト用に、残りの80パーセントを学習用に設定します。データは異なる研究から来たものであるため、このランダムなシャッフルによって、学習セットとテストセットの両方に元の3つのソースすべてからサンプルが含まれるようになりました。

研究者がこの標準的なランダム手法を用いてモデルを評価したとき、結果は目覚ましいものでした。モデルは、データの変動のほぼ97パーセントを説明できることを示すスコアを達成しました。このパフォーマンスレベルはまさに科学文献が報告している通りであり、モデルがコンクリートの成分とその耐久性の間の関係を習得したことを示唆しています。モデルは、シリカフュームのような特定の添加物が一般的にコンクリートを強くし、他の添加物は弱める可能性があるというルールを学習したように見えました。それは、化学的攻撃下でのコンクリートの挙動を支配する規則を、見事に解読したかのように見えました。

しかし、研究者たちはこの高いスコアが誤解を招くものであると疑っていました。彼らは、3つのソース研究のそれぞれが、独自のセメントの種類、異なる混合手順、異なる養生環境、そして決定的なことに、異なる濃度の硫酸塩溶液といった、独自の条件を使用していることを知っていました。現実の世界では、ある条件のデータで学習されたモデルは、全く新しい条件の結果を予測できなければなりません。これをテストするために、研究者たちは検証方法を変更しました。個々のデータポイントをランダムにシャッフルする代わりに、彼らは研究全体を丸ごと除外することにしました。彼らは2つの研究を用いてモデルを学習させ、その後、モデルが一度も見たことのない3番目の研究の結果を予測するように求めました。彼らはこのプロセスを、異なる研究を一つずつ残しながら3回繰り返しました。

より厳格なこのテストの結果は、完全な崩壊でした。モデルが学習していない研究のコンクリートの強度を予測しようとしたとき、その性能は急落しました。高いスコアが得られる代わりに、モデルは負のスコアを出し、これは単に平均強度を推測するよりもパフォーマンスが低いことを示す数学的な指標です。ある特定のケースでは、モデルは測定強度が6から21メガパスカルのコンクリートを予測しようとしていましたが、誤差は42メガパスカルにも達しました。これは、モデルが材料の実際の強度の2倍以上の値を予測したり、物理的に不可能な負の強度を予測したりしたことを意味します。モデルはコンクリートの物理学を学んだのではなく、データを生成した特定の研究所の「指紋」を認識することを学んでいたのです。

調査は、なぜこのようなことが起こったのかを理解するためにさらに深く掘り下げました。研究者たちはデータの全変動を分解し、強度の違いの96パーセントが材料内の違いではなく、研究間の違いによるものであることを発見しました。ある研究では特定の種類のセメントと低い硫酸塩濃度を使用しており、非常に弱いコンクリートとなりました。別の研究では異なるセメントと高い濃度を使用しており、非常に強いコンクリートとなりました。モデルはこれらの明確なパターンを繰り返し目にしたため、研究内の特定の配合を、その研究全体の強度レベルに関連付けることを学習しました。それは本質的に、「もしこのデータが研究Aのように見えるなら、強度は低くなる」と学習していたのであり、「もしこのコンクリートにシリカフュームが含まれているなら、強くなる」と学習していたのではありませんでした。

この混乱は、テストされた特定の添加物がしばらの研究に固有であることが多いという事実によってさらに悪化しました。11種類の補完材料のうち10種類は、3つの論文のうちの1つにしか登場しませんでした。その結果、モデルは強度の変化が材料によるものなのか、それとも研究によるものなのかを区別することができませんでした。2つの研究に共通して現れた唯一の材料についても、基礎となる条件（使用された硫酸塩塩の種類など）が異なっていたため、平均強度は大きく異なっていました。ランダムテストにおけるモデルの高い精度は、データの構造によるアーティファクト（人工的な産物）であり、真の予測能力を反映したものではありませんでした。それは、データのグループ化とテストの方法によって作り出された統計的な蜃気楼だったのです。

この調査結果は、機械学習が材料科学にどのように適用されているかについて、深い示唆を与えています。この研究は、複数のソースからデータを集める場合、データを学習用とテスト用にランダムに分割するという標準的な手法では不十分であることを示しています。その手法は、モデルが基礎となる科学を学ぶのではなく、ソース固有のパターンに依存することを許してしまいます。モデルが本当に有用であるかどうかを知るためには、「leave-one-source-out validation（一つのソースを除外した検証）」として知られる、完全に新しいソースのデータを用いてテストする必要があります。さらに、研究者は、データの変動の大部分が研究内の違いによるものなのか、それとも研究間の違いによるものなのかを報告しなければなりません。今回のケースのように、変動の大部分が研究自体に起因している場合、高い精度スコアはモデルの現実世界における耐久性の予測能力について何も教えてくれないのです。

究止的に、この研究は、あまりにも速く進みすぎている分野に対する必要な是正措置として機能しています。これは、機械学習がエンジニアがより良いコンクリートを設計するのを助けられないと示唆しているのではなく、私たちのモデルが実際に何を行っているのかについて、正直であらなければならないと主張しているのです。紙の上では完璧に見えても、新しい研究所に直面したときに失敗するモデルは、発見のためのツールではありません。それはデータの限界を反映したものに過ぎません。この分野が進歩するためには、コミュニティは、モデルが学習した特定の実験を超えて汎用性を持てることを証明することを求める、より厳格なテスト基準を採用しなければなりません。その時初めて、私たちはこれらのデジタルツールが、より持続可能で耐久性のある未来を築くための助けになると信頼できるのです。