Depth-wise super-resolution of a serial-sectioned low-carbon steel microstructure by a generative adversarial network trained on in-plane images

鋼鉄の内なる生命を理解するためには、科学者は平坦な表面の先を見なければなりません。金属は均一なブロックではなく、材料が冷却され硬化する過程で形成される、微細な結晶、結晶粒、そして相（フェーズ）が織りなす複雑な景観なのです。これらの微視的な構造が、橋梁の梁が耐えられるか、あるいは車の部品が折れてしまうかを決定します。数十年にわたり、研究者たちは材料を薄くスライスし、その平坦な面を顕微鏡で観察することで、これらの材料を研究してきました。この二次元的な視点は有用ですが、それはまるで、一枚の葉を見ることで森全体を理解しようとするようなものです。材料がどのように振る舞うかを真に把握するには、科学者は結晶粒の三次元的な構造と、それらが片側からもう片側へとどのように繋がっているかを知る必要があります。

これらの3D画像を生成するには、通常、「連続切片作成（serial sectioning）」と呼ばれる骨の折れるプロセスが必要となります。金属のブロックを数百の薄い層にスライスし、各層を撮影します。これらの写真を積み重ねることで、デジタル3Dモデルが形成されます。しかし、そこには落とし穴があります。カメラは各切片の平坦な表面を驚異的な鮮明さで捉えますが、切片間の距離は、切片自体の厚さよりもはるかに大きいことがよくあります。これにより、横方向には鮮明であるものの、垂直方向（高さ方向）にはぼやけて塊状になったデジタル画像が生成されます。それはまるで、風景の高精細な写真を持っているのに、垂直方向の奥行きだけが引き伸ばされて不鮮明になり、特徴的な形状がどのように真に繋がっているのかが見えなくなっているような状態です。

韓国科学기술研究院（KIMS）と東京大学の研究チームは、より多くの写真を撮ったり、より優れた顕微鏡を開発したりすることなく、この「ぼけ」を修正する方法を見出しました。彼らは、画像の奥行きにある欠落した詳細を補完するために、人工知能を用いた手法を開発しました。コンピュータに他の鋼鉄の画像のライブラリに基づいて推測させるのではなく、彼らはその鋼鉄のサンプル自体を用いて学習させたのです。このシステムは、鋼鉄の表面のパターンを学習し、その知識を用いてぼやけた奥行きを再構成することで、不鮮明で塊状だった3Dモデルを、金属の真の構造を示す鮮明で連続的なビューへと変貌させました。

研究者たちは、建設や製造において一般的に使用される材料である低炭素鋼のサンプルから実験を開始しました。彼らは、サンプルを1400度まで加熱した後、特定の速度で冷却することで、フェライト、パーライト、ベイナイトという、鋼鉄に強度を与える異なる種類の結晶構造の混合物を作り出しました。自動化されたプロセスを用いて、彼らは鋼鉄を層状にスライスし、各表面を光学顕微鏡で撮影しました。これにより、完璧な高解像度の3Dマップが作成され、それが実験における「正解（真実）」となりました。

奥行きのぼけをシミュレートするために、研究者たちはこの完璧な3Dマップから、人工的にほとんどの層を取り除きました。2枚に1枚、あるいは3枚に1枚、あるいは4枚に1枚の切片のみを残すことで、データに大きな空白を作りました。これにより、垂直方向が引き伸ばされ、詳細が失われた低解像度の3D画像が生成されました。この状態では、フェライトの細長い板状構造やパーライトの暗い帯は、バラバラの塊として現れたり、完全に塗りつぶされたりしてしまい、微細構造が材料内をどのように流れているのかを把握することが困難になります。

チームは、敵対的生成ネットワーク（GAN）の一種、特に「ESRGAN」と呼ばれる改良版の人工知能に目を向けました。このシステムは、生徒と教師のような仕組みで機能します。「生徒」となるネットワークが欠落した層がどのようになるべきかを推測しようとし、「教師」となるネットワークがその推測が現実的かどうかをチェックします。これらを訓練するために、研究者たちは何千もの異なる鋼鉄サンプルのデータベースを使用するのではなく、手元にある単一の鋼鉄サンプルを使用しました。彼らは、鋼鉄の表面の鮮明な画像と、ぼやけた画像のペアを作成しました。ネットワークは、鋼鉄の結晶粒の特定のパターンと、それらが鮮明な場合とぼやけている場合でどのように見えるかを学習したのです。

ネットワークの訓練が終わると、研究者たちはこれを、奥行きが引き伸ばされてぼやけた画像に適用しました。目標は、コンピュータが平坦な表面から学んだ知識を用いて、欠落した垂直方向の詳細を再構成できるかどうかを確認することでした。彼らは、結果を元の完璧な3Dマップ、および、既知の切片間のピクセルを単純に平均化する標準的な数学的補間法などの他の手法と比較しました。

結果には明確な差が現れました。標準的な数学的手法は、画像は滑らかになるものの、微細な詳細は失われたままでした。異なる結晶相の境界はぼやけたままであり、鋼鉄の細長い構造は断絶したり途切れたりしているように見えました。旧バージョンの人工知能はより優れた性能を示しましたが、それでも不自然なテクスチャが生じていました。しかし、新しいESRGAN法は、微細な詳細を見事に復元しました。それは、フェライトの細長い板や繊細なパーライトの帯を、元の高解像度マップに極めて近い鮮明さで再構成しました。ネットワークは、データが欠落している領域であっても、微細構造の連続的な流れを捉えることができたのです。

研究者たちは、この手法を異なる難易度でテストしました。欠落したデータが中程度の場合、ネットワークは非常に優れた性能を発揮しました。データが極端に乏しく、4枚に1枚の切片しか残っていない場合でも、ネットワークは微細構造の特徴の一般的な形状と繋がりを回収することに成功し、他のすべての手法を凌駕しました。彼らは、再構成された画像が構造やピクセルの正確性の点で元の画像とどの程度一致しているかを統計的なツールを用いて測定しました。人工知能は一貫して最も高い一致を示し、結晶粒の真の形状と、異なる相の正しい比率を保持していました。

このアプローチは、高価な新しい装置や膨大な学習データのライブラリを必要とせずに、材料科学における大きなボトルネックを解決するという点で重要です。コンピュータに、今見ている特定の材料を理解させることで、研究者は低品質で異方性のある3D画像を、高品質で等方的なものに変えることができます。これは、科学者が鋼鉄やその他の金属の真の三次元的な性質をより高い精度で観察できることを意味し、これらの材料がどのように構築され、ストレス下でどのように機能するかをより深く理解することを可能にします。この研究は、適切な訓練さえあれば、人工知能が物理的な観察の隙間を埋め、私たちの世界を支えている材料の隠された構造を明らかにできることを示しています。