🔬 materials science

Overcoming Labelled Data Scarcity for Defect Classification in Scanning Tunneling Microscopy

本論文は、ラベル付きデータの不足を克服するために、少数の学習データを用いた学習（few-shot learning）と教師なし学習を組み合わせた、走査型トンネル顕微鏡（STM）画像のセグメンテーションのための自動化された柔軟な手法を提案しており、最小限の手動アノテーションで多様な表面における高精度な欠陥分類を可能にするものである。

原著者： Nikola L. Kolev, Max Trouton, Filippo Federici Canova, Geoff Thornton, David Z. Gao, Neil J. Curson, Taylor J. Z. Stock

公開日 2026-06-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Nikola L. Kolev, Max Trouton, Filippo Federici Canova, Geoff Thornton, David Z. Gao, Neil J. Curson, Taylor J. Z. Stock

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に小さく光沢のあるタイルで完璧に敷き詰められた、広大な床の写真を眺めているところだと想像してください。これが**走査型トンネル顕微鏡（STM）**が行っていることです。STMは、表面を原子レベルまで拡大して撮影し、原子が小さな隆起やへこみのように見える画像を作成します。

科学者たちは、これらの画像を用いて、原子がどのように結合するか、あるいは新しい分子がどのように表面に付着するかを研究しています。しかし、問題があります。これらの画像の中から特定の「欠陥」（例えば、タイルの欠けや、奇妙な形の隆起など）を見つけ出し、ラベルを付けることは、まるで「干し草の山の中から針を探す」ような作業なのです。これを手作業で行うのは、時間がかかり、退屈であり、何千枚もの画像を凝視し続ける専門家を必要とします。

本論文では、このラベル付け作業を代行してくれる新しい**「自動化されたスマート・アシスタント」**を紹介しています。しかも、このアシスタントにはある「超能力」があります。それは、何千もの例を与えられなくても、わずかな例から学習できるという点です。

このシステムの仕組みを、簡単なステップに分けて説明します。

1. 問題点：「干し草の山の中の針」

従来、コンピュータにこれらの原子欠陥を見つけさせるには、科学者がまず何千枚もの画像を事前に手作業でラベル付けしなければなりませんでした。これは、特定のボールを投げたら取ってくるように犬に教えるために、そのボールを3,000回も見せるようなものです。もし科学者が「新しい種類のボール（新しい材料）」を研究したいと思ったら、またゼロから数千の新しい例を使ってトレーニングをやり直さなければなりません。これは現実世界の科学においては、あまりにも時間がかかりすぎます。

2. 解決策：「少数の例で学ぶ（Few-Shot）」名探偵

著者らは、**Few-Shot Learning（FSL：少数の例による学習）**を用いたシステムを構築しました。これは、探偵に特定の容疑者（欠陥）の写真を一枚見せて、「群衆の中から同じ人物を見つけ出してください」と頼むようなものです。探偵は、その容疑者を3,000回見る必要はありません。一度か二度見れば、その人の特徴を捉えて認識することができます。

このシステムは、工場の組立ラインのように連携して動く、主に3つのパーツで構成されています。

ステップA：「ラフスケッチ」の絵描き（教師なし学習）

まず、システムは欠陥がおおよそ「どこ」にあるのかを知る必要があります。ここでは**教師なし学習（Unsupervised Learning）**という手法を用います。

比喩： 散らかった部屋の白黒写真があると想像してください。コンピュータに対して「椅子」や「おもちゃ」が何であるかを教えるわけではありません。代わりに、似たような見た目のピクセル同士をグループ化するように指示します。するとコンピュータは、「これらの暗い部分は互いに関連しているようだ」「これらの明るい部分は別のものだ」といった判断を下します。
役割： これにより、面白いもの（欠陥）と、退屈な背景（完璧な原子格子）を分ける、大まかな「マップ（バイナリマスク）」を作成します。このステップでは、人間の介入はほとんど必要ありません。

ステップB：「切り抜き」マシン（クロッピング）

大まかなマップができたら、システムは画像の中から欠陥が含まれる小さな正方形のピースを切り出します。

比喩： 虫眼鏡を使って、床にある隆起を見つけ、その部分だけを写真から切り取って、より詳しく観察するようなものです。

ステップC：「エキスパート分類器」（Few-Shot Learning）

ここが魔法の部分です。人間である科学者が、切り出された正方形のいくつかをチェックし、「これは『ダブル・ダングリング・ボンド（タイプA）』で、これは『シロキサン（タイプB）』だ」と伝えます。

比喩： あなたはコンピュータに、それぞれのタイプの欠陥の例を1つ、あるいは3つだけ見せます。するとコンピュータは、数学的な「記憶」を用いて、他のすべての切り出しピースをあなたの例と比較します。そして、「この新しい正方形は、あなたの示した『タイプA』の例に似ているか、それとも『タイプB』の例に似ているか？」と問いかけるのです。
結果： そして、残りの画像を自動的に分類していきます。

3. 何をテストしたのか？

チームはこの「スマート・アシスタント」を、以下の3種類の異なる表面に対してテストしました。

シリコン (Si): 非常に一般的な材料。
ゲルマニウム (Ge): シリコンに似ているが、わずかに異なる。
二酸化チタン (TiO2): 見た目も性質も全く異なる材料。

彼らは、このシステムがシリコン上で学習した後、膨大な新しいトレーニングを受けることなく、即座にゲルマニウムや二酸化チタン上の欠陥を認識できるかどうかを確認しようとしました。

4. 結果

シリコンにおいて： 各欠陥の例をわずか3つ示しただけで、システムは**99%**という驚異的な精度で正解を出しました。
ゲルマニウムと二酸化チタンにおいて： 正解率は低下しましたが（それぞれ約62%と85%）、それでも単なる推測や、従来のより単純な手法よりはるかに優れた結果となりました。
「ワンショット（1例）」テスト： システムに欠陥の例を1つだけ見せた場合でも、生のピクセルのみを見る基本的なコンピュータプログラムよりも、優れた識別能力を発揮しました。

5. なぜこれが重要なのか（論文による解説）

柔軟性： もし科学者が表面上で奇妙な新しい分子を発見しても、何週間もかけてデータをラベル付けする必要はありません。コンピュータに数例を見せるだけで、すぐに適応できます。
「異常値」への対応： 画像の中に、どのカテゴリーにも当てはまらない奇妙なもの（巨大な傷など）が現れることがあります。このシステムでは、人間が「これは無視して」と指示できるため、統計を狂わせることがありません。古いシステムでは、その奇妙なものを無理やり間違ったカテゴリーに分類してしまいます。
スピード： 人間が何時間も凝視していた作業を、数秒で完了するプロセスへと変貌させます。

まとめ

この論文は、科学者が原子画像を分析するための新しいツールについて述べています。コンピュータに教えるための膨大なラベル付きのライブラリを必要とする代わりに、このツールは人間と同じように、わずかな例から学習します。「ラフスケッチ」を作る機能と「スマートな分類器」を組み合わせることで、さまざまな材料上の原子欠陥を自動的に見つけ出し、名前を付けることができ、新材料の発見プロセスをより迅速かつ効率的なものにします。

技術要約：走査型トンネル顕微鏡における欠陥分類のためのラベル付きデータ不足の克服

問題提起
走査型トンネル顕微鏡（STM）は、表面の物理学および化学を理解するために不可欠な原子分解能のイメージングを提供します。しかし、STMデータの定量的解析には、通常、一様な背景に対して原子スケールの特徴を特定し、ラベル付けする作業が必要であり、このプロセスは多大な労力と時間を要します。畳み込みニューラルネットワーク（CNN）などの教師あり機械学習（ML）アプローチは、このタスクの自動化において成功を収めていますが、これらは各材料系に特化した大規模な手動アノテーション済みデータセットに大きく依存しています。この依存関係がボトルネックを生み出しています。STMは新しい材料や実験に対して頻繁に適用されるため、新しい表面ごとに膨大なラベル付きデータを必要とすることは、MLの実用的な有用性を制限します。密度汎関数理論（DFT）による合成データ生成などの既存の代替手法は、計算コストが高く、しばしば専門家の介入を必要とします。また、他の教師なし学習手法は、厳密な性能指標や汎用性に欠ける場合があります。

手法
著者らは、最小限のラベル付きデータでSTMの欠陥をセグメンテーションおよび分類するための、教師なし学習とFew-Shot Learning (FSL) を組み合わせたハイブリッドかつ自動化されたワークフローを提案しています。このフレームワークは、5つのステップからなるパイプラインを通じて動作します：

データ取得と前処理： STM画像（充填状態および空状態）を取得し、平面補正、スキャンラインの整列、およびヒステリシスの補正を行います。
教師なし粗いセグメンテーション（モジュール1および2）： 初期のセグメンテーションステップにおける手動ラベル付けを回避するため、著者らは事前学習済みのFCNResNet101（ImageNetで学習）を利用して、ピクセルから特徴ベクトルを抽出します。これらのベクトルはk-meansクラスタリングを経て、「欠陥」と「格子」を区別するバイナリマップを生成します。この教師なし出力は、特定の基板に特化した軽量なU-Net（モジュール2）の学習に使用されます。U-Netは、より低速でGPU依存の教師なしステップに代わり、新しいスキャンに対してCPU上で数秒で粗いセグメンテーションを実行できます。
特徴量クロッピング： U-Netが欠陥の位置を特定し、それらは均一な画像クロップへと孤立させられ、ネットワークの次元に合わせてリサンプリングされます。
ユーザー定義サポートセット生成（モジュール3）： ユーザーは $N$ 個の特徴クラスを定義し、クロップされた画像から各クラスの少数の例（ $K$ 個）にラベルを付けます。これがサポートセットを形成します。ユーザーはこの段階で、異常な特徴を明示的に除外することも可能です。
FSL分類： 残りの未学習のクロップ（クエリセット）は、サポートセットを用いたFSLネットワークによって分類されます。ネットワークは画像を潜在ベクトル空間に埋め込み、特定の距離指標を用いてサポートベクトルへの近接性に基づいてクエリサンプルを分類します。

本研究では、4つの異なるFSLアルゴリズムである Prototypical Networks、Matching Networks、Relation Networks、および Simple Shot を評価しています。これらは、生のピクセルに対するベースラインであるk-近傍法（kNN）分類器と比較検証されます。実験では、汎用性をテストするために3つの異なる表面システムを利用しています：

Si(001)： 既知の基板および新しい吸着体（AsH3）に関する初期学習とテストに使用。
Ge(001)： 「新しい」基板としてテスト（Siデータのみで学習）。
TiO2(110)： 構造的に異なる基板としてテスト（SiおよびGeデータのみで学習）。

主な結果
著者らは、テストケース全体において以下の知見を報告しています：

セグメンテーション性能： 教師なしパイプラインによってラベル付けされたデータで学習されたU-Netは、3つの表面すべてにおいて90%以上の検証精度を達成しました。欠陥のみのセグメンテーションにおけるDiceスコア（DS）は、ゲルマニウムで最も高く（0.87）、シリコンで最も低かった（0.64）ものの、背景を含む総DSは高い水準（0.96–0.99）を維持しました。
FSL分類精度：
- Prototypical Networks は、他のニューラルネットワークベースの手法を一貫して上回りました。シリコンのデータセット（Si(001):H:AsH3）において、Prototypicalネットワークは 1-shot設定で93.6%、3-shot設定で98.9%の精度を達成しました。
- Simple Shot ネットワークも良好な性能を示し、特に基板固有のデータで学習した場合、パラメータ数がより少ないにもかかわらず、より大きなResNet18ベースのアプローチを上回ることがよくありました。
- Relation Networks は大幅に性能が低く（精度は約54–58%）、これは限定された学習データと学習された距離指標の複雑さによる過学習が原因であると考えられます。
- 汎用性： 特定の材料に関する事前の学習なしに未知の基板（GeおよびTiO2）に適用した場合、精度は低下しましたが（例：Geにおける1-shotで54.5%）、FSL手法は概して1-shotレジームにおいてkNNベースラインと同等またはそれを上回る性能を示しました。
アブレーション研究： 著者らは、ピクセル値を反転させることで「負の」欠陥タイプを作成し、学習クラスの数を人工的に増やすことで、分類精度が向上することを実証しました。例えば、Matching Networkをゲルマニウムのデータに適用した場合、逆クラスで拡張することで精度が12%向上しました。

意義と主張
本論文は、本研究がSTM画像の材料に依存しない自動セグメンテーションへの重要な一歩であると位置付けています。主要な貢献は、クラスあたりわずか1つまたは3つのラベル付きデータポイントがあれば、高精度な欠陥分類が可能であることを示したことであり、これにより大規模なアノテーション済みデータの障壁を取り除いています。

著者らは、自身のアプローチが従来の教師あり手法よりも高い柔軟性を提供すると主張しています：

適応性： システムは、初期学習の後、未知の表面に迅速に適応できます。
異常処理： 厳格な教師あり分類器とは異なり、このワークフローではユーザーがサポートセットから異常な特徴を明示的に除外できるため、統計を歪めることを防げます。これは一部の先行研究に欠けている機能です。
効率性： 大規模な事前学習済みモデルから知識をより小さなU-Netへと蒸留することで、ラボのワークフローに適した高速なCPUベースの処理を可能にします。

著者らは、完全に新しい材料（例：ゲルマニウムの1-shotにおける62%）に対する絶対的な精度については謙虚な姿勢を保っており、最終的な出版品質の解析には不十分である可能性を認めつつも、データ取得中の迅速かつ実行可能な洞察を提供するものであるとしています。彼らは、標準的なアーキテクチャを使用してベースラインを確立したが、今後のハイパーパラメータの最適化やアーキテクチャの洗練によって、性能をさらに向上させることができると結論付けています。