Augmentation-induced sibling leakage in small-data surface imaging: measurement and a reporting protocol

顕微鏡イメージングの世界において、科学者たちはしばしばデータの不足という問題に直面します。彼らは、金属表面の微細な欠陥や結晶上の個々の原子をコンピュータに認識させる方法を教えなければなりませんが、そのためには十分な画像がありません。一度のスキャンには数時間を要することもあり、研究者が特定の欠陥に関する高品質な画像をたかだか十数枚しか取得できないこともあります。この不足を克服するために、研究者は「データ拡張（データ・オーグメンテーション）」と呼ばれる標準的な手法を用います。彼らはこれら数少ない元の画像を取り、数学的に回転させたり、反転させたり、明るさを変えたり、わずかにぼかしたりすることで、数百、あるいは数千もの新しい学習例を作り出します。それは、一本の木の写真を撮り、その木の少しずつ異なるバージョンを森全体のように作り出すことで、学生に木とはどのようなものかを教えるようなものです。

この学習の目的は、未知の新しい画像を見たときに、欠陥を正しく識別できるモデルを構築することです。モデルが機能することを証明するために、科学者たちはデータを「学習用」と「テスト用」の2つのグループに分けます。モデルは最初のグループから学び、その後、2番目のグループで成績を判定されます。もしモデルが高いスコアを獲得すれば、それは賢く、実用に向けて準備ができていると見なされます。しかし、決定的な疑問が残ります。モデルは本当に「欠陥」という概念を理解しているのか、それとも単に示された特定の画像を暗記しただけなのか、という点です。この違いこそが、真の学習と単なる認識の違いなのです。

ハービン工業大学の張シャオシュアン（Shaoxian Zhang）による最近の研究は、このプロセスにおいてしばしば行われている隠れた欠陥を調査しています。研究者は、科学者が数少ない元の画像から数千の学習用画像を作成する際、学習用グループとテスト用グループの分け方において、頻繁に間違いを犯していることを発見しました。元のソース画像を別々に保つ代わりに、すべての「ねじられた（加工された）」バージョンを混ぜ合わせ、その後でランダムに配分してしまうのです。つまり、テストに使用される画像が、学習中にモデルが見た画像の、わずかに回転したり明るさが変わったりしたコピーである可能性があるということです。これでは、モデルは新しい状況への汎化能力をテストされているのではなく、既に見ているものの「酷似した複製」を認識する能力をテストされていることになります。この研究は、この間違いがいかに報告される成功率を膨らませてしまうかを正確に測定し、報告基準を修正するための簡単な方法を提案しています。

この問題の大きさを測定するために、研究者は2種類の異なる顕微鏡データを用いた制御実験を設定しました。一つのデータセットは鋼鉄表面の欠陥画像であり、もう一つは走査型トンネル顕微鏡によって捉えられた結晶の点欠陥の画像です。どちらの場合も、研究者は「取得（アクイジション）」と呼ばれる少数の元の画像からスタートしました。各元の画像に対して、標準的なコンピュータの手法を用いて80種類のバリエーションを生成しました。そして、これら一連の画像に対して2つの異なる分割方法を作成しました。第一の方法は、多くの現在の論文で行われているもので、すべての元の画像からのバリエーションをすべて集めて大きなバケツに入れ、そこからランダムに学習用とテスト用を選び出すというものです。第二の方法はより厳格なもので、元の画像を別々に保持しました。つまり、テスト用に一つの完全な元の画像を確保し、残りの元の画像から得られたバリエーションのみを学習に使用したのです。これにより、モデルがテスト用の画像の内容を事前に見たことがない状態を確実にしました。

結果は、これら2つの方法の間に巨大な隔たりがあることを示しました。ランダム混合法を用いてモデルを学習・テストした場合、モデルはほぼ完璧なスコアを達成しました。鋼鉄表面のデータセットにおいて、モデルはスコア1.000に達しました。これは、モデルが見つけるべきすべての欠陥を見つけ出したことを意味します。しかし、同じモデルを、元のソースを別々に保つ厳格な方法でテストしたとき、スコアは劇的に低下しました。データ予算が最も小さい場合（欠陥の種類ごとに元の画像が2枚しかない場合）、ランダム法はモデルの性能を、1.0を完璧とする尺度において0.5ポイント以上も過大評価していました。元の画像の数を10枚に増やした場合でも、ランダム法は依然として大幅に性能を過大評価していました。モデルは学習に失敗していたのではなく、すでに学習したもののコピーを認識することに成功しすぎていたのです。

また、この膨張はすべての種類の欠陥に対して一様に起こるわけではないことも明らかになりました。質感だけで認識しやすい欠陥については、テスト方法に関わらずモデルは良好なパフォーマンスを示しました。しかし、元のスキャンの特定の見た目に依存する欠陥については、ランダム法はモデルを天才のように見せかけましたが、厳格な方法ではモデルが苦戦していることが露呈しました。これは、これらの研究における高いスコアが、モデルが一般的な欠陥を見つける方法を学んだのではなく、むしろ訓練された少数の画像の特有のアーティファクト（人工的な特徴）を認識する方法を学んだことを意味している可能性を示唆しています。元の画像が増えるにつれて、2つの方法の差はわずかに縮まりましたが、消失はしませんでした。10枚の元の画像があっても、ランダム法は厳格な方法よりも30ポイント高いスコアを出しており、問題が継続していることを示しています。

研究者はまた、モデルを訓練することなくこの問題を検出するためのシンプルなツールも開発しました。テストセット内の画像をトレーニングセット内の画像と比較することで、そのツールは、テスト画像の中にトレーニングセット内の「兄弟（シブリング）」が存在するかどうかを計算できます。「兄弟」とは、単に同じ元の画像から作られたバリエーションのことです。もし多くのテスト画像がトレーニングセット内に兄弟を持っているならば、それは評価に欠陥がある明確な兆候です。このチェックは数秒で実行でき、特別なハードウェアも必要ありません。研究の結果、欠陥のあるランダム分割では、ほぼすべてのテスト画像がトレーニングセット内に兄弟を持っていましたが、厳格な分割では兄弟は存在しませんでした。

これらの知見に基づき、論文は研究者が成果を報告する方法に関する新しい標準を提案しています。著者は単に何枚の画像を使用したと言うだけでなく、最初にいくつの独立した元の「取得（アクアジション）」から始めたのかを報告すべきです。また、データが画像を「ねじる（加工する）」前に行ったのか後に行ったのかを明確に述べるべきです。さらに、分割の単位（個々の画像によるものか、元のソースによるものか）を指定すべきです。最後に、テスト画像の中にトレーニングセット内の兄弟がいくつあるかを示すシンプルなチェックを含めるべきです。これら4つの情報は提供が容易であり、小規模データ研究の限界を隠すのではなく、可視化するものとなります。

本研究は、研究者がわずかな元のスキャンしか持たないことが多い小規模データイメージングの分野において、現在のモデル評価の方法は誤解を招くものであると結論付けています。多くの論文で報告されている高いスコアは、新しい未知の状況で見つかる欠陥を見つける能力ではなく、トレーニングデータのコピーを認識する能力を記述していることが多いのです。これらのコンピュータシステムがオフライン分析から実際の実験の制御へと移行するにつれ、これらの膨らんだスコアに頼ることは、誤った判断につながる可能性があります。解決策は、必ずしも新しいアルゴリズムやより強力なコンピュータではなく、データの扱い方と報告の仕方の変化にあります。元のソースを別々に保ち、プロセスに対して透明性を確保することで、科学コミュニラティは、構築されたモデルが真に現実世界に通用するものであることを保証できるのです。