🔬 materials science

Overcoming Labelled Data Scarcity for Defect Classification in Scanning Tunneling Microscopy

본 논문은 레이블링된 데이터의 부족을 극복하기 위해 퓨샷(few-shot) 학습과 비지도 학습을 결합하여, 최소한의 수동 주석만으로도 다양한 표면에서 높은 정확도의 결함 분류를 가능하게 하는 자동화되고 유연한 주사 터널링 현미경(STM) 이미지 분할 접근 방식을 제안한다.

원저자: Nikola L. Kolev, Max Trouton, Filippo Federici Canova, Geoff Thornton, David Z. Gao, Neil J. Curson, Taylor J. Z. Stock

게시일 2026-06-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nikola L. Kolev, Max Trouton, Filippo Federici Canova, Geoff Thornton, David Z. Gao, Neil J. Curson, Taylor J. Z. Stock

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 작고 반짝이는 타일로 이루어진 거대하고 완벽하게 격자 무늬가 있는 바닥을 찍은 사진을 보고 있다고 상상해 보십시오. 이것이 바로 **주사 터널링 현미경(STM)**이 하는 일입니다. STM은 표면을 매우 확대하여 개별 원자를 볼 수 있게 해주는데, 이때 원자들은 작은 돌기나 홈처럼 보입니다.

과학자들은 이 이미지를 사용하여 원자들이 표면에 어떻게 달라붙는지, 또는 새로운 분자가 표면에 어떻게 내려앉는지 연구합니다. 하지만 한 가지 문제가 있습니다. 이미지에서 특정 "결함"(예를 들어, 빠진 타일이나 이상한 모양의 돌기)을 찾아내고 이름을 붙이는 것은 마치 건초더미에서 바늘 찾기와 같습니다. 사람이 직접 하는 것은 느리고 지루하며, 수천 장의 이미지를 뚫어지게 쳐다봐야 하는 전문가의 노력을 필요로 합니다.

이 논문은 당신을 대신해 이 라벨링 작업을 수행할 수 있는 새로운 **자동화된 "스마트 비서"**를 소개합니다. 이 비서에게는 특별한 초능력이 있는데, 바로 수천 개의 예시를 통한 학습 없이도 단 몇 개의 예시만으로 배울 수 있다는 점입니다.

이 시스템이 어떻게 작동하는지 간단한 단계별로 설명하겠습니다.

1. 문제점: "건초더미 속의 바늘"

전통적으로 컴퓨터에게 이러한 원자 결함을 식별하도록 가르치려면, 과학자들이 먼저 수천 장의 이미지를 수동으로 라벨링해야 했습니다. 이는 마치 강아지에게 특정 공을 가져오도록 가르치기 위해 그 공을 3,000번이나 보여주는 것과 같습니다. 만약 과학자가 새로운 종류의 공(새로운 물질)을 연구하고 싶다면, 수천 개의 새로운 예시와 함께 처음부터 다시 학습을 시작해야 합니다. 이는 실제 연구 현장에서 너무 느린 방식입니다.

2. 해결책: "퓨샷(Few-Shot)" 탐정

저자들은 **퓨샷 학습(Few-Shot Learning, FSL)**을 사용하는 시스템을 구축했습니다. 이것은 마치 탐정에게 특정 용의자(결함)의 사진을 보여주고 군중 속에서 그 사람을 찾아내라고 요청하는 것과 같습니다. 탐정은 그 용의자를 3,000번 볼 필요가 없습니다. 그저 한두 번만 봐도 핵심적인 특징을 파악하여 알아볼 수 있습니다.

이 시스템은 공장의 조립 라인처럼 함께 작동하는 세 가지 주요 부분으로 구성됩니다.

단계 A: "러프 스케치" 화가 (비지도 학습)

먼저, 시스템은 결함이 대략 어디에 위치해 있는지 알아야 합니다. 이를 위해 비지도 학습(Unsupervised Learning) 기법을 사용합니다.

비유: 지저분한 방의 흑백 사진이 있다고 가정해 봅시다. 당신은 컴퓨터에게 무엇이 "의자"인지 혹은 "장난감"인지 알려주지 않습니다. 대신, 비슷하게 생긴 픽셀들을 서로 그룹화하라고 요청합니다. 그러면 컴퓨터는 "이 어두운 점들은 서로 연관되어 보이고, 저 밝은 점들은 다른 무언가로 보인다"라고 말할 것입니다.
역할: 이 단계는 "흥미로운 것들"(결함)과 "지루한 배경"(완벽한 원자 격자)을 분리하는 러프한 "지도"(이진 마스크)를 생성합니다. 이 단계는 인간의 개입이 거의 필요하지 않습니다.

단계 B: "오려 붙이기" 기계 (크로핑/Cropping)

러프한 지도가 만들어지면, 시스템은 결함이 포함된 이미지의 작은 정사각형 조각들을 잘라냅니다.

비유: 돋보기를 들고 바닥의 돌출된 부분을 찾아낸 뒤, 그 부분을 더 자세히 보기 위해 사진의 해당 영역만 정사각형으로 오려내는 것과 같습니다.

단계 C: "전문 분류기" (퓨샷 학습)

이것이 바로 마법 같은 부분입니다. 인간 과학자가 이 잘려 나온 몇 개의 정사각형 조각을 보고 이렇게 말합니다. "이것은 '이중 댕글링 본드(Double Dangling Bond)'(유형 A)이고, 이것은 '실록산(Siloxane)'(유형 B)이다."

비유: 당신은 컴퓨터에게 각 결함 유형의 예시를 한 개 또는 세 개 정도 보여줍니다. 그러면 컴퓨터는 수학적 "기억"을 사용하여 모든 다른 조각들을 당신의 예시와 비교합니다. 컴퓨터는 "이 새로운 조각이 당신의 '유형 A' 예시와 더 닮았나, 아니면 '유형 B' 예시와 더 닮았나?"라고 묻습니다.
결과: 그 후 나머지 이미지 전체를 자동으로 분류합니다.

3. 무엇을 테스트했는가?

연구팀은 이 "스마트 비서"를 세 가지 다른 유형의 표면에 대해 테스트했습니다:

실리콘 (Si): 매우 흔한 물질입니다.
게르마늄 (Ge): 실리콘과 유사하지만 약간 다릅니다.
이산화티타늄 (TiO2): 완전히 다른 물질이며, 외형과 성질도 다릅니다.

그들은 시스템이 실리콘에서 학습한 후, 대규모의 새로운 학습 과정 없이도 게르마늄과 이산화티타늄의 결함을 즉각적으로 인식할 수 있는지 확인하고자 했습니다.

4. 결과

실리콘에서: 시스템은 놀라운 정확도를 보였습니다. 각 결함 유형에 대해 단 세 개의 예시만 보여주었을 때 **99%**의 정확도를 기록했습니다.
게르마늄 및 이산화티타늄에서: 정확도가 떨어졌지만(각각 약 62%와 85%), 여전히 단순히 추측하거나 기존의 더 단순한 방법들을 사용하는 것보다는 훨씬 뛰어난 성능을 보였습니다.
"원샷(One-Shot)" 테스트: 시스템에 결함의 예시를 단 하나만 보여주었을 때도, 단순히 생 픽셀(raw pixels)만 보는 기초적인 컴퓨터 프로그램보다 더 잘 유사한 결함을 찾아낼 수 있었습니다.

5. 왜 이것이 중요한가 (논문에 따른 이유)

유연성: 만약 과학자가 표면에서 기이한 새로운 분자를 발견한다면, 데이터를 라벨링하는 데 몇 주를 보낼 필요가 없습니다. 단 몇 개의 예시만 보여주면 시스템이 즉시 적응합니다.
"이상치(Anomalies)" 처리: 때때로 이미지에 어떤 카테고리에도 속하지 않는 이상한 현상(예: 거대한 긁힘)이 나타날 수 있습니다. 이 시스템은 인간이 "그것은 무시해"라고 말할 수 있게 하여, 데이터 통계가 망가지는 것을 방지합니다. 기존 시스템은 이러한 이상한 요소를 잘못된 카테고리로 강제로 분류하곤 했습니다.
속도: 사람이 몇 시간 동안 뚫어지게 쳐다봐야 했던 작업을 단 몇 초 만에 끝나는 과정으로 바꿔줍니다.

요약

이 논문은 과학자들이 원자 이미지를 분석하는 데 도움을 주는 새로운 도구를 설명합니다. 컴퓨터를 가르치기 위해 방대한 양의 라벨링된 예시 라이브러리가 필요한 대신, 이 도구는 인간처럼 단 몇 개의 예시만으로 학습합니다. 이 도구는 "러프 스케치" 제작자와 "스마트 분류기"를 결합하여 다양한 물질의 원자 결함을 자동으로 찾고 이름을 붙임으로써, 새로운 물질의 발견 과정을 훨씬 더 빠르고 노동력이 적게 들도록 만듭니다.

기술 요약: 주사 터널링 현미경(STM)의 결함 분류를 위한 라벨링된 데이터 부족 문제 극복

문제 정의
주사 터널링 현미경(STM)은 표면 물리학 및 화학을 이해하는 데 필수적인 원자 해상도 이미징을 제공한다. 그러나 STM 데이터의 정량적 분석은 일반적으로 균일한 배경으로부터 원자 규모의 특징들을 수동으로 식별하고 라벨링하는 과정을 필요로 하며, 이는 노동 집약적이고 시간이 많이 소요되는 작업이다. 합성곱 신경망(CNN)과 같은 지도 학습(Supervised Machine Learning) 방식이 이러한 작업을 자동화하는 데 성공을 거두었으나, 이들은 각 재료 시스템마다 특화된 대규모의 수동 주석(annotated) 데이터셋에 크게 의존한다. 이러한 의존성은 병목 현상을 야기한다. STM이 새로운 재료 및 실험에 빈번하게 적용됨에 따라, 모든 새로운 표면에 대해 방대한 라벨링 데이터가 필요하다는 점은 머신러닝의 실용적 활용을 제한하기 때문이다. DFT(밀도 범함수 이론)를 통한 합성 데이터 생성과 같은 기존의 대안들은 계산 비용이 많이 들고 전문가의 개입이 필요한 경우가 많으며, 다른 비지도 학습 방식들은 엄격한 성능 지표나 일반화 능력이 부족할 수 있다.

방법론
저자들은 최소한의 라벨링된 데이터만으로 STM 결함을 분할(segmentation)하고 분류하기 위해 **비지도 학습(Unsupervised Learning)**과 **퓨샷 학습(Few-Shot Learning, FSL)**을 결합한 하이브리드 자동화 워크플로우를 제안한다. 이 프레임워크는 5단계 파이프라인으로 작동한다:

데이터 획득 및 전처리: STM 이미지(충전 상태 및 비충전 상태)를 획득하고, 평면 레벨링(plane-leveled), 스캔 라인 정렬, 히스테리시스 보정을 수행한다.
비지도 기반 거친 분할 (모듈 1 & 2): 초기 분할 단계에서 수동 라벨링을 피하기 위해, 저자들은 사전 학습된 FCNResNet101(ImageNet으로 학습됨)을 사용하여 픽셀로부터 특징 벡터를 추출한다. 이 벡터들은 k-평균 클러스터링(k-means clustering)을 거쳐 "결함(defect)"과 "격자(lattice)"를 구분하는 이진 맵을 생성한다. 이 비지도 출력은 특정 기판에 특화된 경량 U-Net(모듈 2)을 학습시키는 데 사용된다. U-Net은 이후 CPU에서 몇 초 만에 새로운 스캔에 대한 거친 분할을 수행할 수 있어, 더 느리고 GPU 의존적인 비지도 단계를 대체한다.
특징 크롭(Feature Cropping): U-Net이 결함 위치를 식별하면, 해당 영역을 균일한 이미지 크롭으로 격리하고 네트워크 차원에 맞게 리샘플링한다.
사용자 정의 서포트 세트 생성 (모듈 3): 사용자는 $N$ 개의 특징 클래스를 정의하고, 크롭된 이미지에서 각 클래스에 대해 소수의( $K$ 개) 예시를 라벨링한다. 이것이 **서포트 세트(support set)**를 형성한다. 사용자는 이 단계에서 이상치(anomalous features)를 명시적으로 제외할 수도 있다.
FSL 분류: 나머지 관찰되지 않은 크롭들(쿼리 세트)은 서포트 세트를 사용하는 FSL 네트워크에 의해 분류된다. 네트워크는 이미지를 잠재 벡터 공간(latent vector space)으로 임베딩하고, 특정 거리 메트릭을 사용하여 서포트 벡터와의 근접성을 바탕으로 쿼리 샘플을 분류한다.

본 연구는 네 가지의 뚜렷한 FSL 알고리즘인 프로토타이피컬 네트워크(Prototypical Networks), 매칭 네트워크(Matching Networks), 릴레이션 네트워크(Relation Networks), 그리고 **심플 샷(Simple Shot)**을 평가한다. 이들은 원시 픽셀에 기반한 baseline k-최근접 이웃(kNN) 분류기와 비교 테스트된다. 실험은 일반화 능력을 테스트하기 위해 세 가지 서로 다른 표면 시스템을 활용한다:

Si(001): 알려진 기판 위에서 새로운 흡착물(AsH3)을 대상으로 초기 학습 및 테스트에 사용됨.
Ge(001): "새로운" 기판으로서 테스트됨 (Si 데이터로만 학습됨).
TiO2(110): 구조적으로 다른 기판으로서 테스트됨 (Si 및 Ge 데이터로만 학습됨).

주요 결과
저자들은 테스트 케이스 전반에 걸쳐 다음과 같은 결과를 보고하였다:

분할 성능: 비지도 파이프라인에 의해 라벨링된 데이터로 학습된 U-Net은 세 가지 표면 모두에서 90% 이상의 검증 정확도를 달acia했다. 결함만을 대상으로 한 다이스 점수(Dice Score, DS)는 게르마늄(Germanium)에서 가장 높았고(0.87), 실리콘(Silicon)에서 가장 낮았으나(0.64), 전체 DS(배경 포함)는 높게 유지되었다(0.96–0.99).
FSL 분류 정확도:
- 프로토타이피컬 네트워크는 다른 신경망 기반 방법들보다 일관되게 우수한 성능을 보였다. 실리콘 데이터셋(Si(001):H:AsH3)에서 프로토타이피컬 네트워크는 1-shot 설정에서 93.6%, 3-shot 설정에서 98.9%의 정확도를 달성했다.
- 심플 샷 네트워크 또한 기판 특화 데이터로 학습되었을 때 특히 좋은 성능을 보였으며, 종종 더 적은 파라미터를 가짐에도 불구하고 더 큰 ResNet18 기반 접근법보다 우수한 성능을 나타냈다.
- 릴레이션 네트워크는 학습 데이터의 제한과 학습된 거리 메트릭의 복잡성으로 인한 과적합 때문인지, 현저히 낮은 성능(약 54–58% 정확도)을 보였다.
- 일반화: 학습되지 않은 기판(Ge 및 TiO2)에 적용했을 때 정확도가 하락하였으나(예: Ge의 1-shot 시 54.5%), FSL 방법들은 일반적으로 1-shot regime에서 kNN baseline과 대등하거나 이를 상회하는 성능을 보였다.
절제 연구(Ablation Study): 저자들은 픽셀 값을 반전시켜 "부정적(negative)" 결함 유형을 만드는 방식으로 학습 클래스 수를 인위적으로 늘렸을 때 분류 정확도가 향endo됨을 입증했다. 예를 들어, 게르마늄 데이터에 대한 매칭 네트워크는 역(inverse) 클래스로 증강되었을 때 12%의 성능 향상을 보였다.

의의 및 주장
본 논문은 이 연구를 STM 이미지의 재료 불가지론적(material-agnostic) 자동 분할을 향한 중요한 진전으로 규정한다. 주요 기여는 클래스당 단 하나 또는 세 개의 라벨링된 데이터 포인트만으로도 높은 정확도의 결함 분류가 가능하다는 것을 입증함으로써, 대규모 주석 데이터셋이라는 장벽을 효과적으로 제거했다는 점이다.

저자들은 자신의 접근 방식이 기존의 지도 학습 방식보다 더 큰 유연성을 제공한다고 주장한다:

적응성: 초기 학습 후 새로운 표면에 빠르게 적응할 수 있다.
이상치 처리: 경직된 지도 학습 분류기와 달리, 이 워크플로우는 사용자가 서포트 세트에서 이상치를 명시적으로 제외할 수 있게 하여, 이들이 통계치를 왜곡하는 것을 방지한다. 이는 일부 기존 지도 학습 연구에는 없는 기능이다.
효율성: 대규모 사전 학습 모델의 지식을 더 작은 U-Net으로 증류함으로써, 실험실 워크플로우에 적합한 빠른 CPU 기반 처리를 가능하게 한다.

저자들은 완전히 새로운 재료(예: 1-shot 시 62%인 게르마늄)에 대한 절대적인 정확도에 대해서는 겸허한 태도를 유지하며, 이것이 최종 출판 품질의 분석에는 충분하지 않을 수 있으나 데이터 획득 과정에서 신속하고 실행 가능한 통찰을 제공한다고 언급했다. 그들은 표준 아키텍처를 사용하여 베이스라인을 구축했음을 밝히며, 향후 하이퍼파라미터 최적화 및 아키텍처 개선을 통해 성능을 더욱 향상시킬 수 있다고 결론지었다.