Augmentation-induced sibling leakage in small-data surface imaging: measurement and a reporting protocol

미세 이미지 기술의 세계에서 과학자들은 종종 결핍 문제에 직면합니다. 그들은 컴퓨터에게 금속 표면의 미세한 결함이나 결정체의 개별 원자를 인식하도록 가르쳐야 하지만, 이를 수행하기 위한 사진이 충분하지 않습니다. 단 한 번의 스캔에 몇 시간이 걸릴 수도 있으며, 연구자는 특정 결함에 대해 단 십여 장의 고품질 이미지만 겨우 확보할 수도 있습니다. 이러한 부족을 극복하기 위해 연구자들은 데이터 증강(data augmentation)이라는 표준적인 기법을 사용합니다. 그들은 그 몇 안 되는 원래의 이미지들을 수학적으로 비틀어—회전시키거나, 뒤집거나, 밝기를 바꾸거나, 약간 흐리게 만드는 등의 방식으로—수백 또는 수천 개의 새로운 학습 사례를 만들어냅니다. 이는 마치 나무 한 그루의 사진을 찍은 뒤, 학생에게 나무가 어떻게 생겼는지 가르치기 위해 그 동일한 나무의 약간씩 다른 버전들로 구성된 거대한 숲을 만들어내는 것과 같습니다.

이 학습의 목표는 모델이 처음 보는 새로운 이미지를 보고 결함을 정확하게 식end 식별할 수 있도록 구축하는 것입니다. 모델이 제대로 작동하는지 증명하기 위해, 과학자들은 데이터를 두 그룹으로 나눕니다: 하나는 가르치기 위한 용도이고, 다른 하나는 테스트를 위한 용도입니다. 모델은 첫 번째 그룹으로부터 학습하고, 두 번째 그룹을 바탕으로 성적을 매겨집니다. 만약 모델이 높은 점수를 받는다면, 그 모델은 똑똑하며 실전에 투입될 준비가 되었다고 가정됩니다. 그러나 중요한 질문이 남습니다: 모델이 실제로 결함이라는 개념을 이해한 것일까요, 아니면 단순히 보여준 특정 이미지들을 암기한 것일까요? 이 차이가 진정한 학습과 단순한 인식 사이의 구분입니다.

하얼빈 공업대학교의 장샤오쉬안(Shaoxuan Zhang)이 진행한 최근 연구는 이 과정이 흔히 이루어지는 방식에 숨겨진 결함을 조사합니다. 연구자는 과학자들이 단 몇 장의 원본 이미지로부터 수천 개의 학습 이미지를 만들 때, 가르치는 그룹과 테스트하는 그룹을 분리하는 방식에서 자주 실수를 범한다는 것을 발견했습니다. 원본 소스 이미지들을 별도로 유지하는 대신, 모든 비틀린 버전들을 한데 섞은 다음 무작위로 나누어 주는 것입니다. 이는 테스트에 사용된 사진이 이미 학습 중에 보았던 사진의 약간 회전되거나 밝기가 변한 복사본일 수 있음을 의미합니다. 이 경우 모델은 새로운 상황에 일반화하는 능력을 테스트받는 것이 아니라, 이미 본 것의 유사한 복사본을 인식하는 능력을 테스트받게 됩니다. 이 연구는 이 실수가 보고된 성공률을 얼마나 부풀리는지를 정확히 측정하며, 보고 표준을 수정하기 위한 간단한 방법을 제안합니다.

이 문제의 크기를 측정하기 위해, 연구자는 두 가지 다른 유형의 미세 데이터를 사용하여 통제된 실험을 설정했습니다. 한 데이터셋은 강철 표면의 결함 이미지를 포함했고, 다른 하나는 주사 터널링 현미경으로 포착한 결정체의 점 결함 이미지를 포함했습니다. 두 경우 모두 연구자는 '획득물(acquisitions)'이라고 불리는 적은 수의 원본 이미지로 시작했습니다. 각 원본 이미지에 대해, 그들은 표준적인 컴퓨터 기법을 사용하여 80가지의 서로 다른 변형을 생성했습니다. 그런 다음 그들은 이 이미지 풀을 두 가지 다른 방식으로 나누었습니다. 첫 번째 방법은 현재 많은 논문에서 쓰이는 방식으로, 모든 원본 이미지의 변형들을 모아 큰 통에 넣은 뒤 무작위로 학습용과 테스트용으로 뽑았습니다. 두 번째 방법은 더 엄격했습니다. 즉, 원본 이미지 자체를 별도로 유지하는 것이었습니다. 테스트를 위해 하나의 전체 원본 이미지를 따로 떼어두고, 나머지 원본 이미지들의 변형들만을 학습에 사용했습니다. 이를 통해 모델이 테스트할 이미지에 대해 이전에 본 적이 없도록 보장했습니다.

결과는 두 방법 사이에 거대한 격차를 보여주었습니다. 모델이 무작위 혼합 방식을 사용하여 학습하고 테스트되었을 때, 모델은 완벽에 가까운 점수를 기록했습니다. 강철 표면 데이터셋에서 모델은 1.000이라는 점수에 도달했는데, 이는 모델이 찾아내야 할 모든 결함을 찾아냈음을 의미합니다. 그러나 동일한 모델을 원본 소스를 분리하여 유지하는 더 엄격한 방식으로 테스트했을 때, 점수는 급격히 떨어졌습니다. 데이터 예산이 가장 적어 결함 유형당 원본 이미지가 두 개뿐이었을 때, 무작위 혼합 방식은 1.0이 만점인 척도에서 모델의 성능을 0.5점 이상 과대평가했습니다. 원본 이미지가 10개로 늘어났을 때도 무작위 방식은 여전히 상당한 차이로 성능을 과장했습니다. 모델은 학습에 실패한 것이 아니라, 이미 공부했던 것들의 복사본을 인식하는 데 너무 잘 성공했던 것입니다.

연구는 또한 이러한 부풀리기가 모든 유형의 결함에 균일하게 나타나지는 않는다는 점을 밝혔습니다. 어떤 결함들은 질감만으로도 인식하기 쉬워, 테스트 방식과 상관없이 모델이 좋은 성능을 보였습니다. 그러나 특정 스캔의 모습에 의존하는 결함의 경우, 무작위 방식은 모델을 천재처럼 보이게 만든 반면, 엄격한 방식은 모델이 고군분투하고 있음을 보여주었습니다. 이는 이 연구에서의 높은 점수가 모델이 일반적인 결함을 찾는 법을 배웠다는 의미가 아니라, 훈련된 소수의 이미지의 특징적 산물(artifacts)을 인식하는 법을 배웠다는 것을 의미할 수 있음을 시사합니다. 두 방법 사이의 간격은 더 많은 원본 이미지가 추가됨에 따라 약간 좁혀졌지만, 사라지지는 않았습니다. 10개의 원본 이미지가 있음에도 불구하고 무작위 방식은 엄격한 방식보다 30포인트나 높은 점수를 냈으며, 이는 문제가 지속되고 있음을 나타냅니다.

연구자는 또한 모델을 훈련할 필요 없이 이 문제를 감지할 수 있는 간단한 도구를 개발했습니다. 테스트 세트의 이미지들을 훈련 세트의 이미지들과 비교함으로써, 이 도구는 얼마나 많은 테스트 이미지가 훈련 세트에 '형제(sibling)'를 가지고 있는지 계산할 수 있습니다. 형제란 단순히 동일한 원본 이미지의 변형을 말합니다. 만약 많은 수의 테스트 이미지가 훈련 세트에 형제를 가지고 있다면, 이는 평가가 잘못되었다는 명확한 신호입니다. 이 검사는 실행하는 데 몇 초밖에 걸리지 않으며 특수 하드웨어도 필요하지 않습니다. 연구 결과, 결함이 있는 무작위 분할에서는 거의 모든 테스트 이미지가 훈련 세트에 형제를 가지고 있었던 반면, 엄격한 분할에서는 아무도 형제를 가지고 있지 않았습니다.

이러한 발견을 바탕으로, 논문은 연구자들이 자신의 작업 내용을 보고하는 방법에 대한 새로운 표준을 제안합니다. 저자는 단순히 얼마나 많은 이미지를 사용했는지만 말하는 것이 아니라, 몇 개의 독립적인 원본 획득물(acquisitions)로 시작했는지를 보고해야 합니다. 또한 데이터가 비틀리고 확장되기 전 혹은 후에 분리되었는지를 명확히 밝혀야 합니다. 또한 개별 이미지 단위인지 혹은 원본 소스 단위인지와 같은 분할의 단위를 명시해야 합니다. 마지막으로, 테스트 이미지가 훈련 세트에 형제를 얼마나 가지고 있는지 보여주는 간단한 검사를 포함해야 합니다. 이 네 가지 정보는 제공하기 쉬우며, 소규모 데이터 연구의 한계를 숨기지 않고 가시화할 수 있을 것입니다.

연구는 결론적으로, 연구자들이 흔히 몇 개의 원본 스캔만을 보유하게 되는 소규모 데이터 이미징 분야에서 현재의 모델 평가 방식은 오해의 소지가 있다고 말합니다. 많은 논문에서 보고되는 높은 점수는 모델이 새로운 상황에서 결함을 찾는 능력보다는 훈련 데이터의 복사본을 인식하는 능력을 설명하고 있는 경우가 많습니다. 이러한 컴퓨터 시스템이 오프라인 분석에서 실제 실험을 제어하는 단계로 넘어가면서, 이러한 부풀려진 점수에 의존하는 것은 잘못된 결정을 초래할 수 있습니다. 해결책은 반드시 새로운 알고리즘이나 더 강력한 컴퓨터가 아니라, 데이터를 다루고 보고하는 방식의 변화입니다. 원본 소스를 분리하여 유지하고 과정에 대해 투명해짐으로써, 과학계는 우리가 구축하는 모델이 진정으로 현실 세계에 대비되어 있는지 확인할 수 있습니다.