SHIELD reduces information leakage in data splits through joint structural optimization
본 논문은 계층적, 특징 공간적, 분포적 제약을 공동으로 최적화하여 누출을 인지하는 데이터 분할을 생성함으로써, 다양한 과학 분야에서 머신러닝 모델의 더욱 엄격하고 현실적인 분포 외 평가를 가능하게 하는 일반 프레임워크인 SHIELD를 소개한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
과학적 발견을 위해 인공지능을 활용하려는 경쟁 속에서, 연구자들은 한 번도 본 적 없는 물질, 의약품, 또는 화학 반응의 특성을 예측하도록 컴퓨터를 가르치기 위해 노력하고 있습니다. 목표는 단순히 이미 측정된 것을 암기하는 것이 아니라, 컴퓨터가 미지의 영역에 대해 올바르게 추측할 수 있도록 근본적인 규칙을 학습하는 것입니다. 컴퓨터가 이러한 규칙을 진정으로 학습했는지 테스트하기 위해, 과학자들은 데이터를 두 그룹으로 나눕니다. 하나는 컴퓨터를 훈련시키기 위한 용도이고, 다른 하나는 테스트하기 위한 용도입니다. 만약 테스트 그룹이 훈련 그룹과 너무 유사하다면, 컴퓨터는 문제를 해결하는 대신 익숙한 패턴을 인식하는 데 의존할 수 있습니다. 이는 마치 학생이 숙제 문제를 살짝 바꾼 것뿐인 시험을 치르는 것과 같습니다. 학생은 만점을 받겠지만, 실제로 과목을 배운 것은 아닙니다. 수십 년 동안 데이터를 나누는 표준적인 방법은 모든 것을 무작위로 섞는 것이었으며, 이는 종종 위험할 정도로 지나치게 유사한 쌍들을 반대편에 남겨두어, 모델이 실제 세상에서 얼마나 잘 작동할지에 대해 잘못된 안도감을 만들어냈습니다.
하마드 빈 칼리파 대학교(Hamad Bin Khalifa University)의 연구팀은 이 문제를 해결하기 위해 SHIELD라고 불리는 새로운 방법을 개발했습니다. 데이터를 무작위로 섞거나 단일 규칙을 사용하는 대신, SHIELD는 세 가지 서로 다른 관점에서 데이터를 동시에 살펴보는 정교한 조직가 역할을 합니다. 이 시스템은 항목들이 어떻게 가족 단위로 그룹화되는지, 복잡한 특징들의 그물망 속에서 서로 얼마나 가까이 위치하는지, 그리고 전체적인 분포가 어떻게 비교되는지를 고려합니다. 그런 다음 시스템은 이러한 모든 관계를 동시에 존중하면서 데이터를 절단하는 방법을 찾아내어, 테스트 세트가 훈련 세트와 진정으로 다르게 되도록 보장합니다. 연구진은 금속 합금 3D 프린팅부터 양자 화학에서의 미세 분자 거동에 이르기까지 8가지 서로 다른 과학적 데이터셋을 대상으로 이 접근법을 테스트했습니다. 그 결과, SHIELD가 기존 방식보다 훨씬 더 엄격하고 현실적인 테스트 조건을 일관되게 생성해냈으며, 무작위 테스트 하에서 성공적으로 보였던 많은 모델이 실제 새로운 데이터에 직면했을 때는 실패한다는 사실을 밝혀냈습니다.
문제의 핵심은 과학적 데이터가 구조화되어 있는 방식에 있습니다. 생물학이나 재료 과학 같은 분야에서 데이터 포인트는 결코 독립적이지 않습니다. 새로운 약물 분자는 기존 분자의 미세한 변형일 수 있고, 금속 합금은 공통된 역사를 공유하는 특정 재료 계열에 속할 수 있습니다. 컴퓨터 모델이 한 버전의 분자로 훈련되고 거의 동일한 버전으로 테스트될 때, 모델은 화학을 이해할 필요 없이 그저 유사성을 인식하기만 하면 됩니다. 이를 정보 누출(information leakage)이라고 하며, 이는 지나치게 낙관적인 예측을 초래합니다. 연구진은 단순한 클러스터링이나 무작위 선택에 의존하는 기존 방식들이 이러한 숨겨진 연결 고리를 끊어내는 데 자주 실패한다는 것을 보여주었습니다. 예를 들어, 레이저 분말 베드 융합(금속 부품을 층층이 쌓아 만드는 공정)과 관련된 데이터셋의 경우, 데이터를 무작위로 나누면 훈련 세트와 테스트 세트가 너무 뒤섞여서 컴퓨터가 실제 물리 법칙이 아니라 사용된 기계나 합금 유형을 바탕으로 결과를 쉽게 추측할 수 있었습니다.
이를 해결하기 위해 SHIELD 프레임워크는 누출을 일으키는 세 가지 특정 유형의 관계를 처리하도록 설계되었습니다. 첫째, 계층적 포함 관계를 살펴봅니다. 이는 합금 가족이나 단백질 변이 세트와 같이 관련된 그룹들을 하나의 묶음으로 유지하여 다른 쪽으로 누출되지 않도록 합니다. 둘째, 특징 매니폴드(feature manifold)를 조사합니다. 이는 데이터 포인트들이 그 특성에 따라 서로 얼마나 가까운지를 매핑하는 방식으로, 지도상의 이웃들이 서로 분리되지 않도록 보장합니다. 셋째, 분포를 관리합니다. 이는 전체적인 데이터의 확산이 알려진 미래 시나리오와 통제된 일치를 이루거나, 완전히 새로운 상황을 시뮬레이션하기 위한 의도적인 변화를 갖도록 합니다. 혁신적인 점은 SHIELD가 이러한 규칙들을 순차적으로 적용하여 이전 단계의 작업을 무효화하는 것이 아니라, 세 가지를 동시에 최적화하여 데이터의 자연스러운 구조를 깨뜨리지 않으면서도 분리의 필요를 충족하는 균형점을 찾는다는 것입니다.
연구팀은 다양한 과학 분야에 걸쳐 이 방법을 검증했습니다. 유리 형성 합금 연구에서, 일부 기존 방식은 데이터를 효과적으로 분리할 수는 있었지만 클래스의 균형을 깨뜨려 오도하는 결과를 낳는 경우가 많았습니다. SHIELD는 클래스의 균형을 유지하면서도 까다로운 테스트 환경을 조성했습니다. 작은 유기 분자의 에너지 상태를 예측하는 것이 목표인 양자 화학 영역에서도, 이 새로운 방법은 컴퓨터 모델이 진정으로 외삽(extrapolate)하도록 강제하는 방식으로 훈련 및 테스트 세트를 성공적으로 분리했습니다. 연구진이 표준 머신러닝 모델을 이 새로운 분할 방식으로 테스트했을 때, 결과는 매우 드러내는 것이었습니다. 무작위 분할 시 높은 정확도를 보였던 모델들이 성능이 크게 떨어졌으며, 때로는 완전히 실패하기도 했습니다. 이러한 성능 저하는 모델이 고장 났음을 의미하는 것이 아니라, 이전의 테스트가 너무 쉬웠음을 의미했습니다. 새로운 분할 방식은 모델이 훈련 경험의 범위를 벗어난 데이터를 다룰 수 없다는 사실을 폭로했습니다.
가장 놀라운 발견 중 하나는 45개의 서로 다른 프린터 모델과 6가지 다른 합금을 사용한 1,579회의 금속 부품 빌드 데이터를 포함하는 적층 제조 데이터셋에서 나왔습니다. 연구진이 SHIELD를 사용하여 훈련 데이터로부터 합금의 전체 계열을 제외했을 때, 컴퓨터 모델들은 엄청나게 고전했습니다. 다른 분할에서는 잘 작동했던 신경망 모델이 붕괴하며 매우 부정확한 예측을 내놓았습니다. 이는 모델이 해당 특정 유형의 합금을 본 적이 없어 단순한 패턴 매칭에 의존할 수 없었기 때문에 발생했습니다. 반면, 연구진이 특정 프린터 모델을 제외했을 때는 모델들이 훨씬 더 잘 작동했습니다. 이러한 비대칭성은 중요한 통찰력을 제공했습니다. 즉, 합금 계열은 모델이 넘을 수 없는 근본적인 물리적 장벽을 나타낸 반면, 프린터 정체성은 덜 중요한 변수였다는 것입니다. SHIELD 프레임워크는 이러한 두 종류의 도전 과제를 구분해냄으로써, 과학자들이 데이터의 어떤 측면이 정말로 예측하기 어려운지를 이해할 수 있도록 도왔습니다.
연구진은 또한 '코어스닝(coarsening)'이라는 기술을 사용하여 이 방법이 방대한 데이터셋도 처리할 수 있음을 입증했습니다. 매우 큰 데이터 집합의 경우, 모든 개별 포인트 사이의 관계를 계산하는 것은 계산적으로 불가능합니다. SHIELD는 분할을 수행하기 전에 계층 구조를 기반으로 관련 항목들을 더 큰 '슈퍼 노드(super-nodes)'로 그룹화함으로써 이 문제를 해결합니다. 이 방식은 한 테스트에서 문제의 크기를 1,600배 이상 줄였음에도 불구하고, 분할의 품질은 모든 데이터를 개별적으로 처리했을 때만큼 엄격하게 유지되었습니다. 이러한 확장성은 이 방법이 가장 큰 과학적 데이터셋에도 적용될 수 있으며, 미세한 형태의 누출을 감지하는 능력을 잃지 않는다는 것을 의미합니다. 연구진은 또한 '발견 정규화 제곱 오차(Discovery Normalized Squared Error)'라고 불리는 새로운 분할 난이도 측정 지표를 도입했습니다. 이 지표는 훈련 데이터에서 테스트 데이터로 이동할 때 오차가 얼마나 증가하는지를 측정하여, 모델이 미지의 영역을 마주했을 때 어떻게 수행될지에 대한 더 명확한 그림을 제공합니다.
연구는 데이터를 나누는 방식이 단순한 기술적 세부 사항이 아니라, 던져진 과학적 질문의 근본적인 부분이라고 결론짓습니다. 만약 분할 과정에서 정보가 누출된다면, 벤치마크는 잘못된 것을 측정하고 있는 것입니다. 데이터의 구조적 관계를 공동으로 최적화함으로써, SHIELD는 모델의 새로운 지식 발견 능력에 대해 더 정직한 평가를 제공합니다. 연구진은 이것이 모든 문제를 해결하는 마법 같은 해결책은 아니지만, 과학자들이 무엇을 테스트하고 있는지에 대해 더 엄격해지도록 강제하는 도구라고 강조합니다. 결과는 현재 과학 문헌에서 찬사를 받는 많은 모델이 자연의 법칙을 배우기보다는 훈련 데이터의 특이점에 과적합(overfitting)되어 있을 수 있음을 시사합니다. 과학 데이터의 진정한 구조를 존중하는 방법을 사용함으로써, 연구자들은 진정으로 발견의 도전을 맞이할 준비가 된 모델을 구축할 수 있으며, 컴퓨터가 새로운 물질이나 신약을 예측할 때 그것이 운 좋은 추측이 아닌 실제적인 이해에 기반하도록 보장할 수 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.