No Value Is Better Than a Wrong Value: Finding and Handling Erroneous Data in Literature-Mined Datasets for AI
이 논문은 문헌 추출 기반 AI 데이터셋의 오류가 발생하는 결정적인 문제를 해결하기 위해 추출 오류에 대한 분류 체계와 물리 법칙, 통계적 합의, 출처 검증을 결합한 계층적 검증 프레임워크를 제안함으로써, 재료 과학 및 관련 분야에서 모델의 정확도를 크게 향상시키고 잘못된 발견을 방지하는 방안을 다룬다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
더 빠른 컴퓨터, 더 오래가는 배터리, 또는 더 효과적인 의약품을 위한 새로운 재료를 발견하기 위해, 과학자들은 점점 더 인공지능에 의존하고 있습니다. 이 디지털 조수들은 방대한 데이터 모음을 학습함으로써 어떤 화학적 조합이 가장 잘 작동할지를 밝혀낼 패턴을 찾고자 노력합니다. 배터리가 보유할 수 있는 에너지나 결정이 빛을 굴절시키는 방식과 같은 많은 특성들의 경우, 이 수치들이 존재하는 유일한 곳은 수천 편의 발표된 과학 논문 속에 흩어져 있다는 사실입니다. 연구자들은 이러한 논문들을 자동으로 읽어 들여, 숫자를 추출하고 이를 기계가 이해할 수 있는 데이터베이스로 변환하는 도구들을 구축해 왔습니다. 그러나 인쇄된 페이지를 읽어 깨끗한 숫자 목록으로 바꾸는 과정은 결코 완벽하지 않습니다. 소수점이 사라질 수도 있고, 측정 단위가 다른 것과 혼동될 수도 있으며, 혹은 값이 엉뚱한 재료에 붙을 수도 있습니다. 만약 컴퓨터가 이러한 실수로부터 학습한다면, 단순히 작은 오류를 범하는 데 그치지 않고 연구자들에게 잘못된 발견을 자신 있게 제시하게 될 것이며, 종종 가장 극단적이고 부정확한 숫자를 최고의 후보로 선택하게 될 것입니다.
디바카르 다타(Dibakar Datta) 연구실의 연구팀은 데이터 오류를 드문 결함이 아니라 과정의 예상된 일부로 취급함으로써 이 문제를 해결하고자 했습니다. 그들은 전기 전압이 가해질 때 빛을 굴절시키는 방식이 변하는 재료인 전기 광학 재료에 집중했습니다. 이 재료들은 전 세계로 데이터를 운반하는 광섬유 네트워크와 미래의 양자 컴퓨터에 매우 중요합니다. 연구팀은 과학 문헌으로부터 이러한 재료들의 값을 추출하는 시스템을 구축했지만, 그들은 '틀린 값보다는 없는 값이 낫다'는 특정한 철학을 가지고 설계했습니다. 모든 숫자를 완벽하게 추출하는 것이 불가능하다는 것을 발견했기에, 모든 숫자를 완벽하게 추출하려고 노력하는 대신, 인공지능 모델을 오염시키기 전에 실수를 잡아낼 수 있는 다층적인 안전망을 구축했습니다.
연구자들은 데이터가 여러 뚜렷한 단계에서 오류를 일으킨다는 점을 확인했습니다. 때로는 원래의 논문에 오류가 있어 값이 잘못 인쇄되었거나 이전 연구에서 잘못 복사되는 경우가 있습니다. 또 다른 경우에는 컴퓨터 프로그램이 스캔된 문서를 읽을 때 숫자 0을 알파벳 O로 착각하거나 마이너스 부호를 놓치는 등의 실수를 범하기도 합니다. 텍스트가 올바르게 읽히더라도, 컴퓨터가 숫자를 엉뚱한 라벨에 붙여 한 재료의 측정치를 다른 재료의 것과 혼동하거나, 온도나 압력과 같이 측정이 수행된 특정 조건을 놓칠 수도 있습니다. 이를 처리하기 위해 연구팀은 5단계 필터링 과정을 만들었습니다. 첫 번째 단계는 데이터가 표면적으로 올바른지 확인하여 단위가 정확하고 해당 숫자가 실제 원문 텍스트에 존재하는지를 검증합니다. 두 번째 단계는 물리학 법칙을 적용하여, 결정의 대칭 규칙이 위반되지 않았는지 또는 배터리의 용량이 이론적 한계를 초과하지 않는지와 같이 물리적으로 가능한 값인지 확인합니다.
세 번째 단계는 서로 다른 연구들 사이의 일치 여부를 살펴봅니다. 만약 열 편의 논문이 동일한 재료에 대해 보고한다면, 올바른 숫자들은 서로 모여 있는 반면 무작위 오류들은 이상치(outlier)로서 눈에 띄게 됩니다. 네 번째 단계는 나머지 데이터를 학습한 인공지능 모델을 사용하여 유사한 재료들과 비교했을 때 이상해 보이는 값들을 찾아냅니다. 마지막 단계는 인간 전문가에 의한 표적 검토로, 앞선 단계에서 의심스러운 것으로 분류된 값들만을 검토합니다. 이러한 접근 방식은 모든 숫자를 사람이 직접 확인할 필요 없이 효율적으로 오류를 처리할 수 있게 해줍니다. 최근의 실행에서, 이 시스템은 816개의 후보 값 중 402개를 차단했으며, 각 값이 왜 거부되었는지 또는 검토를 위해 보류되었는지에 대한 구체적인 이유를 기록했습니다.
이러한 엄격한 필터에도 불구하고, 연구진은 여전히 오류가 새어 들어간다는 것을 발견했습니다. 연구진이 자신들이 수락한 값들을 정교하게 큐레이션된 참조 세트와 비교했을 때, 수락된 값의 약 27%가 여전히 결함이 있는 것으로 나타났습니다. 참조 데이터베이스 없이 수행할 수 있는 간단한 검사, 예를 들어 결정의 대칭 규칙 준수 여부를 확인하는 것만으로도 남은 오류의 70%를 잡아낼 수 있었습니다. 어떤 숫자가 틀렸는지 정확히 알고 있는 통제된 테스트에서, 이 다층 시스템은 높은 정밀도로 오류의 81%를 찾아냈습니다. 결정적으로, 연구진은 이 정화 과정이 없었다면 인공지능 모델이 완전히 잘못된 길로 인도되었을 것임을 보여주었습니다. 정화되지 않은 데이터에서는 상위 20개의 가장 큰 값 중 89%가 오류였습니다. 최고의 재료를 찾도록 설계된 AI 모델은 본질적으로 가장 큰 값을 찾으려 하기 때문에, 정화되지 않은 데이터베이스는 연구자들이 거대한 오류를 획기적인 발견으로 착각하게 만들어 최악의 후보들을 선택하도록 유도할 것입니다.
이 연구는 두 번째의 더 미묘한 문제 또한 밝혀냈습니다. 잘못된 숫자들이 제거된 후에도, 연구진은 많은 기록이 여전히 활용하는 데 필요한 맥락(context)이 누락되어 있다는 것을 발견했습니다. 예를 들어, 두 기록이 동일한 재료와 동일한 값을 나열하고 있지만, 하나는 고압에서 측정되었고 다른 하나는 상온에서 측정되었음에도 불구하고, 텍스트에 압력 정보가 누락되어 시스템이 이 둘을 구분할 수 없는 경우입니다. 연구진이 '구분 불가능한 기록의 비율'로 측정한 이러한 맥락의 결여는 AI가 학습할 수 있는 능력을 제한하는 주요 요인이 되었습니다. 연구팀은 데이터 기반 과학의 미래가 단순히 더 많은 숫자를 찾는 것이 아니라, 자신의 품질을 추적하고, 스스로의 오류를 보고하며, 모든 측정값이 수행된 구체적인 조건을 저장하는 데이터베이스를 구축하는 데 달려 있다고 결론지었습니다. 오류가 불가피함을 인정하고 이를 잡아내는 시스템을 구축함으로써, 과학자들은 자신들이 의존하는 인공지능이 실수가 아닌 현실로부터 학습하고 있음을 보장할 수 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.