When Literature Data Mislead Artificial Intelligence in Materials Discovery

과학자들이 실험실에서 한 가지 재료를 테스트한 뒤 다음 재료를 테스트하는 과정을 수년간 반복하는 대신, 컴퓨터에게 수백만 편의 연구 논문을 스캔하여 최적의 수치를 찾아내고, 배터리나 태양전지에 가장 적합한 새로운 물질을 예측하도록 요청하는 세상을 상상해 보십시오. 이것이 재료 과학 분야에서 인공지능이 약속하는 미래입니다. 만약 컴퓨터가 지금까지 발표된 모든 실험 내용을 읽을 수 있다면, 물질이 어떻게 행동하는지에 대한 숨겨진 규칙을 학습하여 우리 미래의 에너지 요구에 완벽하게 부합하는 재료를 설계할 수 있다는 아이디어입니다. 하지만 이 비전은 매우 취약한 가정에 의존하고 있습니다. 바로 과거 논문에 적힌 숫자들은 그것이 말하는 그대로라는 가정입니다. 만약 어떤 과학자가 특정 재료가 특정 강도로 전기를 전도한다고 쓴다면, 컴퓨터는 그 숫자가 진실하고, 명확하며, 즉시 사용할 준비가 되어 있다고 가정합니다.

도호쿠 대학교와 도쿄 대학교의 연구팀은 이 가정이 위험할 정도로 틀렸다는 것을 발견했습니다. 그들은 차세대 배터리 내부에서 이온이 이동할 수 있게 해주는 특수 재료인 고체 전해질에 대해 과학자들이 데이터를 보고하는 방식을 면밀히 조사했습니다. 그들의 조사는 과학 문헌에서 추출된 숫자들이 단순히 약간 틀린 것이 아니라, 근본적으로 오해의 소지가 있다는 사실을 밝혀냈습니다. 문제는 원래의 과학자들이 실수를 했다는 것이 아니라, 그들이 결과를 보고하는 방식이 종종 모호하다는 점입니다. 어떤 숫자는 본문에서는 맞지만 그래프에서는 틀릴 수 있으며, 단위가 혼동되어 값이 백 배나 달라질 수도 있습니다. 인공지능 시스템이 이러한 숫자들을 가져와 모델을 구축할 때, 시스템은 모호한 설명을 확고한 사실로 취급하며 자신도 모르게 왜곡된 현실으로부터 학습하게 됩니다.

연구진은 과학 논문을 완성된 이야기가 아닌 가공되지 않은 데이터 소스로 취급하며 연구를 시작했습니다. 그들은 이온 전도도, 즉 고체 재료를 통해 전기가 얼마나 쉽게 흐르는지를 나타내는 척도에 집중했습니다. 이 값은 재료가 배터리에 적합한지를 결정하는 데 매우 중요합니다. 완벽한 세상이라면, 연구자가 이 값을 측정하여 기록하고, 다음 사람이 그것을 읽어 정확히 그대로 사용할 것입니다. 하지만 현실에서 실험 노트에서 컴퓨터 데이터베이스로 가는 경로는 숨겨진 함정들로 가득 차 있습니다. 연구팀은 논문에 보고된 수천 개의 값을 인공지능 학습에 사용되는 큐레이션된 데이터베이스로 추적했습니다. 그 과정에서 원래 저자가 의미한 바를 추측해야 하는 경우가 빈번했으며, 그 추측은 자주 틀렸음을 발견했습니다.

연구팀이 발견한 흔한 문제 중 하나는 텍스트와 그림 사이의 불일치였습니다. 과학자는 본문에서 특정 재료가 상온에서 특정 전도도를 가진다고 기술할 수 있지만, 연구진이 동일한 논문의 실제 그래프를 살펴보면 해당 온도에서의 데이터 포인트는 다른 이야기를 하고 있었습니다. 본문의 숫자가 플롯(plot)에 표시된 것보다 약간 높거나 낮을 수 있습니다. 인간 독자에게 이것은 사소한 오타나 반올림 오차처럼 보일 수 있습니다. 하지만 모든 숫자를 정밀한 사실로 취对待하는 컴퓨터에게 이는 충돌을 일으킵니다. 컴퓨터는 어떤 숫자를 믿어야 할지 알지 못합니다. 이런 현상이 수백 편의 논문에서 발생하면, 데이터베이스는 겉으로는 올바르게 보이지만 실제로는 신뢰할 수 없는 정보들로 채워지게 됩니다.

혼란의 또 다른 주요 원인은 그래프의 라벨링 방식이었습니다. 과학 논문은 종 often 전도도가 온도에 따라 어떻게 변하는지를 보여주는 복잡한 차트를 사용합니다. 이러한 차트에는 보통 특정 라벨이 붙은 축이 있지만, 때로는 라벨이 모호하거나 아예 누락되기도 합니다. 연구자가 값을 플롯하면서 그것이 순수 전도도인지 아니면 그 값의 수학적 변환인지 명확하게 밝히지 않을 수 있습니다. 이러한 명확성이 없으면, 동일한 그래프를 읽는 두 사람이 완전히 다른 두 숫자를 추출할 수 있습니다. 연구팀은 축을 어떻게 해석하느냐에 따라 동일한 데이터 포인트가 매우 높은 전도도 혹은 매우 낮은 전도도로 읽힐 수 있음을 보여주었습니다. 이러한 차이는 무작위적인 오류가 아니라 일정한 패턴을 따르는 구조적인 실수이며, 이 때문에 컴퓨터가 이를 잘못된 것으로 식별하기가 매우 어렵습니다.

가장 위험한 오류는 측정 단위와 관련되었습니다. 과학에서 전도도는 센티미터당 또는 미터당과 같은 다양한 단위로 보고될 수 있습니다. 단위 하나의 차이는 값을 100배까지 변화시킬 수 있습니다. 연구진은 논문에 특정 단위로 된 값이 명시되어 있음에도 불구하고, 그래프나 이후의 데이터베이스 항목에서는 다른 단위로 처리된 사례들을 발견했습니다. 이 숫자들은 물리적으로 가능한 범위 내에 있었기 때문에 오류가 눈에 띄지 않았습니다. 데이터를 읽는 컴퓨터는 잘못된 숫자를 진실로 받아들였습니다. 연구진이 조사한 한 구체적인 사례에서는 값이 오해되어 100배의 오류를 만들어냈습니다. 이 단 하나의 실수는 데이터베이스에 입력된 후 다른 연구자들과 머신러닝 모델에 의해 복제되고 재사용되어, 과학적 기록 속에 바이러스처럼 퍼져 나갔습니다.

연구팀은 겔 기반 및 무기 고체 전해질에 관한 방대한 논문 모음을 분석했습니다. 그들은 겔 전해질에서 텍스트-그림 불일치가 약 10%의 논문에서 흔히 나타난다는 것을 발견했습니다. 무기 재료의 경우, 단위 불일치가 가장 빈번한 문제였으며 문제는 훨씬 더 다양했습니다. 16개의 무기 사례 샘ло플에서 연구진은 25개의 별도 보고 모호성 사례를 식별했습니다. 이는 단일 논문에 여러 유형의 오류가 포함될 수 있음을 의미합니다. 데이터는 이러한 현상이 단순한 부주의에 의한 고립된 사건이 아니라, 과학적 결과가 전달되는 방식의 구조적인 문제임을 보여주었습니다. 해당 분야의 전문가들조차 가정을 하지 않고는 데이터를 올바르게 해석하는 데 어려움을 겪었으며, 이는 문제가 현재의 출판 시스템에 깊게 뿌리박혀 있음을 시사합니다.

연구진은 이것이 단순히 사서나 데이터베이스 관리자의 문제가 아니라, 과학 분야 인공지능의 미래를 위한 위기라고 주장합니다. 머신러닝 모델은 자신이 학습하는 데이터의 질에 좌우됩니다. 만약 학습 데이터가 숨겨진 모호성과 단위 오류로 가득 차 있다면, 모델은 잘못된 패턴을 학습하게 됩니다. 모델은 실제로는 쓸모없는 재료를 탁월하다고 예측하거나, 혁신적인 후보 물질을 완전히 놓칠 수도 있습니다. 연구팀은 이러한 오류들이 '구조적 라벨 노이즈(structured label noise)'의 형태를 띤다는 것을 발견했습니다. 평균화되어 사라질 수 있는 무작위적인 실수와 달리, 이러한 오류는 일관되고 체계적이어서 컴퓨터의 학습을 특정 방향으로 편향시킬 수 있습니다. 그 결과, 모델은 확신에 차 있는 것처럼 보이지만 근본적으로 결함이 있는 상태가 됩니다.

이를 해결하기 위해 저자들은 과학자들이 연구 결과를 보고하는 방식에 대한 새로운 표준을 제안합니다. 연구자들은 현재 생략되고 있는 세부 사항들에 대해 훨씬 더 명시적이어야 한다고 제안합니다. 모든 그래프는 무엇을 플롯하고 있는지, 그리고 어떤 단위를 사용하는지를 명확히 밝혀야 합니다. 값이 측정된 온도는 단순히 "상온"이라고 설명하는 것이 아니라 정확해야 합니다. 저자들은 숫자가 직접 측정된 것인지 아니면 곡선으로부터 계산된 것인지를 명확히 해야 합니다. 이것들은 사소하고 지루한 세부 사항처럼 보일 수 있지만, 연구진은 이것들이 신뢰할 수 있는 과학의 토대라고 강조합니다. 이러한 세부 사항이 없다면, 데이터는 컴퓨터나 다른 과학자에 의해 안전하게 재사용될 수 없습니다.

연구는 과학 데이터의 신뢰성이 알고리즘이나 컴퓨터만큼이나 중요한 인프라 문제라는 결론을 내립니다. 과학이 기계가 새로운 재료를 발견하는 데 도움을 주는 미래로 나아감에 따라, 인간의 실험 기록은 진정한 의미에서 '기계가 읽을 수 있는(machine-readable)' 형태가 되어야 합니다. 이는 단순히 숫자를 갖는 것을 넘어, 모호함이 없고 추적 가능하며 일관된 숫자를 갖는 것을 의미합니다. 연구진은 데이터의 품질을 개선하는 것이 단순한 편집 작업이 아니라 차세대 과학적 발견을 위한 전제 조건이라고 강조합니다. 입력이 결함이 있다면, 인공지능이 아무리 똑똑해지더라도 출력 또한 결함이 있을 것입니다. 앞으로 나아가기 위해서는 보고의 명확성을 발견 자체만큼이나 높게 가치 있게 여기는 문화적 변화가 필요하며, 이를 통해 과학의 디지털 미래가 견고한 토대 위에 세워지도록 해야 합니다.