Between-study variance inflates apparent accuracy in literature-compiled machine learning models of sulphate resistance in SCM-blended cement

콘크리트는 지구상에서 가장 널리 사용되는 건축 자재이지만, 그 생산 과정은 전 세계 탄소 배출의 주요 원인이 됩니다. 이를 더 친환경적으로 만들기 위해 엔지니어들은 플라이 애시(fly ash), 실리카 퓨름(silica fume), 또는 쌀겨 회(rice husk ash)와 같은 농업 폐기물을 혼합하여 보충 재료로 사용하곤 합니다. 이러한 첨가제들은 시멘트의 일부를 대체하여 탄소 발자국을 낮추는 동시에, 종종 화학적 공격에 대한 콘크리트의 저항성을 향상시킵니다. 콘크리트 구조물에 가장 치명적인 위협 중 하나는 황산염 공격(sulphate attack)인데, 이는 토양, 지하수 또는 해수로부터 황산염 이온이 재료 내부로 침투할 때 발생합니다. 이 이온들은 시멘트와 반응하여 팽창하는 결정을 형성하고 콘크리트를 내부에서부터 균열시켜, 결국 구조물을 부스러지게 만듭니다. 이러한 가혹한 조건에서 특정 콘크리트 배합이 얼마나 오래 지속될지 예측하는 것은 안전과 지속 가능성을 위해 매우 중요하지만, 전통적인 테스트 방식은 결과를 얻기까지 때때로 수년이 걸릴 정도로 느립니다.

최근 몇 년 동안 과학자들은 이 예측 속도를 높이기 위해 머신러닝을 활용해 왔습니다. 연구자들은 수백 개의 과거 실험 데이터를 컴퓨터 알고리즘에 입력함으로써, 황산염에 노출된 후 새로운 콘크리트 배합의 강도가 어떻게 될지를 즉각적으로 추정할 수 있는 모델을 만들기를 희망합니다. 이러한 모델들은 높은 정확도를 바탕으로 거의 완벽한 정밀도로 결과를 예측할 수 있다고 주장하며 찬사를 받아왔습니다. 그러나 새로운 조사에 따르면, 이 찬사받는 정확도는 환상일 수 있습니다. 이 연구는 모델이 콘크리트의 복잡한 화학 작용을 실제로 학습하는 것이 아니라, 단순히 데이터를 생성한 특정 실험실들을 암기하고 있다는 사실을 밝혀냈습니다. 진정으로 새로운 상황에 직면했을 때, 이 모델들은 완전히 실패합니다. 이는 공학 분야에서 인공지능의 신뢰성을 어떻게 평가할 것인가에 대해 심각한 의문을 제기합니다.

이 연구의 연구진은 세 개의 별도 피어 리뷰(peer-reviewed) 과학 논문에서 수집된 데이터셋을 검토했습니다. 이 논문들은 다양한 보충 재료를 포함한 모르타르 배합의 압축 강도(샘플을 으뜨리는 데 필요한 힘) 측정값을 담고 있었습니다. 데이터는 다양한 종류의 첨가제, 다양한 대체 수준, 그리고 며칠에서 1년 이상의 기간에 걸친 황산염 용액 노출을 다루었습니다. 총 94개의 별도 관측치가 수집되었습니다. 연구팀은 이 결합된 데이터를 사용하여 표준적인 무작위 분할(random splitting) 기법을 통해 표준 머신러닝 모델을 훈련시켰습니다. 이 방법에서는 컴퓨터가 모든 데이터 포인트를 섞은 뒤, 20%를 테스트용으로 따로 떼어놓고 나머지 80%를 훈련에 사용하는 방식입니다. 데이터가 서로 다른 연구들에서 왔기 때문에, 이 무작위 섞기 방식을 통해 훈련 세트와 테스트 세트 모두 원래의 세 가지 출처를 모두 포함하도록 보장되었습니다.

연구진이 표준 무작위 방법을 사용하여 모델을 평가했을 때, 결과는 놀라웠습니다. 모델은 데이터의 변동성을 거의 97%까지 설명할 수 있다는 점수를 기록했습니다. 이 정도의 성능은 과학 문헌에서 보고되는 수준과 일치하며, 이는 모델이 콘크리트 성분과 내구성 사이의 관계를 마스터했음을 시사합니다. 모델은 실리카 퓨름과 같은 특정 첨가제가 일반적으로 더 강한 콘크리트를 만드는 반면, 다른 것들은 약화시킬 수 있다는 것을 학습한 것처럼 보였습니다. 모델은 화학적 공격 하에서 콘크리트가 어떻게 행동하는지를 규정하는 규칙을 성공적으로 해독한 듯 보였습니다.

그러나 연구진은 이 높은 점수가 오해의 소지가 있다고 의심했습니다. 그들은 각 세 가지 출처의 연구가 저마다 고유한 조건들을 사용했다는 점을 알고 있었습니다. 즉, 서로 다른 종류의 시멘트, 서로 다른 혼합 절차, 서로 다른 양생 환경, 그리고 결정적으로 서로 다른 농도의 황산염 용액을 사용했다는 것입니다. 현실 세계에서 한 세트의 조건으로 훈련된 모델은 완전히 새로운 조건에 대한 결과를 예측할 수 있어야 합니다. 이를 테스트하기 위해 연구진은 검증 방법을 변경했습니다. 개별 데이터 포인트를 무작위로 섞는 대신, 연구 전체를 제외하는 방식을 택했습니다. 그들은 두 개의 연구로 모델을 훈련시킨 뒤, 모델이 한 번도 본 적 없는 세 번째 연구의 결과를 예측하도록 했습니다. 이 과정을 세 번 반복하였으며, 매번 서로 다른 연구를 제외했습니다.

더 엄격한 이 테스트의 결과는 완전한 붕괴였습니다. 모델이 훈련받지 않은 연구의 콘크리트 강도를 예측하려고 했을 때, 성능은 급락했습니다. 높은 점수 대신, 모델은 단순히 평균 강도를 추측하는 것보다도 못한 성능을 나타내는 수학적 지표인 음수 값을 산출했습니다. 특정 사례에서 모델은 측정된 강도가 6에서 21 메가파스칼(MPa) 사이인 콘크리트를 예측하려 했으나, 오차가 무려 42 메가파스칼에 달했습니다. 이는 모델이 실제 재료의 강도보다 두 배 이상 높은 값을 예측하거나, 물리적으로 불가능한 음수의 강도를 예측했음을 의미합니다. 모델은 콘크리트의 물리학을 배운 것이 아니라, 데이터를 생성한 특정 실험실의 "지문"을 인식하는 법을 배운 것이었습니다.

조사는 왜 이런 일이 발생했는지 이해하기 위해 더 깊이 파고들었습니다. 연구진은 데이터의 전체 변동성을 분석하여, 강도의 차이 중 96%가 재료 내부의 차이가 아니라 연구 간의 차이에서 기인한다는 것을 발견했습니다. 한 연구는 특정 유형의 시멘트와 낮은 황산염 농도를 사용하여 매우 약한 콘크리트를 만든 반면, 다른 연구는 다른 시멘트와 높은 농도를 사용하여 매우 강한 콘크리트를 만들었습니다. 모델은 이러한 뚜렷한 패턴을 반복적으로 목격하면서, 연구 내의 재료 조합을 해당 연구의 전반적인 강도 수준과 연관시키는 법을 배웠습니다. 모델은 "이 콘크로에 실리카 퓨름이 들어있으면 강할 것이다"라고 말하는 대신, "이 데이터가 연구 A에서 온 것처럼 보인다면 강도는 낮을 것이다"라고 말하는 법을 배우고 있었던 것입니다.

이러한 혼란은 테스트된 특정 첨가제들이 종종 단일 연구에만 고유하게 나타난다는 사실 때문에 더욱 심화되었습니다. 11가지 유형의 보충 재료 중 10가지가 오직 하나의 논문에만 등장했습니다. 결과적으로 모델은 강도의 변화가 재료 때문인지, 아니면 연구 자체 때문인지 구분할 수 없었습니다. 두 개의 연구에 공통으로 등장한 단 하나의 재료에 대해서도, 사용된 황산염 염의 종류와 같은 기저 조건이 달랐기 때문에 두 연구 간의 평균 강도는 크게 차이가 났습니다. 모델의 무작위 테스트에서의 높은 정확도는 데이터 구조의 부산물이었을 뿐, 진정한 예측 능력의 반영이 아니었습니다. 그것은 데이터가 그룹화되고 테스트되는 방식에 의해 만들어진 통계적 신기루였습니다.

이 연구 결과는 머신러닝이 재료 과학에 적용되는 방식에 중대한 시사점을 던집니다. 이 연구는 데이터가 여러 출처에서 수집되었을 때, 데이터를 훈련 및 테스트 세트로 무작위 분할하는 표준 방식이 불충분하다는 것을 보여줍니다. 이 방식은 모델이 근본적인 과학을 배우는 대신 출처 특유의 패턴에 의존하게 만듭니다. 모델이 정말 유용한지 알기 위해서는 '하나의 출처를 제외하는 검증(leave-one-source-out validation)'이라 불리는, 완전히 새로운 출처의 데이터로 테스트해야 합니다. 나아가 연구자들은 데이터의 변동 중 얼마만큼이 연구 간의 차이에서 오고 얼마만큼이 연구 내의 차이에서 오는지를 반드시 보고해야 합니다. 이 사례처럼 변동의 대부분이 연구 자체에 의한 것이라면, 높은 정확도 점수는 모델의 실제 세계 내구성을 예측하는 능력에 대해 아무것도 알려주지 않습니다.

궁극적으로 이 연구는 너무 빠르게 진행되어 온 한 분야에 대한 필요한 교정 역할을 합니다. 이는 머신러닝이 엔지니어가 더 나은 콘크리트를 설계하는 데 도움을 줄 수 없다는 뜻이 아니라, 우리의 모델이 실제로 무엇을 하고 있는지에 대해 정직해야 한다는 점을 강조합니다. 서류상으로는 완벽해 보이지만 새로운 실험실의 데이터에 직면했을 때 실패하는 모델은 발견을 위한 도구가 아니라 데이터의 한계를 투영하는 거울일 뿐입니다. 이 분야가 앞으로 나아가기 위해서, 커뮤니티는 모델이 훈련받은 특정 실험을 넘어 일반화될 수 있음을 증명하도록 요구하는 더 엄격한 테스트 표준을 채택해야 합니다. 오직 그럴 때만이 우리는 이 디지털 도구들이 더 지속 가능하고 내구성 있는 미래를 건설하는 데 도움이 될 것이라고 믿을 수 있을 것입니다.