Probabilistic indirect models for undrained shear strength: addressing significant data missing and variability with advanced imputation and machine learning techniques

한 번도 본 적 없는 땅 위에 마천루를 짓는다고 상상해 보십시오. 단순히 추측해서는 안 됩니다. 흙이 얼마나 강한지 알아야 합니다. 그렇지 않으면 건물 전체가 가라앉거나 미끄러질 수 있기 때문입니다. 이것이 바로 지반 공학자들이 하는 일입니다. 그들은 흙의 "비배수 전단 강도(undrained shear strength)"를 연구합니다. 기본적으로 물이 안에 갇혀 있을 때 흙이 미끄러지기 전까지 얼마나 많은 힘을 견딜 수 있는지를 보는 것입니다. 이는 마치 젖은 스펀지가 납작하게 찌그러지기 전까지 얼마나 많은 무게를 버틸 수 있는지 알아내는 것과 비슷합니다. 문제는 이 정보를 얻는 과정이 매우 지저집령하다는 점입니다. 때로는 너무 깊거나 비용이 많이 들어서 흙을 직접 테스트할 수 없기 때문에, 엔지니어들은 흙의 끈적임이나 원뿔이 이를 뚫고 들어가는 정도와 같은 다른 단서들을 바탕으로 추측해야 합니다. 하지만 이러한 추측은 말 그대로나 비유적으로나 구멍이 숭숭 뚫려 있는 경우가 많습니다. 데이터가 누락되어 있고, 숫자들은 지점마다 크게 달라지며, 기존의 추측 방식은 종종 너무 불확실하여 안전을 보장하기 어렵습니다.

이 논문은 사라진 토양 데이터를 찾는 사건을 해결하려는 탐정 팀과 같습니다. 그들은 CLAY/10/7490이라는 점토 토양에 대한 거대한 글로벌 "실종자" 파일인 데이터베이스를 확보했습니다. 이 파일은 30개국의 정보를 담고 있지만, 상태는 엉망입니다. 정보의 약 34%만이 실제로 존재합니다. 나머지는 퍼즐 조각 대부분이 뜯겨 나간 것처럼 빈칸으로 남아 있습니다. 연구진은 고급 컴퓨터 기술을 사용하여 이 빈칸을 채우고, 채워진 퍼즐을 통해 그 어느 때보다 정확하게 토양 강도를 예측할 수 있는지 확인하고 싶었습니다. 그들은 빈 조각을 추측하는 세 가지 서로 다른 방법을 테스트했으며, 어떤 조합이 가장 잘 작동하는지 확인하기 위해 두 가지 새로운 유형의 "슈퍼 예보가"를 구축했습니다.

위대한 누락된 조각 찾기

팀은 7,490개의 점토 데이터 행을 포함하는 거대한 데이터베이스를 살펴보는 것으로 시작했습니다. 하지만 함정이 있었습니다. 대부분의 행이 불완전했다는 점입니다. "아터버그 한계(Atterberg limits)"(점토가 얼마나 끈적이고 가소성이 있는지를 측정함)와 같은 일부 열은 약 40% 정도만 누락되었지만, "CPTU" 측정값(땅속으로 원뿔을 밀어 넣는 방식)에 관한 열은 90% 이상 누락되어 있었습니다! 이는 마치 목격자가 본 내용의 90%를 잊어버린 사건 현장에서 범인을 찾는 것과 같았습니다.

먼저, 그들은 다변량 정규(Multivariate Normal, MN) 모델이라는 단순하고 고전적인 방법을 시도했습니다. 이것은 수학을 잘하는 학생은 보통 과학도 잘한다는 것을 알고 있는 선생님과 같습니다. 만약 학생의 과학 성적이 누락되었다면, 선생님은 그 학생의 수학 성적을 바탕으로 추측합니다. 연구진은 이 논리를 사용하여 누락된 토양 데이터를 채웠습니다. 그들은 이 방법이 데이터의 일반적인 "형태"는 유지하지만, 그 자체만으로는 최종 예측을 크게 개선하지 못한다는 것을 발견했습니다. 이는 마치 퍼즐을 맞출 때 모양은 비슷해 보이지만 그림에는 딱 들어맞지 않는 조각들로 채우는 것과 같았습니다.

다음으로, 그들은 더 정교한 두 가지 방법인 MICE와 **Miss Forest (MF)**를 시도했습니다.

• MICE는 단서들을 바탕으로 돌아가며 누락된 정보를 추측하는 탐정 그룹과 같습니다. 한 명의 탐정이 단서를 바탕으로 값을 추측하면, 다음 탐정은 그 추측치를 사용하여 자신의 추측을 하고, 이들이 서로 합의할 때까지 과정을 반복합니다.
• Miss Forest는 누락된 조각을 파악하기 위해 "의사결정 나무(decision trees)의 숲"을 사용하는 초스마트 AI 탐정 팀과 같습니다. 이들은 단순한 수학이 놓칠 수 있는 복잡한 패턴을 찾아냅니다.

이 방법들을 비교했을 때, MICE가 원래의 실제 세계 토양과 유사하게 데이터를 유지하는 데 가장 뛰어난 것으로 나타났습니다. MICE는 이상치(outlier)를 만들거나 가짜 패턴을 생성하지 않았으며, 원래의 통계적 분포에 가장 충실했습니다. Miss Forest는 괜찮았지만, 가끔 너무 창의적인 추측을 내놓기도 했습니다. 단순한 MN 방법은 데이터의 진정한 본질을 보존하는 데 가장 부정확했으며, 종종 원래의 무질서한 현실에 비해 "과도하게 집중된(overly concentrated)" 결과를 만들어냈습니다.

슈퍼 예보가들

"채워진" 데이터베이스를 구축한 후, 연구진은 기존의 방식보다 토양 강도를 더 잘 예측할 수 있는지 확인하기 위해 두 가지 새로운 유형의 예측 모델을 만들었습니다.

1. PXGB (확률적 극단 그래디언트 부스팅): 100명의 전문가가 정답에 투표하는 장면을 상상해 보십시오. 한 명의 전문가가 틀리면 다른 전문가들이 이를 바로잡습니다. 이 모델은 지저질 데이터(messy data)를 처리하는 데 뛰어나지만, 여전히 표준적인 "투표" 기계에 불과합니다.
2. MHA-PNN (멀티 헤드 어텐션 확률 신경망): 이것이 주인공입니다. 이 모델을 **'주의(Attention)'**라는 초능력을 가진 탐정이라고 생각하십시오. 마치 북적이는 방 안에서 소음을 무시하고 특정 세부 사항에 집중할 수 있는 것처럼, 이 모델은 토양 데이터에서 가장 중요한 단서에 집중하고 쓸모없는 단서는 무시할 수 있는 "헤드(heads)"를 가지고 있습니다. 이 모델은 단순히 데이터를 보는 것이 아니라, 서로 다른 단서들 사이의 관계를 이해합니다.

대공개

결과는 명확했습니다. 연구진이 이 모델들을 테스트했을 때, MHA-PNN 모델이 경쟁자들을 압도했지만, 누락된 데이터를 어떻게 채우느냐에 따라 결과가 특정 방식으로 영향을 받았습니다.

• 정확도: MHA-PNN 모델은 가장 잘 채워진 데이터를 사용했을 때 PXGB 모델보다 오차가 약 72% 작았습니다.
• 신뢰도: 이 모델은 단순히 숫자를 추측하는 것이 아니라, 발생 가능한 값의 범위(불확실성)를 제시했습니다. MHA-PNN의 추측치는 훨씬 더 촘-하고 신뢰할 수 있었습니다. 이 모델의 "신뢰 구간(confidence interval)"은 PXGB 모델보다 약 96% 더 좁았는데, 이는 틀리지 않으면서도 자신의 답에 대해 훨씬 더 확신을 가지고 있음을 의미합니다.
• "누락" 문제: 연구진은 또한 중요한 사실을 발견했습니다. 단서(데이터 조각)가 몇 개 없을 때(4개 미만), 아무리 좋은 모델이라도 어려움을 겪는다는 점입니다. 이는 마치 영화의 단 한 장면만 보고 전체 줄거리를 맞추려는 것과 같습니다. 하지만 충분한 단서가 확보되자, MHA-PNN 모델은 빛을 발했습니다.

여기에는 반전이 있습니다. MICE가 데이터의 통계적 형태를 보존하는 데(채워진 퍼즐을 실제와 가장 비슷하게 만드는 데) 확실한 승자였지만, 최종 예측을 위한 완벽한 파트너는 아니었습니다. 놀랍게도, MHA-PNN 모델은 MN 보간법과 결합했을 때 절대적인 최고의 성능을 달enc했습니다. 연구진은 MN이 이 특정 고급 모델을 위해 가장 좋은 *절충안(trade-off)*을 제공한다는 것을 발견했습니다. 비록 MN이 MICE만큼 데이터 분포를 완벽하게 보존하지는 못했지만, MHA-PNN이 예측을 구축할 수 있는 가장 정확한 토대를 제공했기 때문입니다. 즉, "최고의" 조합은 단일 최고의 보간법이나 단일 최고의 모델을 고르는 것이 아니라, 고급 "슈퍼 어텐션" 모델이 최상의 성과를 낼 수 있는 특정 쌍을 찾는 것이었습니다.

이것이 왜 중요한가

이 연구는 데이터가 불완전하고 지저분하더라도 더 안전하고 신뢰할 수 있는 토양 강도 예측 모델을 구축할 수 있음을 시사합니다. 이러한 고급 "어텐션" 기술을 사용하고 적절한 데이터 채우기 파트너를 찾는다면, 엔지니어들은 모든 토양을 일일이 테스트하지 않고도 기초, 터널, 경사면을 위한 더 나은 결정을 내릴 수 있을 것입니다. 그러나 저자들은 이것이 실제 세계의 테스트를 대체하는 마법 지팡이가 아님을 주의 깊게 언급합니다. 이는 데이터가 부족할 때 좋은 첫 번째 추측을 얻기 위한 강력한 도구이지만, 가장 중요한 프로젝트를 위해서는 여전히 직접 땅을 확인해야 합니다.

요약하자면, 이 논문은 컴퓨터에게 올바른 단서에 집중하도록 가르치고, 설령 그 채우기 방식이 통계적으로 완벽하지 않더라도 지능적으로 빈칸을 채움으로써, 우리는 엉망이고 불완전한 퍼즐을 발밑의 땅에 대한 선명한 그림으로 바꿀 수 있다는 것을 보여줍니다.