When Does AI for PDEs Yield Scientific Evidence?

현대 과학의 광활한 풍경 속에서, 연구자들이 물리적 세계를 이해하는 데 도움을 줄 강력하고 새로운 도구가 등장했습니다. 바로 자연을 지배하는 방정식에 적용된 인공지능입니다. 편미분 방정식으로 알려진 이 방정식들은 물의 흐름과 공기의 움직임부터 열과 전기의 거동에 이르기까지 모든 것을 설명하는 데 사용되는 수학적 언어입니다. 수십 년 동안 과학자들은 이러한 방정식을 풀기 위해 전통적인 컴퓨터 시뮬레이션에 의존해 왔지만, 최근 몇 년 사이 AI 모델은 놀라운 속도와 정밀도로 이러한 물리적 행동을 예측하는 법을 학습할 수 있음을 보여주었습니다. 이러한 AI 모델을 판단하는 표준적인 방법은 단순하고 직접적이었습니다. 즉, AI의 예측이 알려진 정답과 얼마나 밀접하게 일치하는가 하는 점입니다. 숫자가 일치하면 그 모델은 훌륭한 것으로 간주됩니다. 이러한 접근 방식은 급격한 발전을 이끌어냈으며, 출력값과 진실 사이의 차이를 최소화하는 모델을 만들기 위한 경쟁을 촉발했습니다.

하지만 중요한 질문 하나가 거의 제기되지 않은 채 남아 있었습니다. 과연 매우 정확한 수치를 생성하는 모델이 실제로 과학적 발견을 하는 데 필요한 종류의 증거를 제공하느냐는 것입니다. 현실 세계에서 연구자들은 단순히 숫자만을 원하는 것이 아닙니다. 그들은 "이 빙하가 우리가 생각했던 것보다 더 빨리 녹고 있다"라거나 "이 유체는 이러한 조건 하에서 불안정해질 것이다"와 같은 구체적인 주장을 뒷받침할 증거를 원합니다. 어떤 모델은 전체적으로는 믿기지 않을 정도로 정확할 수 있지만, 여전히 그 주장에 중요한 특정 세부 사항을 놓칠 수 있으며, 혹은 그 차이가 아주 미세하더라도 결론을 완전히 바꿔버릴 수도 있습니다. 지금까지 과학계는 높은 정확도가 자동으로 강력한 증거가 된다고 가정해 왔습니다. 새로운 연구는 이러한 가정을 반박하며, 우리가 성공을 측정하기 위해 사용하는 도구들이 과학적 발견이라는 과업에 적합한 잘못된 AI 모델을 선택하도록 유도하고 있을 수 있다고 시사합니다.

남중 화남 공과대학교의 웬슈오 왕(Wenshuo Wang)이 이끄는 연구진은 AI 모델을 평가하는 새로운 방법을 개발함으로써 이 아이디어를 테스트하고자 했습니다. 그들은 단순히 "당신의 답이 정답과 얼마나 가까운가?"라고 묻는 대신, "당신의 답이 특정한 과학적 주장을 뒷받침할 충분한 증거를 제공하는가?"라고 물었습니다. 이를 위해 그들은 물리학 분야에서 널리 사용되는 두 가지 기존 벤치마크—하나는 시스템이 시간에 따라 어떻게 진화하는지를 예측하는 것이고, 다른 하나는 데이터로부터 숨겨진 물리적 특성을 파악하는 것—를 가져와 새로운 평가 계층을 추가했습니다. 그들은 동일한 AI 모델들을 사용하여 동일한 데이터를 입력하고 동일한 문제를 풀게 했습니다. 하지만 이번에는 전통적인 정확도 점수와 더불어, 모델의 출력이 사전에 정의된 특정 과학적 진술을 뒷받침할 수 있는지 여부도 함께 확인했습니다.

국가 내 모든 도시의 기온을 완벽하게 예측하지만, 특정 해안 마을에 폭풍이 닥칠 것이라는 예측에는 실패하는 기상 예보관을 상상해 보십시오. 만약 평균 기온 오차만을 본다면 그 예보관은 천재처럼 보일 것입니다. 하지만 당신의 목표가 마을에 폭풍을 경고하는 것이라면, 그 예보관는 실패한 것입니다. 연구진은 물리 법칙의 AI 모델에서도 이와 유사한 현상이 발생한다는 것을 발견했습니다. 그들은 순수한 수치적 정확도에서 가장 높은 순위를 차지한 모델들이 과학적 주장을 뒷받침하는 증거를 제공하는 데 있어 가장 높은 순위를 차지한 모델들과 일치하지 않는 경우가 많다는 것을 발견했습니다. 사실, 두 목표는 자주 서로 다른 승자를 가리켰습니다.

이 결론에 도달하기 위해 연구팀은 현재 사용 중인 가장 발전되고 인기 있는 모델들을 포함하여 매우 다양한 AI 모델들을 조사했습니다. 그들은 얕은 강에서의 물의 흐름을 시뮬레이션하는 것부터 지하 암석층의 숨겨진 특성을 추론하는 작업에 이르기까지 다양한 과업에 이 모델들을 테스트했습니다. 각 과업에 대해 그들은 "지역의 평균 수위가 특정 범위 내에 유지될 것인가" 또는 "특정 유형의 암석이 압력 하에서 어떻게 행동할 것인가"와 같은 구체적인 과학적 주장을 정의했습니다. 그런 다음 각 모델에 대해 두 가지를 측정했습니다. 즉, 예측값이 실제 정답과 얼마나 가까운지, 그리고 그 예측값과 추정된 불확실성이 해당 주장을 확증하기에 충분히 강력한지 여부였습니다.

결과는 놀라웠습니다. 거의 모든 주요 비교에서, 오차를 최소화하는 데 가장 뛰어났던 모델은 과학적 주장을 뒷받침하는 데 가장 뛰어났던 모델과 달랐습니다. 때로는 그 차이가 작았지만, 종종은 매우 유의미했습니다. 연구진은 어떤 모델이 수치적으로는 정확할지라도, 만약 오류가 잘못된 방향으로 발생하거나 모델이 대안적인 가능성을 배제할 만큼 확실하지 않다면 여전히 주장을 뒷받침하는 데 실패할 수 있다는 것을 발견했습니다. 반대로, 전체적인 오차는 약간 더 크더라도 특정 영역에서의 오차가 충분히 작다면 여전히 특정 주장에 대한 강력한 증거를 제공할 수 있습니다.

연구는 왜 이러한 불일치가 발생하는지를 설명하는 데 더 나아갔습니다. 알고 보면 정확도와 증거 사이의 관계는 세 가지 핵심 요소에 달려 있습니다: 실제 값이 주장하는 경계에 얼마나 가까운지, 모델의 오류가 어디에서 발생하는지, 그리고 모델의 불확실성 범위가 얼마나 넓은지입니다. 만약 실제 값이 주장의 경계선에 딱 걸쳐 있다면, 아주 작은 오차만으로도 결론이 '지지됨'에서 '반박됨'으로 뒤바뀔 수 있습니다. 모델이 잘못된 방향으로 오류를 범한다면, 전체 오차가 작더라도 주장을 약화시킬 수 있습니다. 그리고 모델이 너무 불확실하다면, 평균적인 예측이 아무리 정확하더라도 주장을 뒷받침하는 결정적인 증거를 제공할 수 없습니다.

이 발견은 과학계가 AI를 개발하고 사용하는 방식에 심오한 함의를 갖습니다. 수년 동안 연구자들은 최대한 정확하게 만드는 것이 자연스럽게 더 나은 과학적 통찰로 이어질 것이라고 가정하며 모델을 최적화해 왔습니다. 이 연구는 그러한 가정이 결함이 있음을 시사합니다. 정확도에만 집중함으로써, 우리는 의도치 않게 데이터를 재현하는 데는 뛰어나지만 과학적 발견에 필요한 구체적인 증거를 제공하는 데는 서툰 모델들을 선호하게 될 수 있습니다. 저자는 우리가 이러한 도구를 평가하는 방식을 바꿔야 한다고 주장합니다. 단일한 정확도 점수만을 보는 대신, AI 모델이 실제로 과학자들이 내려고자 하는 구체적인 주장을 뒷받침할 수 있는지 평가해야 합니다.

연구진은 단순히 문제점을 지적하는 데 그치지 않고, 해결책을 측정하기 위한 프레임워크를 구축했습니다. 그들은 과학적 주장에 대한 지원을 수치적 정확도와 별개의 목표로 취급하는 새로운 평가 시스템을 만들었습니다. 그들은 이 시스템을 남극 빙하의 흐름과 다공성 암석 내 유체의 이동을 포함한 실제 시나리오에 테스트했으며, 이것이 의도한 대로 작동함을 확인했습니다. 이 시스템은 수치적 정확도가 비슷할 때조차도 강력한 증거를 제공하는 모델과 그렇지 않은 모델을 명확하게 구분해 낼 수 있었습니다.

이 작업은 과학에서 목표가 단지 '맞는 것'이 아니라, '의미 있는 방식으로 맞는 것'임을 상기시켜 주는 중요한 역할을 합니다. 통계적으로는 정확하지만 과학적으로는 쓸모없는 모델은 놓쳐버린 기회입니다. AI가 과학 연구에 더욱 통합됨에 따라, 이 모델들을 판단하는 방식도 진화해야 합니다. 우리는 우리가 만드는 도구들이 단순히 숫자를 잘 맞추는 것을 넘어, 인간의 이해를 진전시키는 견고하고 신뢰할 수 있는 증거를 제공할 수 있는 능력을 갖추도록 해야 합니다. 연구는 우리는 정확도가 곧 증거라는 가정을 멈추고, 이 둘을 별개로 측정하기 시작해야 하며, 이를 통해 미래의 AI 모델이 진정으로 과학적 발견이라는 목적에 부합하도록 만들어야 한다고 결론짓습니다.