당신이 탐정이 되어 미스터리를 풀고 있다고 상상해 보십시오. 하지만 당신에게는 실제 범죄 현장이 없습니다. 대신, 당신이 일어났을 것이라고 '생각하는' 것을 담은 믿을 수 없을 정도로 정교한 컴퓨터 생성 영화가 있습니다. 당신은 이 영화를 통해 탐정 기술을 훈련하며 단서를 포착하고 결과를 예측하는 법을 배웁니다. 그런 다음, 당신의 영화로 훈련된 탐정 기술을 가지고 실제 세상으로 눈을 돌려, 그 탐정이 진실을 찾아낼 수 있기를 바랍니다. 이것이 바로 현대 물리학자들이 작업하는 방식입니다. 그들은 거대한 가속기 내부에서 충돌하는 아주 작은 입자부터 별의 탄생에 이르기까지, 우주를 모델링하기 위해 방대한 컴퓨터 시뮬레이션을 사용합니다. 그리고 그들은 패턴을 학습하는 초지능형 컴퓨터 프로그램인 머신러닝(ML)을 사용하여 망원경이나 입자 가속기에서 얻은 실제 데이터를 분석합니다.

하지만 여기 함정이 있습니다. 컴퓨터 영화는 결코 완벽하지 않습니다. 그것은 하나의 근사치입니다. 아마도 영화 속의 물리학이 약간 틀렸거나, 시뮬레이션 속의 '카메라'가 실제 망원경과 완전히 일치하지 않을 수도 있습니다. 모델이 잘못되었을 때, 우리는 이를 '오설정(misspecification)'이라고 부릅니다. 보통 우리는 이러한 작은 오류들을 알고 있으며 이를 수정할 수 있습니다. 하지만 때때로, 모델은 우리가 존재 가능성조차 인지하지 못했던 방식으로 틀리기도 합니다. 이것이 바로 '알 수 없는 미지의 것들(unknown unknowns)'입니다. 너무나 숨겨져 있어서 우리의 일반적인 점검으로는 찾아낼 수 없는 결함들 말입니다. 이는 매우 중요한 문제입니다. 만약 당신의 탐정이 결함이 있는 영화로 훈련되었다면, 그는 단순히 프로젝터의 글리치(glitch, 오류)를 발견한 것뿐인데도 새로운 외계 종족을 발견했다고 생각할 수도 있기 때문입니다. 혹은 더 최악의 경우, 그 글리치가 외계인을 배경 소음처럼 보이게 만들어 진짜 외계인을 놓치게 될 수도 있습니다.

"Unknown Unknowns: Model Misspecification in Machine Learning for Physics"라는 제목의 이 논문은 이 탐정들을 위한 가이드북 역할을 합니다. 저자들인 물리학자와 데이터 과학자 팀은 머신러닝이 이 문제를 만드는 것이 아니라, 단지 더 크게 만들고 무시하기 어렵게 만들 뿐이라고 주장합니다. 그들은 ML이 새로운 물리학을 찾는 강력한 도구이지만, 동시에 시뮬레이션의 숨겨진 오류를 증폭시킬 수도 있다고 설명합니다. 그들은 모델이 틀렸다는 것을 알아내는 것이 목적이 아니라고 말합니다. 대신, 우리는 결코 모델이 100% 완벽하다고 확신할 수 없다는 마음가짐과 도구 모음을 가져야 합니다. 우리는 모델을 끊임없이 스트레스 테스트하고, 모델이 어디에서 깨지는지 확인하기 위해 다양한 점검 체계를 사용하며, 실험을 설계할 때 틀렸을 때도 살아남을 수 있도록 설계해야 한다고 말합니다. 핵심 메시지는 좋은 과학자가 된다는 것은 완벽한 모델을 갖는 것이 아니라, 자신의 모델을 의심할 줄 알고 예상치 못한 방식으로 틀렸을 때도 대처할 수 있는 시스템을 구축하는 것입니다.

탐정의 딜레마: 지도가 틀렸을 때

물리학을 "지도와 영토"의 게임이라고 생각해 보십시오. "영토"는 복잡하고, 무질서하며, 때로는 기이한 행동을 보이는 실제 우주입니다. "지도"는 그 영토를 설명하려고 노력하는 수학적 모델이나 컴퓨터 시뮬레이션입니다. 옛날에 물리학자들은 지형을 직접 확인하며 손으로 지도를 그렸습니다. 오늘 \러는 머신러닝을 사용하여 빛의 속도로 지도를 그립니다. 하지만 지도가 잘못된 규칙으로 그려졌다면, 탐정은 길을 잃게 됩니다.

논문은 지도가 "오설정(misspecified)"되었다는 것이 무엇을 의미하는지 정의하며 시작합니다. 그것은 단순한 오타가 아니라 근본적인 오해입니다. 예를 들어, 당신이 날씨를 예측하려고 한다고 가정해 봅시다. 만약 당신의 모델이 비가 항상 수직으로 내린다고 가정하는데, 실제로는 바람 때문에 비가 옆으로 불고 있다면, 당신의 모델은 오설정된 것입니다. 물리학에서 이런 일은 우리가 퍼즐의 한 조각, 예를 들어 숨겨진 힘이나 기이한 입자 상호작용을 놓쳤을 때 발생합니다. 저자들은 중요한 구분을 합니다. 때로는 지도가 틀렸다는 것을 발견하는 것 자체가 목적이 될 수 있습니다! 지도가 특정한 방식으로 실패한다면, 그것은 우리가 새로운 자연 법칙(예: 암흑 에너지)을 발견했음을 의미할 수 있습니다. 하지만 다른 경우에는 지도가 그저 지루한 방식으로 엉망인 것일 뿐(예: 흐릿한 카메라 렌즈), 우리는 단지 다른 것을 정확하게 측정하기 위해 그림을 깨끗하게 정리하고 싶을 뿐입니다. 도전 과제는 "새로운 발견"과 "글리치"를 구별하는 것입니다.

"알 수 없는 미지의 것들"이라는 괴물

이야기에서 가장 무서운 부분은 "알 수 없는 미지의 것(Unknown Unknown)"입니다. 당신이 모르는 것이 무엇인지 알고 있습니까? 그것은 "알려진 미지의 것(known unknown)"입니다. 예를 들어, 당신은 당신의 자가 1밀리미터 정도 어긋나 있을 수 있다는 것을 압니다. 당신은 그것을 고려할 수 있습니다. "알 수 없는 미지의 것"은 당신의 자가 고장 났다는 사실조차 모르는 상황입니다. 아마도 자가 열을 받으면 늘어나는데, 당신은 온도를 체크해야 한다는 생각조차 하지 못한 상황 같은 것입니다.

논문은 머신러닝이 이러한 괴물들을 더 위험하게 만든다고 설명합니다. 머신러닝 모델은 패턴을 찾는 데 매우 뛰어나기 때문에, 실제 물리학 대신 시뮬레이션의 "글리치"를 실수로 학습할 수 있습니다. 만약 시뮬레이션에 고속에서만 발생하는 작고 이상한 오류가 있다면, ML 모델은 그 오류를 하나의 규칙으로 학습할 수 있습니다. 그러면 실제 데이터를 볼 때, 모델은 혼란에 빠지거나, 더 나쁘게는 자신 있게 틀린 답을 내놓게 됩니다. 저자들은 모델이 데이터를 잘 맞춘다고 해서 단순히 신뢰해서는 안 된다고 경고합니다. 모델은 "틀린 이유로 맞을 수" 있습니다. 모델이 오류를 상쇄하는 딱 맞는 논리를 사용하여 결과적으로는 맞는 답을 예측할 수도 있기 때문입니다.

도구 모음: 글리치를 잡아내는 방법

그렇다면, 어떻게 이 보이지 않는 괴물들을 잡을 수 있을까요? 논문은 단 하나의 테스트에만 의존해서는 안 된다고 제안합니다. 이것은 마치 배에 물이 새는지 찾는 것과 같습니다. 단순히 수위만 봐서는 안 됩니다. 선체를 두드려 보고, 물방울 떨어지는 소리를 듣고, 어쩌면 배에 물을 가득 채워 어디서 거품이 올라오는지 확인해야 할 수도 있습니다.

1. 적합도 검사 (The "Does it Look Right?" Test - "이것이 제대로 보이는가?" 테스트): 이것은 첫 번째 점검입니다. 우리는 실제 데이터와 시뮬레이션을 비교합니다. 만약 둘이 완전히 달라 보인다면, 무언가 잘못되었다는 것을 알 수 있습니다. 논문은 이를 수행하는 여러 방법을 나열합니다. 예를 들어, "분류기(classifier, 스마트한 분류 도구)"를 사용하여 실제 데이터와 가짜 데이터를 구분할 수 있는지 확인하는 것입니다. 만약 분류기가 둘을 쉽게 구별해낸다면, 모델이 오설정된 것입니다. 하지만 분류기가 미묘한 차이를 잡아내지 못한다 하더라도, 모델은 여전히 미묘하게 틀려 있을 수 있습니다.

2. 데이터 분할 (The "Stress Test" - "스트레스 테스트"): 학생에게 특정 연습 문제 세트로 공부를 시킨다고 상상해 보십시오. 만약 그 학생이 시험을 잘 본다면 좋습니다. 하지만 완전히 다른 주제의 문제를 준다면 어떻게 될까요? 만약 낙제한다면, 그 학생은 개념을 정말로 배운 것이 아니라 단지 답을 암기한 것입니다. 물리학자들은 데이터를 나누어 이 작업을 수행합니다. 그들은 우주의 한 부분(예: 초기 우주)의 데이터로 모델을 훈련시키고, 다른 부분(예: 후기 우주)의 데이터로 테스트할 수 있습니다. 만약 모델이 실패한다면, 그것은 보편적인 법칙을 배운 것이 아니라 첫 번째 데이터셋의 특정한 특징만을 학습했다는 뜻입니다.

3. 폐쇄성 테스트 (The "Fake Reality" Check - "가짜 현실" 확인): 여기서 과학자들은 정답을 알고 있는 완벽한 가짜 우주를 만듭니다. 그들은 이 가짜 데이터에 대한 분석을 실행합니다. 만약 분석이 그들이 알고 있는 정답을 찾아내지 못한다면, 그 방법 자체에 문제가 있는 것입니다. 이것은 요리사가 자신이 만든 음식을 맛보는 것과 같습니다. 만약 자신이 넣은 소금 맛을 느끼지 못한다면, 음식의 문제가 아니라 미각에 문제가 있는 것입니다.

지도를 수정하기: 완화 전략

글리치를 발견했다면, 이제 무엇을 해야 할까요? 논문은 이를 해결하거나, 적어도 이에 대처하는 네 가지 주요 방법을 제시합니다.

• 불확실성으로 덮기 (Covering with Uncertainties): 때때로 우리는 지도가 다소 흐릿하다는 것은 알지만, 얼마나 흐릿한지는 모릅니다. 그래서 결과에 큰 "흐릿함" 라벨을 붙입니다. "보물은 여기 있고, 오차 범위는 1마일이다"라고 말하는 것과 같습니다. 이것은 지도를 고치는 것은 아니지만, 우리가 옆 동네에 있으면서 보물을 찾았다고 주장하는 것을 막아줍니다.
• 캘리브레이션 (Calibration - 교정): 이것은 라디오 주파수를 맞추는 것과 같습니다. 시뮬레이션이 실제 데이터와 약간 다르게 들린다면, 우리는 노브(재가중치 부여)를 조정하여 실제와 일치하도록 만들 수 있습니다. 우리는 시뮬레이션을 실제와 비슷하게 보이도록 조정할 수 있습니다. 하지만 논문은 주의를 줍니다. 라디오를 너무 많이 튜닝하면, 우리가 찾으려 했던 새로운 음악(새로운 물리학)까지 차단해 버릴 수 있습니다.
• 나쁜 특징 피하기 (Avoiding the Bad Features): 만약 특정 부분의 지도가 고장 났다는 것을 안다면(예: 존재하지 않는 다리), 그냥 그 위로 운전하지 마십시오. 물리학에서 이는 시뮬레이션이 제대로 처리하지 못하는 특정 데이터 포인트나 특징을 무시하는 것을 의미합니다. 이는 사진의 흐릿한 부분을 무시하는 것과 비슷합니다.
• 데이터 기반 모델링 (Data-Driven Modeling): 때로는 시뮬레이션을 아예 사용하지 않고, 실제 데이터를 직접 사용하여 모델을 구축하기도 합니다. 이것은 매뉴얼을 읽는 대신 다른 차들을 관찰하며 운전을 배우는 것과 같습니다. 이는 시뮬레이션의 오류를 피할 수 있지만, 실제 데이터가 어떻게 작동하는지에 대한 새로운 가정을 도입하게 됩니다.

미래: 로봇이 탐정이 될 수 있을까?

논문은 미래를 내다보며 끝을 맺습니다. 인공지능이 우리를 대신해 과학적 방법론 전체를 수행할 수 있을까요? 스스로 이론을 제안하고, 모델을 구축하고, 테스트하고, 오류를 찾아내고, 수정하는 로봇을 상상해 보십시오. 저자들은 이것이 가능하다고 제안하지만, 함정이 있습니다. AI는 패턴을 찾는 데는 뛰어나지만, "취향(taste)"을 가질 수는 없습니다. AI는 데이터에 완벽하게 들어맞는 이론을 내놓을 수는 있지만, 인간 물리학자에게는 전혀 말이 되지 않는 이론을 내놓을 수도 있습니다. AI는 실제 발견을 이끄는 "아름다움"이나 "단순함"을 놓칠 수 있습니다. 따라서 AI가 수백만 가지의 가능성을 점검하는 데 도움을 줄 수는 있지만, 어떤 것이 추구할 가치가 있는지를 결정하는 것은 여전히 인간 탐정의 몫입니다.

결론

이 논문이 주는 가장 중요한 교훈은 새로운 공식이나 도구가 아닙니다. 그것은 바로 '태도'입니다. 저자들은 "모든 모델은 틀렸지만, 어떤 모델은 유용하다"는 점을 상기시킵니다. 목표는 결코 실패하지 않는 완벽한 모델을 만드는 것이 아닙니다. 목표는 우리가 예상치 못한 방식으로 틀렸을 때도 견뎌낼 수 있을 만큼 견고한 모델을 만드는 것입니다. 그것은 겸손함에 관한 것입니다. "내가 틀릴 수도 있다"라고 인정하고, 그 실수가 전체 조사를 망치지 않도록 실험을 설계하는 것에 관한 것입니다.

거대한 컴퓨터와 초지능형 알고리즘의 시대에, 이 논문은 우리가 가진 가장 강력한 도구는 여전히 자기 자신의 작업에 의심을 품는 인간의 의지라고 주장합니다. 우리는 계속해서 "내가 무언가를 놓치고 있는 것은 아닐까?", "모델이 나에게 거짓말을 하고 있는 것은 아닐까?"라고 물어야 합니다. 왜냐로 결국, 가장 위대한 발견은 우리의 지도가 우리를 배신했을 때, 그리고 우리가 새로운 지도를 그려야만 했을 때 찾아오기 때문입니다.