On the definition and importance of interpretability in scientific machine learning

이 논문은 과학적 기계학습 (SciML) 에서 해석 가능성의 정의를 명확히 하고, 단순한 수학적 희소성이 아닌 메커니즘 이해를 강조하는 새로운 운영적 정의를 제안하며, 기존 연구들이 해석 가능성과 희소성을 혼동하고 있다는 점을 지적합니다.

핵심

이 논문은 "과학적 머신러닝 (SciML)" 분야에서 인공지능이 발견한 결과를 어떻게 이해하고, 과학 지식으로 받아들일 수 있는지에 대한 중요한 질문을 던집니다.

간단히 말해, "인공지능이 찾아낸 수학적 공식이 정말로 '이해 가능한' 과학적 발견인가?" 라는 의문에서 시작합니다.

이 복잡한 논의를 일상적인 비유와 쉬운 언어로 풀어보겠습니다.

---

1. 문제의 시작: "블랙박스"와 과학자의 불안감

과거 과학자들은 자연의 법칙을 발견할 때, "간단하고 아름다운 수학 공식" (예: 뉴턴의 운동 법칙, 아인슈타인의 E=mc²) 을 찾아냈습니다. 이 공식들은 누구나 읽을 수 있고, 그 뒤에 숨은 원리 (왜 그런지) 를 설명할 수 있었습니다.

하지만 최근 인공지능 (AI) 이 데이터를 분석해 예측을 잘 해내자, 과학자들은 불안해하기 시작했습니다.

• AI 의 방식: "이 데이터를 보면 결과가 A 가 나오네. 이 복잡한 패턴을 찾아냈어!" (수백만 개의 숫자로 이루어진 '블랙박스' 모델).
• 과학자의 요구: "그렇지만 왜 A 가 나오는 거지? 그 뒤에 숨은 물리 법칙은 뭐야?"

AI 가 예측은 잘하지만, 그 이유를 설명해주지 못하면 과학자들은 "이건 그냥 숫자 놀음이지, 진짜 과학적 발견이 아니다"라고 생각합니다.

2. 현재의 오해: "간단함 (희소성) = 이해 가능성"

논문은 현재 과학계 (특히 '방정식 발견'이나 '기호 회귀' 분야) 에서 흔히 하는 오해를 지적합니다.

오해: "AI 가 찾아낸 공식이 짧고 간단하면 (Sparse), 그건 바로 '이해 가능한 (Interpretable)' 것이다."

저자들은 이를 **"간단한 레시피 = 맛있는 음식"**이라고 착각하는 것과 같다고 비유합니다.

• 비유: 어떤 AI 가 "재료 A 를 3 개, 재료 B 를 5 개 섞으면 맛있는 요리가 나온다"는 아주 짧은 공식을 찾아냈다고 칩시다.
• 현실: 공식은 짧고 간단하지만, 왜 그 재료를 섞어야 맛있는지, 그 재료가 어떤 화학 반응을 일으키는지 모르면 그 공식은 그냥 "요리 비법"일 뿐, "요리 과학"이 될 수 없습니다.

저자들은 **"공식이 짧다고 해서 반드시 그 뒤에 숨은 원리 (메커니즘) 를 이해하는 것은 아니다"**라고 말합니다.

3. 새로운 정의 제안: "이해 가능성"이란 무엇인가?

저자들은 과학자들에게 더 적합한 새로운 정의를 제안합니다.

새로운 정의: "어떤 공식을 이미 우리가 알고 있는 기본 물리 법칙 (질량 보존, 에너지 보존 등) 과 연결지을 수 있을 때, 그 공식은 '이해 가능한' 것이다."

이를 **"지도와 나침반"**에 비유해 볼까요?

• 이해 가능한 공식: "이곳은 북쪽이고, 저기는 강이 흐른다"라고 말해줍니다. 우리는 이미 알고 있는 지형 (기본 원리) 과 연결되므로, 왜 그런지 이해할 수 있습니다.
• 이해 불가능한 공식: "이곳은 X-73 구역이고, 저기는 Y-99 구역이다"라고만 말합니다. 지도 (기본 원리) 와 연결되지 않으면, 아무리 짧고 간단해도 우리는 그 의미를 알 수 없습니다.

핵심 포인트:

• 간단함 (Sparsity) 은 중요하지 않습니다. 공식이 길고 복잡해도, 그것이 우리가 아는 물리 법칙 (예: 마찰력, 중력) 을 설명한다면 '이해 가능한' 것입니다.
• 반대로, 공식이 짧아도 우리가 모르는 낯선 용어라면, 그것은 '이해 불가능'한 것입니다.

4. 케플러의 비유: 왜 '간단함'만으로는 부족한가?

논문은 천문학자 케플러의 예를 듭니다.

• 케플러는 행성의 움직임을 아주 간단하고 아름다운 3 가지 법칙으로 정리했습니다. (공식 자체는 매우 짧고 간결합니다.)
• 하지만 당시 케플러는 "왜 행성이 그렇게 움직이는지"를 몰랐습니다. (중력이라는 개념이 없었기 때문).
• 70 년 후 뉴턴이 중력 법칙을 발견하면서, 비로소 케플러의 간단한 공식들이 "왜" 그런지 설명될 수 있었습니다.

교훈: 공식이 짧고 간단하다고 해서 바로 '이해 가능한' 과학이 되는 것은 아닙니다. 그 공식이 더 큰 물리 법칙 (뉴턴의 법칙) 에 어떻게 연결되는지 설명할 수 있어야 진정한 '이해'가 됩니다.

5. 결론: AI 는 어떻게 과학에 기여할 수 있는가?

이 논문의 결론은 다음과 같습니다.

1. AI 가 찾아낸 짧은 공식이 무조건 좋은 것은 아니다. 만약 그 공식이 우리가 아는 물리 법칙과 연결되지 않는다면, 그것은 그냥 "미스터리한 숫자 나열"일 뿐입니다.
2. AI 의 진짜 역할은 '새로운 원리'를 찾는 것이 아니라, '기존 원리를 확인하거나' 새로운 현상을 '기존 원리'와 연결해 주는 가교가 되는 것이다.
3. 간단함 (Sparsity) 은 여전히 가치가 있다. 하지만 그 이유는 공식이 짧아서가 아니라, 복잡한 AI 모델보다 우리가 더 쉽게 "어떻게 이 공식을 기본 물리 법칙에서 유도해낼 수 있을까?"라고 고민해볼 기회를 주기 때문입니다.

한 줄 요약:

"과학에서 '이해 가능성'이란 공식이 얼마나 짧은지가 아니라, 그 공식이 우리가 이미 아는 자연의 법칙과 얼마나 잘 연결되어 있는지에 달려 있습니다."

이 논문을 통해 우리는 AI 를 맹신하기보다, AI 가 찾아낸 결과를 우리의 과학적 지식과 어떻게 연결할지 고민해야 한다는 교훈을 얻습니다.

기술 요약

1. 문제 제기 (Problem)

• 배경: 과학적 머신러닝 (SciML) 분야에서 신경망 기반 모델은 물리 현상을 예측하는 데 탁월한 성능을 보이지만, 그 '블랙박스 (Black-box)' 성격으로 인해 과학자들의 우려를 사고 있습니다.
• 핵심 갈등: 전통적인 과학 모델은 단순한 수학적 표현으로 물리 법칙을 패키징하여 지식 체계에 통합되지만, 신경망 모델은 복잡한 매개변수 집합으로 구성되어 있어 발견된 결과를 기존 과학 지식과 통합하기 어렵습니다.
• 현재의 오해: 방대한 데이터에서 방정식을 발견하는 분야 (Equation Discovery) 와 기호 회귀 (Symbolic Regression) 연구자들은 '해석 가능성 (Interpretability)'을 종종 '희소성 (Sparsity)'과 동일시합니다. 즉, 발견된 방정식의 항 (term) 이 적고 수학적으로 단순하면 그것이 해석 가능하다고 가정합니다.
• 연구 목적: 이러한 '희소성 = 해석 가능성'이라는 등식이 과학적 발견의 맥락에서 타당한지 비판적으로 검토하고, 물리 과학 연구에 적합한 엄밀한 해석 가능성의 정의를 제시하는 것입니다.

2. 방법론 (Methodology)

이 논문은 개념적 분석과 철학적 고찰을 기반으로 한 문헌 검토 및 사고 실험 (Thought Experiment) 을 수행합니다.

• 문헌 검토:
  • 방정식 발견 및 기호 회귀 분야의 주요 논문들을 분석하여 '해석 가능성'이 어떻게 정의되고 사용되는지 조사했습니다. (대부분 희소성, 투명성, 메커니즘 중 하나로 혼용됨)
  • 일반적인 머신러닝 (Interpretable ML, XAI) 분야의 해석 가능성 정의 (투명성, 안전성, 윤리, 디버깅 등) 를 검토하여 이것이 물리 과학의 목표와 어떻게 다른지 비교했습니다.
• 사고 실험 및 사례 분석:
  • 희소성의 한계: 단순한 다항식 형태 (희소함) 를 가지더라도 물리적 의미가 불분명하거나 기존 지식과 연결되지 않으면 해석이 불가능한 경우를 제시했습니다. (예: 탄성 빔의 변위 모델, Kepler 의 행성 운동 법칙)
  • 복잡성과 해석 가능성: 수학적으로 복잡한 형태 (비희소함) 를 가지더라도 물리적 메커니즘 (예: 변형 에너지 밀도) 과 명확히 연결되면 해석 가능한 경우를 제시했습니다.
  • Kepler 의 법칙 사례: Kepler 의 법칙은 수학적으로 매우 단순 (희소) 했으나, 당시에는 '왜' 그런지 알 수 없어 해석 불가능했습니다. 70 년 후 뉴턴의 역학 체계와 연결되면서 비로소 해석 가능해졌음을 통해, 해석 가능성은 선험적 지식 (Prior Knowledge) 과의 연결에 달려 있음을 증명했습니다.

3. 주요 기여 (Key Contributions)

논문의 핵심 기여는 다음과 같습니다.

1. 희소성과 해석 가능성의 혼동 비판: 방정식 발견 및 기호 회귀 문헌에서 '희소성'이 '해석 가능성'과 동의어로 잘못 사용되고 있음을 지적했습니다. 수학적으로 단순한 표현이 반드시 물리적 통찰을 제공하는 것은 아님을 증명했습니다.
2. 기존 ML 해석 가능성 정의의 부적절성 지적: 일반적인 ML 분야의 해석 가능성 정의 (입력 - 출력 관계의 투명성, "왜"에 대한 답변) 는 과학적 발견의 목표 (근본적인 물리 법칙의 통합) 와 부합하지 않음을 보였습니다.
3. SciML 을 위한 새로운 해석 가능성 정의 제안:
   • 정의: "학습된 모델이 **기본 물리 원리 (Basic Physical Principles)**에서 유도될 수 있거나, 기본 물리 원리에서 유도된 모델의 **경험적 구성 요소 (Empirical Component)**를 나타낼 때 해석 가능하다."
   • 핵심: 해석 가능성은 수학적 형태의 단순함 (희소성) 이 아니라, **물리적 메커니즘에 대한 이해 (Mechanistic Understanding)**에 기반해야 합니다.
4. 희소성의 재평가: 희소성 자체가 해석 가능성을 보장하지는 않지만, 미래에 기본 물리 원리로부터 방정식을 유도 (Derivation) 할 가능성을 열어둔다는 점에서 가치가 있음을 인정했습니다. 즉, 희소성은 해석 가능성의 '필요 조건'이 아니라 '유도 가능성 (Derivability)'을 높이는 '도구'입니다.
5. 과학적 발견의 한계 제기: 이 정의에 따르면, 기존 물리 법칙을 완전히 초월하는 '혁명적인 과학적 발견' (새로운 기본 원리 자체의 발견) 은 해석 불가능할 수 있음을 지적했습니다. 이는 '정상 과학 (Normal Science)'의 범위 내에서만 해석 가능성이 성립함을 시사합니다.

4. 결과 및 논의 (Results & Discussion)

• 선험적 지식의 중요성: 해석 가능성은 발견된 식을 기존 과학 지식 체계 (예: 질량, 운동량, 에너지 보존 법칙) 와 연결하는 능력입니다. 사전 지식이 없으면 아무리 간단한 식이라도 해석할 수 없습니다.
• Kepler 와 뉴턴의 사례 재해석: Kepler 의 행성 운동 법칙은 수학적으로 매우 단순 (희소) 했지만, 당시에는 해석 불가능했습니다. 뉴턴의 역학 체계 (기본 원리) 와 연결된 후에야 해석 가능해졌습니다. 이는 해석 가능성이 **유도 (Derivation)**에 달려 있음을 보여줍니다.
• 희소성의 역할: 희소한 방정식은 복잡한 신경망 (Neural ODE) 과 달리, 추후 물리 원리로부터 유도될 가능성을 열어줍니다. 따라서 희소성은 해석 가능성의 '결과'가 아니라, 해석 가능한 모델로 나아가는 '통로' 역할을 합니다.
• 실제 사례:
  • 비해석 가능한 희소식: 물리 의미가 불분명한 새로운 항이 포함된 희소 방정식 (예: $\frac{\partial c}{\partial t} + \dots + \lambda_4 |\frac{\partial c}{\partial x}|c = 0$의 마지막 항) 은 아무리 단순해도 해석 불가능합니다.
  • 해석 가능한 복잡식: 수학적으로 복잡하지만 변형 에너지 저장 메커니즘을 명확히 나타내는 식은 해석 가능합니다.

5. 의의 (Significance)

• 연구 방향의 재정립: SciML 연구자들이 단순히 '간단한 방정식 찾기'에 매몰되지 않고, 발견된 식이 어떤 물리적 메커니즘과 연결되는지에 집중하도록 유도합니다.
• 과학적 지식의 통합: 해석 가능성을 '기본 원리와의 통합'으로 정의함으로써, 머신러닝이 단순한 예측 도구를 넘어 과학적 지식 체계의 일부로 통합될 수 있는 길을 제시합니다.
• 실용적 가이드: 희소성 (Sparsity) 이 항상 좋은 것은 아니며, 물리적 의미 (Mechanism) 가 부재한 경우 희소성은 오히려 방해가 될 수 있음을 경고합니다. 이는 데이터 기반 과학의 미래에 있어 가장 중요한 장애물을 식별하는 데 도움을 줍니다.
• 철학적 기반: 과학 철학 (Kitcher 의 통합, Hempel 의 설명 모델 등) 을 머신러닝에 적용하여, 해석 가능성에 대한 보다 엄밀하고 철학적으로 타당한 정의를 확립했습니다.

결론적으로, 이 논문은 SciML 에서 '해석 가능성'을 수학적 단순함 (희소성) 이 아닌 물리적 메커니즘에 대한 이해와 기본 원리와의 연결로 재정의함으로써, 데이터 기반 과학이 진정한 과학적 발견으로 나아가기 위한 개념적 토대를 마련했습니다.