🔬 physics

Interpreting "Interpretability" and Explaining "Explainability" in Machine Learning in Physics

이 논문은 물리학을 위한 머신러닝에서의 해석 가능성(interpretability)과 설명 가능성(explainability)의 개념을 검토하며, 이들을 각각 구조적 투명성과 과학적 내용으로 정의하는 한편, 이들이 모델 자체의 내재적 속성이 아니라 트레이드오프의 대상이 되는 의도적인 모델링 선택임을 주장한다.

원저자: Rikab Gambhir, Luisa Lucie-Smith, Jesse Thaler

게시일 2026-06-26

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Rikab Gambhir, Luisa Lucie-Smith, Jesse Thaler

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 이 논문을 쉬운 언어와 일상적인 비유를 사용하여 설명한 내용입니다.

핵심 요약: 두 가지 서로 다른 질문

당신에게 날씨를 예측하는 신비롭고 첨단 기술이 집약된 기계가 하나 주어졌다고 상상해 보세요. 당신은 이 기계에 대해 두 가지를 알고 싶습니다.

이 기계는 어떻게 작동하는가? (내부에 어떤 톱니바퀴, 전선, 레버가 있는가?)
이 기계가 실제로 우리에게 무엇을 말해주는가? (그 예측이 우리가 이미 알고 있는 기상학적 지식과 일치하는가?)

이 논문의 저자들은 과학자들이 종종 이 두 가지 질문을 혼동한다고 주장합니다. 그들은 명확한 구분을 제안합니다.

**해석 가능성(Interpretability)**은 구조에 관한 것입니다. "내가 기계 내부를 들여다보고, 예측을 만들기 위해 톱니바퀴가 어떻게 돌아가는지 이해할 수 있는가?"라고 묻는 것입니다.
**설명 가능성(Explainability)**은 내용에 관한 것입니다. "기계의 답이 내가 이미 가지고 있는 세상의 지도와 비교했을 때 말이 되는가?"라고 묻는 것입니다.

트레이드오프(Trade-offs): "스위스 아미 나이프" vs "드라이버"

논문은 보통 두 가지를 동시에 모두 가질 수는 없다고 설명합니다. 당신은 직업에 따라 도구를 선택해야 합니다.

1. 해석 가능성 vs 표현력 (The "Simple Tool" vs. The "Power Tool")

비유: 단순한 드라이버(해석 가능함)와 수천 개의 부품이 달린 복잡하고 프로그래밍 가능한 스위스 아미 나이프(표현력이 높음)를 생각해 보세요.
트레이드오프: 드라이버는 이해하기 쉽습니다. 그것이 무엇을 하는지 정확히 알 수 있죠. 하지만 나사를 조이는 일만 할 수 있습니다. 반면, 스위스 아미 나이프는 거의 모든 것(자르기, 나사 돌리기, 톱질, 병 따기 등)을 할 수 있지만, 내부를 들여다보면 톱니바퀴와 스프링이 뒤엉킨 복잡한 덩어리라 파악하기가 매우 어렵습니다.
논문의 핵심: 물리학에서 단순한 모델(뉴턴의 법칙 같은)은 드라이버와 같습니다. 이해하기 쉽지만 한계가 있습니다. 복잡한 머신러닝(ML) 모델은 스위스 아미 나이프와 같습니다. 매우 어려운 문제들을 해결할 수 있지만, 내부가 어떻게 돌아가는지 알 수 없는 "블랙박스"인 경우가 많습니다.

2. 설명 가능성 vs 적응성 (The "Rigid Map" vs. The "Flexible GPS")

비유: 인쇄된 도시 지도(설명 가능함)와 모든 운전자의 경로를 실시간으로 학습하는 GPS(적응력이 높음)를 상상해 보세요.
트레이드오프: 인쇄된 지도는 알려진 도로와 규칙을 바탕으로 합니다. 만약 지도에 새로운 도로가 나타난다면 그것은 오류입니다. 이 지도는 도시의 규칙을 따르고 있으므로 매우 "설명 가능"합니다. 반면 GPS는 교통 체증, 공사, 우회로 등에 즉각적으로 적응합니다. 하지만 데이터에 따라 끊임없이 변하기 때문에, 왜 특정 순간에 특정 경로를 선택했는지 설명하기는 어렵습니다.
논문의 핵심: 만약 당신이 어떤 데이터에도 완벽하게 들어맞는 모델(적응성)을 원한다면, 기존 물리학을 이용해 설명할 수 있는 능력(설명 가능성)을 잃게 됩니다. 반대로 기존 물리학을 엄격하게 따르는 모델(설명 가능성)을 원한다면, 새롭고 특이한 데이터에 맞추는 데 실패할 수 있습니다.

언제 무엇이 필요한가?

논문은 항상 두 가지가 모두 필요한 것은 아니라고 말합니다. 그것은 당신이 무엇을 하려느냐에 달려 있습니다.

해석 가능성이 필요하지 않을 때:
- "대리 모델(Surrogate)" 작업: 실행하는 데 일주일이 걸리는 매우 느리고 복잡한 시뮬레이션이 있다고 가정해 봅시다. 이를 흉내 내는 빠른 AI를 훈련시킵니다. 이때 당신은 AI가 어떻게 그렇게 하는지는 상관하지 않습니다(해석 가능성). 단지 그 AI가 느린 시뮬레이션과 동일한 답을 내놓고, 1초 만에 실행되기만을 바랄 뿐입니다.
- "벤치마크(Benchmark)" 작업: 단순히 누가 가장 높은 점수를 얻는지 경쟁하는 것이 목적이라면, "블랙박스" 모델을 사용할 수 있습니다. 그 모델이 이기기만 한다면, 어떻게 생각하는지는 알 필요가 없습니다.
해석 가능성이 필요할 때:
- 신뢰: 모델이 이상한 예측을 할 때, 내부를 들여다보고 "아, 이 특정 입력값 때문에 혼란을 겪었구나"라고 말할 수 있어야 합니다.
- 효效率(효율성): 때로는 "톱니바퀴"를 이해함으로써 더 단순하고 빠른 버전의 기계를 만들 수 있습니다.
설명 가능성이 필요할 때:
- 발견(Discovery): 모델이 새로운 무언가를 찾아냈다면, 당신은 "이 새로운 패턴은 X 이론과 일치한다"라고 말할 수 있어야 합니다. 기존 지식과 연결할 수 없다면, 그것은 단지 숫자의 나열일 뿐 발견이 아닙니다.
- 검증(Validation): 모델이 단순히 데이터를 암기하는 것(답을 외우는 학생처럼)이 아니라, 우주의 규칙을 실제로 이해하고 있다는 것을 증명해야 합니다.

"설계에 의한 방식" vs "사후 처리 방식"

논문은 이러한 특성을 얻는 두 가지 방법을 논의합니다.

내재적 방식 (Intrinsic, 설계에 의한 방식): 처음부터 "톱니바퀴"가 보이도록 기계를 만드는 것입니다.
- 비유: 배관 구조를 볼 수 있도록 유리 벽으로 된 집을 짓는 것과 같습니다.
- 예시: 단순한 방정식을 사용하거나, AI가 학습하는 동안 물리 법칙(예: 에너지 보존 법칙)을 따르도록 강제하는 모델을 사용하는 것입니다.
사후적 방식 (Post-Hoc, 사후 처리 방식): 복잡한 기계를 먼저 만든 다음, 내부가 어떻게 작동하는지 사진을 찍어 확인하는 것입니다.
- 비규: 엔진을 다 만든 후에 엔진을 분해하여 피스톤이 어떻게 움직이는지 도면을 그리는 것과 같습니다.
- 예시: AI가 결정을 내릴 때 이미지의 어느 부분을 보았는지 강조해 주는 도구들을 사용하는 것입니다. 논문은 이러한 방식들이 종종 근사치에 불과하며, 전체 진실을 말해주지 않을 수 있다고 경고합니다.

가장 중요한 교훈: 만들기 전에 계획하라

저자들은 해석 가능성과 설명 가능성은 마법 같은 속성이 아니라 '선택'의 문제라는 점을 강조합니다.

과업 명시 (Task Specification): 모델을 만들기 전에 반드시 "이 모델의 용도가 무엇인가?"를 물어야 합니다. 단순히 계산 속도를 높이려는 것이라면 투명한 모델이 필요하지 않습니다. 하지만 새로운 물리 법칙을 발견하려는 것이라면 반드시 필요합니다.
개입 계획 (Intervention Planning): 모델이 혼란스러운 상황이 발생했을 때 어떻게 할 것인지 미리 결정해야 합니다.
- 비유: 자동차를 운전할 때, 엔진 경고등이 들어오면 어떻게 할 것인지 알아야 합니다. 차를 세울 것인가요? 무시할 것인가요? 계획이 없다면 경고등을 보는 것은 아무런 의미가 없습니다.
- 논문은 "확증 편향(confirmation bias)"을 경계합니다. 결과를 본 후에 모델의 내부 작동 방식을 들여다본다면, 결과가 마음에 들기 때문에 그것이 타당하다고 스스로를 속일 수 있습니다. 결과를 보기 전에 모델을 테스트할 계획을 세워야 합니다.

결론

논문은 물리학에서의 머신러닝 모델이 과학자들이 수 세기 동안 사용해 온 "고전적" 모델(뉴롯의 법칙 등)과 근본적으로 다르지 않다고 결론짓습니다. 유일한 차이점은 **규모(Scale)**입니다.

고전적 모델은 매우 단순하고, 해석 가능성이 높으며, 설명 가능성이 높습니다.
머신러닝 모델은 거대하고 복잡하며, 종종 불투명합니다.

하지만 과학의 규칙은 양쪽 모두에 적용됩니다. 블랙박스를 물리 문제에 그냥 던져놓고 발견이 일어나길 기대할 수는 없습니다. 당신은 무엇이 필요한지(속도? 신뢰? 발견?) 결정하고, 적절한 도구를 선택하며, 결과를 어떻게 사용할지에 대한 계획을 세워야 합니다. 그렇게 한다면, 머신러닝은 단순한 마술이 아니라 과학을 위한 강력한 도구가 될 것입니다.

기술 요약: 물리학 내 머신러닝에서의 "해석 가능성(Interpretability)" 해석 및 "설명 가능성(Explainability)" 설명

문제 정의

심층 신경망(DNN) 및 대규모 언어 모델(LLM)과 같이 표현력이 매우 높은 머신러닝(ML) 모델의 급격한 도입은 물리 과학(고에너지 물리학, 천체 물리학, 우주론) 분야에서 과학적 신뢰성과 발견을 위한 역할에 관한 근본적인 질문을 제기했다. 주요 과제는 해석 가능성(interpretability), 설명 가능성(explainability), 신뢰성(trustworthiness), 투명성(transparency)과 같은 용어들을 물리학계에서 혼용하고 있다는 점이다. 뉴턴의 법칙이나 표준 모델과 같은 "고전적" 과학 모델은 대개 제1원리로부터 유도되며 내재적인 구조적 투명성을 갖는 것과 달리, 현대의 ML 모델은 흔히 불투명한 "블랙박스"로 간見된다.

본 논문은 해석 가능성과 설명 가능성을 엄격하게 정의하고 구분함으로써, 이러한 속성들이 언제 필요한지, 어떻게 달성될 수 있는지, 그리고 어떤 트레이드오프(trade-offs)를 수반하는지를 결정할 필요성을 다룬다. 저자들은 이러한 속성들이 모델의 내재적 성질이 아니라, 특정 과학적 목표와 정렬되어야 하는 의도적인 모델링 선택이라고 주장한다.

방법론 및 프레임워크

본 논문은 새로운 실험 데이터나 특정 알고리즘을 제시하기보다는 개념적 검토와 분류 체계(taxonomy) 프레임워크를 채택한다. 방법론은 다음과 같다:

정의의 명확화: 모델 구조와 과학적 내용을 분리하여 해석 가능성과 설명 가능성에 대한 별도의 정의를 확립한다.
분류 체계 구축: 모델을 해석 가능성과 설명 가능성의 정도에 따라 네 가지 사분면(해석 가능/설명 가능, 해석 가능/설명 불가능, 해석 불가능/설명 가능, 둘 다 아님)으로 매핑한다.
트레이드오프 분석: 다음 사이의 내재적 긴장 관계를 분석한다:
- 해석 가능성 vs. 표현력(Expressivity): 모델의 구조를 이해하는 능력과 복잡한 데이터 패턴을 적합시키는 능력 사이의 관계.
- 설명 가능성 vs. 적응성(Adaptability): 모델을 도메인 지식에 매핑하는 능력과 임의의 데이터 분포에 적합되는 유연성 사이의 관계.
기법의 범주화: 이러한 속성을 달성하기 위한 방법들을 내재적(Intrinsic) (설계에 의한) 방식과 사후적(Post-Hoc) (훈련 후 분석) 방식으로 분류한다.
프로세스 통합: 해석 가능성과 설명 가능성을 태스크 명세(Task Specification) 및 **개입 계획(Intervention Planning)**의 전제 조건으로 프레임화하며, 이러한 속성들은 하위 단계의 과학적 결정에 영향을 미칠 때만 가치가 있다고 주장한다.

주요 기여

1. 구별된 정의

저자들은 명확한 이분법을 제안한다:

해석 가능성(Interpretability): 모델의 구조적 투명성에 관한 것이다. 이는 "우리가 모델 $f_\theta$ 의 내부 작동 방식과 그것이 출력에 도달하는 과정을 이해하거나, 근사하거나, 읽어낼 수 있는가?"를 묻는다. 이는 데이터와 무관하며 모델의 형태, 파라미터, 계산 메커니즘(예: 선형 계수, 결정 트리 분할)과 관련된다.
설명 가능성(Explainability): 모델의 과학적 내용에 관한 것이다. 이는 "학습된 파라미터나 함수를 기존의 도메인 지식에 매핑할 수 있는가?"를 묻는다. 이는 맥락과 의미론을 제공하기 위해 사전 물리 원리, 법칙 또는 경험적 데이터에 대한 참조를 필요로 한다.

2. 모델의 지형

논문은 이러한 정의를 바탕으로 모델을 분류한다:

해석 가능하며 설명 가능한 모델: 고전 물리학 모델(뉴턴 중력, 표준 모델) 및 단순한 ML 모델(선형 회귀, 얕은 트리).
해석 가능하지만 설명 불가능한 모델: 구조는 명확하지만(예: CNN 커널 검사), 물리적 인과관계나 도메인 지식과의 연결이 약하거나 질적인 수준에 그치는 모델.
설명 가능하지만 해석 불가능한 모델: 과학적 결과는 이해되지만(예: 10-루프 QCD 예측 또는 이를 모사하는 노멀라이징 플로우), 내부 계산 메커니즘이 기계적으로 투명하기에는 너무 복잡한 모델.
둘 다 아닌 모델: 구조에 접근할 수 없거나 도메인 매핑이 불가능한 독점적 블랙박스 또는 모델.

3. 트레이드오프

해석 가능성 vs. 표현력: 매우 표현력이 높은 모델(예: 트랜스포머, 심층 신경망)은 방대한 클래스의 함수를 근사할 수 있지만 구조적 투명성을 희생한다. 반대로, 매우 해석 가능한 모델(예: 파라미터 피팅)은 복잡하고 비선형적인 데이터 패턴을 포착하는 능력이 제한되는 경우가 많다.
설명 가능성 vs. 적응성: 높은 설명 가능성을 위해 설계된 모델(물리적 대칭성, 사전 확률, 또는 제1원리를 포함하는 모델)은 종종 임의의 또는 예상치 못한 데이터 분포에 대한 적응성이 낮아진다. 반대로, 높은 적응성을 가진 모델(예: 룩업 테이블)은 어떤 데이터든 적합시킬 수 있지만, 왜 데이터가 그렇게 행동하는지를 설명할 수 있는 압축 가능한 구조를 제공하지 않는다.

4. 방법론적 도구

이러한 속성을 달성하기 위한 도구들을 검토한다:

내재적 (설계에 의한): 물리 정보 기반 아키텍처(예: 로런츠 불변 네트워크), 표현 학습(예: 분리된 잠재 공간, SciNet), 기호 회귀(symbolic regression), 희소 오토인코더(sparse autoencoders).
사후적 (Post-Hoc): 메트릭 기반 도구(Shapley 값/SHAP, Saliency maps, LIME) 및 증류(distillation) 기법(복잡한 "교사" 모델을 모사하도록 더 단순한 "학생" 모델을 훈련시키는 것).

5. 태스크 명세 및 개입 계획

중심적인 기여는 해석 가능성과 설명 가능성이 태스크 명세(과학적 질문과 원하는 속성 정의) 및 개입 계획(해석에 기초하여 취할 조치 정의)과 결합될 때에만 의미가 있다는 주장이다.

저자들은 만약 모델이 해석되었음에도 불구하고 하위 단계의 결정(예: 가설 변경, 불확실성 조정, 모델 기각)이 따르지 않는다면, 그 노력은 무의미할 수 있다고 주장한다.
또한, 결과에 대한 사후 합리화를 피하기 위해 개입 계획은 반드시 사전에 명시되어야 한다고 경고한다.

결과 및 주장

본 논문은 특정 실험의 수치적 결과를 제시하는 대신 분야에 대한 구조적 분석을 제공한다:

문제의 보편성: 저자들은 해석 가능성과 설명 가능성이 ML에만 국한된 고유한 과제가 아니며, 고전적 모델 역시 규모와 복잡성만 다를 뿐 동일한 문제에 직면해 있다고 주장한다.
맥락의 필요성: 해석 가능성과 설명 가능성이 모두 전혀 필요하지 않은 과학적 응용 분야는 없다. 다만, 요구되는 정도는 작업(예: 과학적 발견은 둘 다 필요하지만, 속도를 위한 대리 모델링은 해석 가능성보다 설명 가능성을 우선시할 수 있음)에 따라 달라진다.
물리학 내 AI의 현 상태: 논문은 ML이 측정 및 발견 잠재력(예: LHC의 제트 태깅)을 크게 향려시켰지만, 아직 "ML로부터 배우는" 방식, 즉 설명 가능한 AI를 통해 새로운 물리 법칙을 발견하는 단계에는 널리 도달하지 못했다고 주장한다. 대부분의 진전은 알려지지 않은 패턴을 드러내기보다는 민감도와 경계값을 개선하는 데 머물러 있다.
설계 철학: 저자들은 해석 가능성과 설명 가능성이 고유한 속성이 아니라 의도적인 모델링 선택으로 취급되어야 한다고 결론 짓는다. 그들은 이러한 속성을 사후 고려 사항으로 취급하기보다, 특정 과학적 목표에 부합하도록 모델, 손실 함수 및 훈련 기법을 설계할 것을 권고한다.

의의

본 논문은 (특히 VERaiPHY 이니셔티브 내에서) ML 모델 검증에 관한 담론을 표준화하기 위한 물리학계를 위한 기초적인 가이드 역할을 한다. 그 의의는 다음과 같다:

용어의 명확화: 해석 가능성(구조)과 설명 가능성(내용) 사이의 엄격하고 실행 가능한 구분을 제공하여, 과학적 소통을 저해하는 용어의 혼용을 방지한다.
패러다임의 전환: "블랙박스를 어떻게 투명하게 만들 것인가"라는 대화에서 "특정 과학적 목표를 달려하기 위해 어떤 모델링 선택이 필요한가"로 논의를 전환한다.
표준 확립: ML이 진정한 과학적 지식의 도구가 되기 위해서는, 모델이 고전적 모델과 마찬가지로 타당성, 신뢰성 및 도메인 정렬에 대한 동일한 질문을 받아야 한다고 주장한다.
실질적 가이드 제공: 연구자들이 언제 해석 가능성/설명 가능성에 투자해야 하는지, 그리고 태스크 명세 및 개입 계획을 통해 이러한 고려 사항을 과학적 워크플로우에 어떻게 통합할지에 대한 프레임워크를 제공한다.

저자들은 사후 분석을 위한 도구들이 존재하지만, 가장 견고한 길은 물리적 지식을 모델 아키텍처에 직접 내장하는 내재적 설계 선택을 포함하는 것이며, 이를 통해 결과물이 단순히 예측력만 갖는 것이 아니라 과학적으로 근거를 갖도록 해야 한다고 강조한다.