🤖 machine learning

OperatorSHAP: Fast and Accurate Shapley Value Estimation for Neural Operators

이 논문은 함수 공간에서의 이론적 프레임워크를 구축하고 다양한 해상도 및 그리드 크기 전반에 걸쳐 일관되고 전이 가능한 설명을 입증함으로써, 신경 연산자(neural operators)를 위한 빠르고 정확한 샤플리 값(Shapley value) 추정을 가능하게 하는 그리드 불가지론적 방법인 OperatorSHAP을 소개한다.

원저자: Joshua Stiller, Santo M. A. R. Thies, Felix Czaja, Eyke Hüllermeier

게시일 2026-06-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Joshua Stiller, Santo M. A. R. Thies, Felix Czaja, Eyke Hüllermeier

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 문제: "블랙박스" 기상 예보관

당신에게 날씨를 예측하거나 다리가 얼마나 무게를 견딜 수 있는지 계산하는 초지능형 AI가 있다고 상상해 보세요. 이 AI는 **뉴럴 오퍼레이터(Neural Operator)**와 같습니다. 일반적인 AI가 고정된 픽셀 격자(사진 같은 것)를 보는 것과 달리, 이 AI는 특별합니다. 이 AI는 데이터가 아주 작은 냅킨 위에 그려져 있든 거대한 광고판 위에 그려져 있든, 그 형태와 패턴을 이해할 수 있습니다. 격자의 크기에 상관없이 데이터의 '흐름'을 이해하는 것이죠.

하지만 문제가 하나 있습니다. 이 AI가 예측(예: "이 다리는 5톤을 견딜 수 있습니다")을 내놓을 때, 아무도 그 이유를 모릅니다. 입력값 중 어떤 부분이 중요했을까요? 풍속 때문이었을까요? 다리의 모양 때문이었을까요? 아니면 온도 때문이었을까요?

AI 분야에서는 이 질문에 답하기 위해 **샤플리 값(Shapley Values)**이라는 도구를 사용합니다. 샤플리 값을 '상금'(예측값)을 모든 '선수'(입력 데이터 포인트)에게 각자의 기여도에 따라 공정하게 나누어 주는 방법이라고 생각하면 쉽습니다.

문제점:

너무 느립니다: 모든 데이터 포인트에 대해 공정한 배분을 계산하는 데는 시간이 너무 오래 걸립니다. 이는 마치 해변의 모래알 하나하나가 얼마나 중요한지 확인하기 위해 모든 모래알의 개수를 세는 것과 같습니다.
너무 경직되어 있습니다: 기존의 빠른 도구들(FastSHAP 등)은 모래가 완벽하고 균일한 격자 형태로 배치되어 있을 때만 작동합니다. 하지만 현실 세계의 물리나 공학 데이터는 종종 불규칙한 모양(예: 센서가 무작위로 배치된 원기둥)으로 들어옵니다. 현재의 도구들은 격자가 완벽하지 않으면 망가져 버립니다.

해결책: OperatorSHAP

저자들은 OperatorSHAP을 소개합니다. 이것은 데이터 격자가 아무리 지저집거나 불규칙하더라도 AI의 결정을 즉각적으로 설명해 줄 수 있는 "만능 번역기"와 같습니다.

그들이 이 문제를 어떻게 해결했는지 세 가지 간단한 개념으로 나누어 설명하겠습니다.

1. "무한한 선수" 게임 (Aumann–Shapley)

보통 샤플리 값은 이산적인(discrete) 선수들을 계산합니다 (선수 1, 선수 2, 선수 3). 하지만 물리학에서 공간은 연속적입니다. "지점 1"과 "지점 2"가 있는 것이 아니라, 공기나 열의 매끄러운 흐름이 존재합니다.

저자들은 입력을 개별 선수의 집합으로 세는 대신, 이를 **연속적인 유체(fluid)**로 취급해야 한다는 점을 깨달았습니다. 그들은 오만-샤플리(Aumann–Shapley) 값이라는 수학적 개념을 사용했는데, 이는 개별 물고기를 한 마리씩 세는 것이 아니라 강물의 '밀도'를 측정하는 것과 같습니다. 이를 통해 어떤 형태나 격자 크기에도 혼란 없이 대응할 수 있게 되었습니다.

2. "훈련된 탐정" (Amortized Explainer)

보통 하나의 예측을 설명하려면 방대한 계산을 수행해야 합니다. 이는 특정 범죄 하나를 해결하기 위해 탐정을 고용하고, 다음 범죄가 발생할 때마다 새로운 탐정을 다시 고용하는 것과 같습니다.

OperatorSHAP은 단 한 명의 "탐정 AI"(설명 모델)를 훈련시킵니다.

훈련: 저자들은 수천 개의 사례를 보여주며 "이 입력 부분의 일부를 숨기면 예측값이 얼마나 변하는가?"라고 질문하며 이 탐정을 가르칩니다.
마법 같은 효과: 일단 훈련이 완료되면, 이 탐정은 어떤 새로운 입력(심지어 이상하고 불규칙한 격자라도)을 보더라도 단 1초 만에 즉시 설명을 내놓을 수 있습니다. 매번 처음부터 다시 계산할 필요가 없습니다.

3. 격자 불가지론 (The "Shape-Shifter")

대부분의 설명 도구는 270 사이즈 신발과 같아서, 발 사이즈가 250이거나 290이면 맞지 않습니다.

OperatorSHAP은 어떤 발에도 맞춰 늘어나는 마법의 신발과 같습니다. 오만-샤플리 값이라는 "유체" 개념을 바탕으로 훈련되었기 때문에, 16개의 데이터 포인트, 1,024개의 데이터 포인트, 혹은 5,000개의 포인트가 있는 복잡한 메쉬(mesh)를 입력받더라도 재훈련 없이 정확한 설명을 제공할 수 있습니다.

연구 결과 (The Results)

논문은 금속을 통한 열의 흐름, 원기둥 주변의 공기 흐름, 파도와 같은 다양한 물리 문제를 통해 이 모델을 테스트했습니다.

속도: OperatorSHAP은 기존 방식보다 수십 배 더 빠릅니다. 기존 방식이 단 하나의 복잡한 시뮬레이션을 설명하는 데 몇 시간이 걸릴 때, OperatorSHAP은 1초 미만의 짧은 시간에 이를 수행합니다.
정확도: 매우 빠름에도 불구하고, 느리지만 완벽한 기존 방식들과 대등한 정확도를 보여줍니다.
유연성: 한 가지 격자 크기로 훈련했음에도 불구하고, 추가 작업 없이 훨씬 크거나 작은 격자에서도 완벽하게 작동했습니다. 심지어 센서가 불규칙하고 변화하는 격자에 배치된 "원기둥 흐름(cylinder flow)" 데이터셋에서도 성공적으로 작동했습니다.

핵심 요약

이 논문은 OperatorSHAP이 복잡한 물리-AI 모델을 이해 가능하게 만드는 새로운 방법임을 주장합니다. 이 모델은 공간을 연속적인 흐름으로 다루는 깊은 수학적 이론과, 하나의 AI를 가르쳐 모든 격자를 설명하게 만드는 실용적인 훈련 기법을 결합했습니다.

이는 데이터가 불규칙하고 결정이 매우 중요한 구조 공학이나 기상 예보와 같은 분야에서, AI가 왜 특정 예측을 내놓았는지에 대해 빠르고, 신뢰할 수 있으며, 격자 크기에 구애받지 않는 설명을 얻을 수 있음을 의미합니다.

기술 요약: OperatorSHAP

문제 정의

뉴럴 오퍼레이터(Neural operators)는 함수 공간 간의 매핑을 학습하도록 설계되었으며, 편미분 방정식(PDE)이 포함된 물리적 응용 분야에 필수적인 그리드 불가지론적(grid-agnostic) 유연성을 제공합니다. 이러한 모델은 재학습 없이도 불규칙한 그리드나 다양한 해상도(예: 128 대 1,024개의 지점)에서 샘플링된 입력을 수용할 수 있습니다. 그러나 이러한 모델을 해석하는 것은 여전히 큰 과제로 남아 있습니다.

구조적 하중 평가, 기상 경보와 같은 안전이 중요한 물리적 영역에서는 모델 예측을 이해하는 것이 매우 중요합니다. 샤플리 값(Shapley values)은 바람직한 공리들을 만족하는 이론적으로 견고한 기여도 산출 방법을 제공하지만, 추론 시 계산 비용이 매우 높습니다. FastSHAP과 같은 기존의 분할 상환 설명 모델(amortized explainers)은 균질한 입력(고정된 정규 그리드)에 국한되어 있습니다. 이들은 과학적 데이터(예: 센서 배치 또는 적응형 정밀도 조절로 인한 비정형 메쉬)에서 흔히 발생하는 이질적인 그리드와 불규칙한 기하학적 구조를 직접 처리할 수 없습니다. 또한, 이질적인 그리드에서 분할 상환 샤플리 값을 정의하는 것은 쉽지 않은데, 이는 기여도가 전체 플레이어 수와 인접한 플레이어 간의 공간적 거리 모두에 의존하기 때문입니다.

방법론

저자들은 뉴럴 오퍼레이터에 대한 분할 상환 샤플리 추정을 확장하는 그리드 불가지론적 기여도 산출 방법 및 훈련 절차인 OperatorSHAP을 소개합니다. 이 접근 방식은 다음 단계들을 통해 이산적 샤플리 값과 연속 함수 공간 사이의 간극을 메웁니다.

1. 이론적 프레임워크: 오만-샤플리(Aumann–Shapley) 값

본 논문은 뉴럴 오퍼레이터 게임을 무한한 플레이어(비원자적 측도 공간)를 가진 게임으로 확장한 오만-샤플리 값과 연결함으로써 이론적 토대를 구축합니다.

매끄러운 오퍼레이터 게임(Smooth Operator Games): 저자들은 입력 공간이 소볼레프 공간 $H^s$ ( $s > d/2$ )인 "매끄러운 오퍼레이터 게임"을 정의합니다. 공간 도메인을 분할하기 위해 매끄러운 마스크(범프 함수)를 사용함으로써, 오퍼레이터가 프레셰 미분 가능(Fréchet differentiable)함을 보장합니다.
pNA 클래스: 저자들은 이러한 매끄러운 오퍼레이터 게임이 pNA 클래스(비원자적 측도를 통한 유한 차원 표현을 가진 게임)에 속함을 증명합니다. 이는 프레셰 미분을 포함하는 대각 공식(diagonal formula)을 통해 계산 가능한 고유한 오만-샤플리 값이 존재함을 보장합니다.
통합 기울기(Integrated Gradients)와의 연결: 유도된 오만-샤플리 값은 베이스라인으로부터 입력까지의 경로를 따른 방향 미분의 적분인 함수 값 기반 통합 기울기(IG) 공식과 동일함이 입증되었습니다.

2. 분할 상환 그리드 불가지론적 설명 모델(Amortized Grid-Agnostic Explainer)

이러한 값들을 계산 가능하게 만들기 위해, 저자들은 오만-샤플리 밀도를 근사하도록 뉴럴 오퍼레이터 설명 모델(예: FNO)을 훈련하는 방법을 제안합니다.

훈련 목적 함수: 설명 모델 $\Phi_\theta$ 는 FastSHAP 스타일의 손실 함수를 사용하여 훈련됩니다. 각 샘로 개별적으로 샤플리 값을 계산하는 대신, 설명 모델은 주어진 입력 $u$ 에 대해 연속적인 기여도 필드 $\phi$ 를 출력합니다.
이산화(Discretization): 훈련 과정에서 연속적인 출력 필드는 특정 연합 영역(partitions)에 대해 적분되어 이산 값을 생성합니다. 손실 함수는 이러한 적분된 값들과 실제 연합 값 $v(S)$ 사이의 가중 평균 제곱 오차(MSE)를 최소화합니다.
그리드 불가지론성: 설명 모델은 뉴럴 오퍼레이터이기 때문에, 함수 공간에서 함수 공간으로의 매핑을 학습합니다. 따라서 다양한 그리드 해상도와 불규칙한 메쉬를 가진 샘플로 훈련될 수 있습니다. 일단 훈련되면, 동일한 모델은 재학습 없이 어떠한 그리드 해상도의 입력에 대해서도 기여도를 생성할 수 있으며, 이는 근본적인 오만-샤플리 밀도를 효과적으로 학습했음을 의미합니다.

주요 기여

이론적 토대: 본 논문은 함수 공간에서의 기여도에 대한 엄격한 수학적 프레임워크를 제공하며, 매끄러운 뉴럴 오퍼레이터 게임이 잘 정의된 오만-샤플리 값을 가짐을 입증합니다. 또한 이러한 값들을 대각 공식 및 통합 기울기와 연결합니다.
분할 상환 그리드 불가지론적 설명 모델: 저자들은 불규칙하고 이질적인 그리드에서도 FastSHAP 스타일의 설명 모델을 훈련할 수 있는 훈련 절차(Algorithm 1)를 제래합니다. 이를 통해 임의의 해상도에 대해 뉴럴 오퍼레이터의 샤플리 유사 기여도를 생성할 수 있습니다.
실험적 검증: 제안된 방법은 9개의 PDE 데이터셋(1D/2D 구조적 그리드 및 Unstructured MeshGraphNets 벤치마크 포함)을 통해 검증되었습니다. 결과에 따르면 OperatorSHAP은 해상도 전반에 걸쳐 최신 이산 샤플리 근사법(RegressionMSR)과 일치하거나 더 나은 기여도를 생성하면서도, 훨씬 빠른 추론 속도를 제공합니다.

실험 결과

저자들은 다양한 PDE(Burgers, Heat, Shallow Water 등) 및 MeshGraphNets 데이터셋에 대해 OperatorSHAP을 KernelSHAP, RegressionMSR, Integrated Gradients와 비교 평가했습니다.

기여도 품질: $n=16$ 에서 $n=1024$ 에 이르는 해상도 범위에서, OperatorSHAP은 RegressionMSR과 대등하거나 더 나은 피어슨 상관계수 및 정규화된 RMSE(NRMSE)를 달와했습니다. 특히, 기존 방법들은 모든 해상도마다 다시 실행해야 했던 반면, OperatorSHAP은 단일 훈련 모델을 모든 해상도에 사용했습니다.
추론 속도: OperatorSHAP은 베이스라인보다 수십 배 빠릅로. 샘플당 제로(zero)의 예산으로 단 한 번의 순전파(forward pass)를 통해 전체 기여도를 반환하는 반면, 베이스라인은 샘플당 수천 번의 백본(backbone) 평가를 요구합니다.
전이 가능성(Transferability): 훈련된 설명 모델은 재학습 없이 그리드 크기에 따라 성공적으로 전이되었으며, 입력 그리드 구조가 변경되어도(예: 64개에서 1024개 지점으로 변경) 참조 기여도에 대한 높은 충실도를 유지했습니다.
한계점: 저자들은 분할 상환 방식이 추론 시간을 절약해주지만, 초기 훈련 비용은 상당하다는 점을 언급했습니다. 또한, 플레이어 수가 매우 적은 경우 낮은 예산을 사용하는 전통적인 방법들이 OperatorSHAP보다 성능이 좋을 수 있으나, 해상도가 높아질수록 이 격차는 크게 벌어집니다.

의의

본 논문은 OperatorSHAP이 데이터가 본질적으로 이질적이고 그리드 불가지론적인 물리 과학 분야에서 샤플리 값 설명을 실용적으로 적용할 수 있게 한다고 주장합니다. 이산 샤플리 값을 연속적인 오만-샤플리 값과 연결함으로써, 저자들은 함수 공간에서 설명 모델을 훈련하는 것에 대한 이론적 정당성을 제공합니다. 이를 통해 이전에는 분할 상환 설명 모델이 할 수 없었던 불규칙한 메쉬 및 다양한 해상도에서의 뉴럴 오퍼레이터 해석이 가능해졌습니다. 이 연구는 고처리량, 고위험 결정 지원(예: 실시간 기상 경보 또는 구조물 모니터링)이 필요한 산업적 응용 분야에서, OperatorSHAP과 같은 분할 상환 설명 모델이 동적 시스템의 확장 가능하고 신뢰할 수 있는 AI 해석을 위한 필수적인 단계임을 시사합니다.