🤖 AI

H-Sets: Hessian-Guided Discovery of Set-Level Feature Interactions in Image Classifiers

이 논문은 이미지 분류 모델에서 개별 픽셀이 아닌 의미 있는 특징 집합 간의 상호작용을 발견하고 설명하기 위해, 헤시안(Hessian) 행렬을 이용한 집합 탐지와 Harsanyi dividends 기반의 IDG-Vis를 결합한 새로운 프레임워크인 'H-Sets'를 제안합니다.

원저자: Ayushi Mehrotra, Dipkamal Bhusal, Michael Clifford, Nidhi Rastogi

게시일 2026-04-27

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ayushi Mehrotra, Dipkamal Bhusal, Michael Clifford, Nidhi Rastogi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 기존 방식의 문제점: "부분만 보는 돋보기" 🔍

기존의 AI 설명 방식은 마치 돋보기와 같았습니다. 사진의 각 픽셀(점) 하나하나가 얼마나 중요한지를 따졌죠.

하지만 우리가 사물을 인식할 때는 점 하나하나가 중요한 게 아니라, **'점들의 조합'**이 중요합니다. 예를 들어, 사람의 얼굴을 볼 때 '눈'이라는 점 하나가 중요한 게 아니라, '눈과 코의 거리', '입술의 모양과 턱의 각도' 같은 **'관계(Interaction)'**가 핵심이죠.

기존 방식은 이 '관계'를 놓치고 개별 점들만 강조하다 보니, 설명이 너무 지저분하거나(노이즈), 정작 중요한 핵심 관계를 놓치는 경우가 많았습니다.

2. H-Sets의 해결책: "셜록 홈즈의 추리법" 🕵️‍♂️

H-Sets는 단순히 점을 찾는 게 아니라, **"서로 긴밀하게 연결된 범인 집단(상호작용 세트)"**을 찾아내는 셜록 홈즈 같은 역할을 합니다. 이 과정은 두 단계로 이루어집니다.

1단계: "공범 찾기" (Hessian 기반 탐지) 🤝

셜록 홈즈가 범죄 현장에서 "이 두 인물은 서로 아주 긴밀하게 움직이는 공범이군!"이라고 추리하는 과정입니다.

논문에서는 **'헤시안(Hessian)'**이라는 수학적 도구를 사용합니다. 이건 단순히 "이 점이 중요해?"라고 묻는 게 아니라, **"이 점과 저 점이 동시에 변할 때 결과가 확 바뀌는가?"**를 측정합니다.
즉, 따로 놀 때는 아무것도 아닌데, 둘이 만났을 때 폭발적인 효과를 내는 '공범 관계'를 찾아내는 것이죠. 여기에 'SAM'이라는 기술을 더해, 이 공범들이 사진 속에서 흩어져 있지 않고 **'의미 있는 덩어리(예: 강아지의 귀, 눈 모양)'**로 뭉쳐 있게 만듭니다.

2단계: "공범들의 기여도 계산" (IDG-Vis 기반 기여도 산출) ⚖️

공범 집단을 찾았다면, 이제 "이 집단이 전체 범죄(판단)에 얼마나 기여했나?"를 계산해야 합니다.

여기서는 **'게임 이론'**이라는 수학을 가져옵니다. 여러 명이 팀을 짜서 일을 했을 때, 각 멤버의 개인 능력과 **'팀워크로 만들어낸 시너지'**를 분리해서 계산하는 방식이죠.
이를 통해 "이 부분은 단순히 눈이라서 중요한 게 아니라, 눈과 코가 만드는 '얼굴의 형태' 때문에 중요해!"라고 아주 정확하게 짚어낼 수 있습니다.

3. 결과: "더 깔끔하고, 더 정확한 지도" 🗺️

이 기술을 적용해 보니 기존 방식보다 훨씬 뛰어난 결과가 나왔습니다.

더 깔끔합니다 (Sparsity): 쓸데없는 노이즈(배경 등)는 싹 지우고, 정말 중요한 '의미 있는 덩어리'만 딱 보여줍니다. (마치 복잡한 지도에서 길 찾기에 필요한 표지판만 남기는 것과 같습니다.)
더 믿음직합니다 (Faithfulness): AI가 실제로 판단 근거로 삼은 부분을 아주 정확하게 맞춥니다. AI가 만약 사진 속의 '귀 모양'을 보고 강아지라고 했다면, H-Sets는 정확히 그 '귀 모양의 특징'을 찾아냅니다.

💡 요약하자면!

H-Sets는 AI가 사진을 볼 때 **"개별 픽셀의 중요도"**를 넘어, **"픽셀들이 모여 만드는 의미 있는 관계(시너지)"**를 수학적으로 찾아내어, AI의 생각을 우리에게 가장 깔끔하고 정확한 그림으로 보여주는 기술입니다.

[기술 요약] H-Sets: 이미지 분류기를 위한 헤시안 기반 집합 단위 피처 상호작용 발견 방법론

1. 문제 정의 (Problem Statement)

딥러닝 모델의 의사결정 과정을 설명하기 위한 피처 어트리뷰션(Feature Attribution) 방법론들은 주로 개별 피처의 독립적인 기여도(Marginal Effects)를 계산하는 데 집중해 왔습니다. 그러나 이미지 데이터의 경우, 객체의 의미(Semantics)는 개별 픽셀이 아닌 **픽셀 간의 상호작용(Interactions)**을 통해 형성됩니다.

기존의 상호작용 기반 방법론들은 다음과 같은 한계를 가집니다:

해상도 문제: 슈퍼픽셀(Superpixel) 단위의 거친(Coarse) 설명에 그침.
계산 복잡도: 고차원 이미지에서 모든 피처 조합을 탐색하는 것은 불가능함.
이론적 결함: 게임 이론적 공리(Axioms)를 충족하지 못하거나, 모델의 실제 의사결정 과정을 충실히 반영(Faithfulness)하지 못함.

2. 제안 방법론 (Methodology: H-Sets)

H-Sets는 두 단계의 프레임워크를 통해 고차원 피처 상호작용을 발견하고 그 중요도를 할당합니다.

단계 1: 상호작용 집합 탐지 (Interaction Set Detection)

모델의 곡률(Curvature)을 나타내는 **헤시안 행렬(Hessian Matrix)**을 사용하여 피처 간의 2차 의존성을 포착합니다.

Pairwise Detection: 헤시안의 2차 미분 값을 통해 강하게 결합된 피처 쌍을 찾습니다. 이때 ReLU의 불연속성 문제를 해결하기 위해 미분 가능한 매끄러운 근사 함수(Smoother approximation)를 사용합니다.
Recursive Merging: 발견된 쌍을 재귀적으로 병합하여 더 큰 고차원 집합을 구성합니다.
Spatial Prior (SAM 활용): 탐색 과정에서 **Segment Anything Model (SAM)**을 공간적 그룹화 사전(Prior)으로 사용하여, 발견된 상호작용 집합이 시각적으로 의미 있고 공간적으로 응집된(Coherent) 영역이 되도록 유도합니다.

단계 2: 상호작용 집합 어트리뷰션 (Interaction Set Attribution: IDG-Vis)

발견된 집합에 대해 스칼라 중요도 점수를 부여하기 위해 IDG-Vis를 제안합니다.

IDG-Vis: 텍스트용 IDG를 이미지로 확장한 것으로, 피처 집합 방향을 따라 **방향성 그래디언트(Directional Gradients)**를 적분합니다.
Harsanyi Dividends: 협력 게임 이론(Cooperative Game Theory)의 하사니 배당 개념을 도입하여, 개별 피처의 효과를 제외한 집합만의 순수한 상호작용 기여도를 계산합니다. 이를 통해 게임 이론적 공리(Non-negativity, Monotonicity, Superadditivity 등)를 만족시킵니다.

3. 주요 기여 (Key Contributions)

Hessian 기반의 정밀한 탐지: 헤시안을 사용하여 모델의 비선형적 상호작용을 수학적으로 포착하고, 이를 통해 의미 있는 피처 집합을 구성하는 프레임워크를 제안했습니다.
IDG-Vis 도입: 집합 단위의 어트리뷰션을 위해 방향성 그래디언트 적분과 게임 이론을 결합한 새로운 수식을 제안하여 이론적 엄밀성을 확보했습니다.
고해상도 및 의미론적 일관성: SAM을 활용하여 거친 슈퍼픽셀 단위가 아닌, 픽셀 수준의 정밀도와 시각적 의미를 동시에 갖춘 설명력을 제공합니다.

4. 실험 결과 (Results)

ImageNet 및 CUB 데이터셋과 VGG, ResNet, DenseNet, MobileNet 등 다양한 모델을 대상으로 평가를 진행했습니다.

Sparsity (희소성): Gini Index 측정 결과, 기존 방법론(IG, Archipelago, MOXI 등)보다 더 적고 핵심적인 피처에 집중된, 해석하기 쉬운(Comprehensible) 맵을 생성했습니다.
Faithfulness (충실도): ROAD(Area Over the Perturbation Curve) 지표에서 모든 아키텍처에 대해 기존 방법론들을 압도하는 성능을 보였습니다. 이는 H-Sets가 모델의 실제 의사결정 로직을 가장 정확하게 반영하고 있음을 의미합니다.
Robustness (강건성): 하이퍼파라미터( $\mu, \nu$ ) 변화에도 성능이 안정적이며, SAM과 같은 공간적 사전 정보가 모델의 편향(Shortcut)을 가리지 않고 실제 의사결정 근거를 찾아냄을 확인했습니다 (DecoyMNIST 실험).

5. 의의 (Significance)

본 논문은 이미지 분류 모델의 설명 가능성(Explainability) 연구에 있어 **"개별 피처의 합이 곧 모델의 판단이 아니다"**라는 점을 수학적(Hessian) 및 게임 이론적(Harsanyi dividends)으로 증명하고 해결했습니다. H-Sets는 단순한 시각화를 넘어, 모델이 피처 간의 복잡한 관계를 어떻게 활용하는지를 정밀하게 추적할 수 있는 강력한 도구를 제공합니다.