Explainable AI for Jet Tagging: A Comparative Study of GNNExplainer, GNNShap, and GradCAM for Jet Tagging in the Lund Jet Plane

본 논문은 Lund 제트 평면 표현에 적응된 교란 기반, 샤플리 값 기반, 그리고 기울기 기반 설명 가능성 방법들을 평가하고 비교하여, 이러한 기법들이 신경망 예측과 고전적 QCD 관측량 간의 상관관계를 성공적으로 규명하며 제트 태깅에서 섭동 및 비섭동 영역 간의 뚜렷한 초점 이동을 드러낸다는 것을 입증한다.

핵심

이 논문은 쉬운 언어와 일상적인 비유를 사용하여 설명합니다.

큰 그림: "블랙박스" 문제

범죄를 수사하는 형사가 되어 있다고 상상해 보세요. 당신은 99%의 정확도로 혼란스러운 범죄 현장의 범인을 정확히 지목할 수 있는 초지능 AI 조수에게 도움을 받습니다. 하지만 AI 에게 "왜 그렇게 생각하나요?"라고 물으면, AI 는 단순히 "확신합니다"라고만 답할 뿐입니다. AI 는 자신의 메모를 보여주거나 추론 과정을 설명하지 않습니다.

입자 물리학 (특히 대형 강입자 충돌기) 의 세계에서는 과학자들이 **제트 (jets)**를 식별하기 위해 유사한 "블랙박스" AI 모델을 사용합니다. 제트는 양성자가 서로 충돌할 때 생성되는 미세 입자들의 분출입니다. 때로는 이러한 제트가 쿼크나 글루온과 같은 일반적인 입자에서 나오기도 하고, 때로는 힉스 보손이나 탑 쿼크와 같은 드물고 무거운 입자에서 나오기도 합니다.

AI 는 그 차이를 찾아내는 데 탁월하지만, 물리학자들은 걱정합니다. AI 가 실제로 물리 법칙을 학습한 것일까, 아니면 학습에 사용된 컴퓨터 시뮬레이션의 특이점들을 단순히 암기한 것일까? 만약 AI 가 시뮬레이션을 단순히 암기한 것이라면, 실제 데이터를 분석할 때 실패할 수 있습니다.

해결책: "런드 제트 평면 (Lund Jet Plane)" 지도

이를 해결하기 위해 연구자들은 입자들을 엉망진창의 더미로 보는 것을 멈추고, 이를 지도로 보기로 결정했습니다.

그들은 런드 제트 평면이라는 것을 사용했습니다. 이는 산맥의 지형도와 같습니다.

• X 축은 입자 분출의 폭을 나타냅니다.
• Y 축은 입자가 가진 에너지를 나타냅니다.

입자가 두 개의 더 작은 입자로 분리되는 모든 "분할"은 이 지도 위에 점으로 표시됩니다. 이 지도는 실제 물리 법칙 (양자 색역학) 에 기반하고 있기 때문에, 모든 점은 특정한 알려진 의미를 가집니다. 이는 모든 언덕과 계곡이 특정 지질학적 사건에 대응하는 지도를 가진 것과 같습니다.

실험: 세 가지 다른 "손전등"

연구자들은 세 가지 다른 유형의 AI 모델 (수사관들) 을 가져와 세 가지 다른 유형의 "손전등" (설명 가능한 AI 도구) 을 비추어, 그들이 지도의 어떤 부분을 보고 있는지 확인했습니다.

1. GNNExplainer("만약에?" 손전등): 이 도구는 "이 지도의 일부를 숨기면 AI 가 여전히 정답을 맞출 수 있을까?"라고 묻습니다. 해당 부분을 제거했을 때 어떤 일이 발생하는지 관찰함으로써 가장 중요한 영역을 강조합니다.
2. GNNShap("공정한 몫" 손전등): 이 도구는 수학적 게임 이론 개념을 사용하여 지도의 각 점이 최종 결정에 대해 얼마나 "공로"를 인정받아야 하는지 정확히 계산합니다. 누가 무엇을 먹었는지에 따라 공평하게 청구서를 나누는 것과 같습니다.
3. GradCAM("히트맵" 손전등): 이 도구는 AI 의 내부 "뉴런"이 활성화되는 모습을 관찰하고, AI 가 결정을 내릴 때 가장 활발했던 영역을 보여주는 히트맵을 그립니다.

발견: AI 는 실제로 무엇을 보았는가?

연구자들은 AI 의 "손전등" 시야를 지도의 알려진 물리 법칙과 비교했습니다. 그들이 발견한 바는 다음과 같습니다.

1. AI 는 실제 물리를 학습했습니다
무거운 입자들 (탑 쿼크나 힉스 보손 등) 의 경우, AI 의 손전등은 무거운 입자가 분해되는 지도의 특정 "단단한" 분할들을 정확하게 비추었습니다.

• 비유: 숲속에서 특정 종류의 나무를 찾고 있다면, AI 는 단순히 추측한 것이 아니라 잎과 나무껍질의 고유한 모양을 정확하게 가리켰습니다. 이 연구는 AI 가 단순히 추측하는 것이 아니라, 이러한 무거운 입자들이 어떻게 붕괴하는지에 대한 실제 구조를 학습했음을 증명합니다.

2. "QCD 이상 (The QCD Anomaly)" (안개 낀 숲)
일반적인 입자들 (QCD 제트) 의 경우, AI 의 손전등은 한 특정 지점에 집중하지 않았습니다. 대신 지도 전체, 특히 "부드럽고" "넓은" 영역을 비췄습니다.

• 비유: 일반적인 소나무를 식별하려고 상상해 보세요. 이를 정의하는 단일한 독특한 가지가 있는 것이 아니라, 전체적인 모양과 바늘이 퍼지는 방식이 중요합니다. AI 는 이러한 일반적인 제트들의 경우 정답이 한 가지 특별한 지점이 아니라 전체적인 패턴에 있음을 올바르게 파악했습니다. 연구자들은 이를 "신뢰도 이상 (fidelity anomaly)"이라고 부르지만, 실제로는 AI 가 물리를 완벽하게 이해하고 있다는 신호입니다.

3. 서로 다른 작업을 위한 서로 다른 도구
이 연구는 어떤 AI 모델에도 가장 잘 작동하는 단일 "손전등"은 없다는 것을 발견했습니다.

• 일부 AI 모델의 경우, "공정한 몫" 도구 (GNNShap) 가 단단한 분할을 찾는 데 가장 효과적이었습니다.
• 다른 모델들의 경우, "히트맵" 도구 (GradCAM) 가 더 넓은 패턴을 보는 데 더 좋았습니다.
• 교훈: 하나의 설명 도구를 선택해서 영원히 사용할 수는 없습니다. 사용하는 특정 AI 모델에 맞게 도구를 선택해야 합니다.

4. "부스트 (Boost)" 효과
연구자들은 서로 다른 속도 (저에너지 대 고에너지) 로 이동하는 제트들을 살펴보았습니다. 제트가 더 빠르게 이동할수록 AI 의 초점은 더 날카로워지고 물리 법칙이 예측하는 대로 특정 단단한 분할에 더 집중된다는 것을 발견했습니다.

결론

이 논문은 현대의 AI 제트 태거 (식별기) 들이 단순한 마법의 블랙박스가 아니라고 결론 내립니다. 올바른 빛을 비추면 그들이 실제로 물리 법칙을 학습했음을 볼 수 있습니다. 그들은 무거운 입자들이 어디서 분해되는지 알고 있으며, 특정 무거운 사건과 일반적인 입자 분출 사이의 차이를 이해합니다.

이는 매우 중요한 일입니다. 이는 미래 실험에서 새로운 미지의 입자를 탐색할 때 과학자들이 이러한 AI 도구를 더 신뢰할 수 있음을 의미하기 때문입니다. AI 는 단순히 교과서를 암기하는 것이 아니라, 물리학을 수행하고 있는 것입니다.

기술 요약

"런드 제트 평면에서의 제트 태깅을 위한 GNNExplainer, GNNShap, GradCAM 비교 연구"에 대한 상세한 기술 요약입니다.

1. 문제 제기

입자 가속기 LHC(대형 강입자 충돌기) 에서 제트 (입자의 집약된 분출) 를 식별하는 데 있어 ParticleNet 및 Particle Transformer와 같은 그래프 신경망 (GNN) 이 최첨단 성능을 보이고 있음에도 불구하고, 그 의사결정 과정은 여전히 "블랙박스"로 남아 있습니다.

• 격차: 고전적인 제트 하부 구조 관측량 (예: $N$-subjettiness $\tau_{21}$, 에너지 상관 함수) 은 제 1 원리 양자 색역학 (QCD) 에서 유도되며 해석적으로 계산 가능합니다. 반면, 신경망은 복잡하고 불투명한 특징 표현을 학습합니다.
• 위험: 모델이 근본적인 물리 현상이 아닌 몬테카를로 (MC) 시뮬레이션의 인공물 (예: 특정 강입자화 모델 또는 검출기 반응) 을 학습할 경우, 실제 충돌 데이터에서 성능이 저하될 수 있습니다.
• 과제: 기존 설명 가능한 AI(XAI) 방법은 런드 제트 평면 (LJP) 기반 GNN 에 체계적으로 적용된 바가 없습니다. LJP 는 그래프 표현의 각 노드가 물리적으로 의미 있는 파트론 분할에 대응하므로, 모델의 주의 메커니즘과 QCD 이론 간의 직접적인 비교가 가능하다는 독특한 기회를 제공합니다.

2. 방법론

저자들은 LJP 기반 GNN 에 적응된 세 가지 상이한 XAI 패러다임을 평가하고 비교하기 위한 포괄적인 프레임워크를 개발했습니다.

A. 데이터 표현: 런드 제트 평면 (LJP)

제트를 이미지나 일반적인 점 구름으로 취급하는 대신, 본 연구는 다음과 같이 정의된 2 차원 위상 공간인 런드 제트 평면을 사용합니다.

• $\ln(k_T)$: 분할의 횡방향 운동량 로그.
• $\ln(1/\Delta R)$: 분할 각도의 역수 로그.
• 그래프 구성: 각 노드는 제트의 샤워 역사에서 특정 파트론 방출을 나타냅니다. 이를 통해 설명 가능성 방법이 특정 물리적 분할 사건에 중요도 점수를 할당할 수 있습니다.

B. 모델 및 설명 가능성 방법

본 연구는 세 가지 아키텍처를 평가합니다.

1. LundNet: LJP 에서 구축된 정적 $k$-NN 그래프에 EdgeConv 를 사용하는 GNN.
2. ParticleNet: 각 레이어에서 이웃을 재계산하는 동적 EdgeConv 를 사용하는 GNN.
3. Particle Transformer: LJP 구성 요소에 자기 주의 (self-attention) 를 사용하는 트랜스포머 기반 아키텍처.

이들은 세 가지 XAI 방법과 짝을 이룹니다.

1. GNNExplainer (교란 기반): 서브그래프와 예측 간의 상호 정보를 최대화하도록 마스크를 최적화합니다.
2. GNNShap (샤플리 값 기반): 협력 게임 이론을 사용하여 가장자리가 기여하는 한계 기여도에 기반하여 공정한 중요도 값을 할당합니다.
3. GradCAM (기반 기반): 중요한 노드/특징을 식별하기 위해 가중치 클래스 활성화 맵을 계산합니다.

C. 평가 프레임워크

저자들은 표준 충실도 (fidelity) 지표를 넘어 물리 정보 기반 평가를 도입했습니다.

1. MC-Truth 마스크: 하드 산란 파트론을 샤워 과정을 통해 추적함으로써 (예: 탑 쿼크의 3-프롱 구조 또는 힉스 보손의 2-프롱 구조 식별) 실제 설명 마스크를 구성했습니다.
2. 충실도 지수 ($Fid^+, Fid^-$): 중요한 가장자리를 제거하거나 유지할 때 모델 예측이 얼마나 감소하는지 측정합니다.
3. 하부 구조 상관관계: XAI 가 할당한 노드 중요도와 고전적 관측량 ($\tau_{21}, \tau_{32}, C_2, C_3$) 간의 스피어만 순위 상관관계를 계산합니다.
4. $p_T$ 층화 분석: 비섭동 영역과 섭동 영역 간의 전이를 연구하기 위해 세 가지 횡방향 운동량 구간 ($500\text{--}700$ GeV, $800\text{--}1000$ GeV, 전체) 에서 분석을 수행했습니다.

3. 주요 기여

1. 최초의 체계적 다중 방법 비교: 물리적으로 근거 있는 LJP 표현에서 작동하는 GNN 에 대해 교란, 게임 이론, 기반 기반 XAI 방법을 엄격하게 비교한 첫 번째 논문입니다.
2. 물리 정보 기반 실제값 (Ground Truth): MC-진실 설명 마스크의 도입을 통해 모델이 올바른 물리적 붕위 토폴로지 (예: 신호에 대한 하드 분할, 배경에 대한 소프트 방사) 에 집중하는지 정량적으로 확인할 수 있게 되었습니다.
3. "충실도 이상" 발견: 저자들은 QCD 제트에서 "중요한" 가장자리를 제거하는 것이 신호 제트와 달리 모델의 신뢰도를 저하시키지 않는다는 반직관적이지만 물리적으로 의미 있는 행동을 발견했습니다.
4. 아키텍처 - 방법 짝짓기: 단일 XAI 방법이 보편적으로 최적이 아니며, 최적의 선택은 근본적인 신경 아키텍처에 따라 달라진다는 것을 입증했습니다.

4. 주요 결과

A. 모델 학습 및 물리 정렬

• QCD 재발견: 세 가지 아키텍처 모두 표준 QCD 하부 구조 특징을 성공적으로 학습했습니다.
  • 탑 제트 ($t \to bW \to bq\bar{q}'$): 모델은 3-프롱 하드 분할 구조에 집중했습니다.
  • 힉스 제트 ($H \to c\bar{c}$): 모델은 2-프롱 질량 감소 (mass-drop) 영역에 집중했습니다.
  • QCD 제트: 모델은 하드 스케일의 부재를 올바르게 식별하고 통합된 소프트 광각 방사 (Sudakov 꼬리) 에 의존했습니다.
• 상관관계 강도: Particle Transformer는 내부 주의 가중치와 고전적 관측량 (예: $\tau_{21}$) 간의 가장 강한 상관관계 ($|\rho| \approx 0.5\text{--}0.6$) 를 보여주었으며, 이는 주의 메커니즘이 지역적 메시지 전달 GNN 보다 쌍별 운동량 특징을 더 직접적으로 인코딩함을 시사합니다.

B. 방법별 행동

• GNNShap: Particle Transformer 및 LundNet 에 가장 적합합니다. 하드, 콜리네어 분기를 "필터"로 작용하여 신호 질량에 책임 있는 특정 가장자리에 높은 가중치를 부여합니다.
• GradCAM: ParticleNet 에 가장 적합합니다. 인과적 가장자리뿐만 아니라 전체 메시지 전달 경로를 포착하는 저-$k_T$ 분열 활동 (소프트 방사) 에 가중치를 두는 경향이 있습니다.
• GNNExplainer: 운동량 공유 ($\ln z$) 와 각도 범위의 역할을 드러내는 데 매우 효과적이며, 종종 전체 방사 패턴을 강조합니다.

C. 충실도 이상 (QCD 제트)

• 신호 제트 (2-프롱/3-프롱) 의 경우, 상위 $k$개 중요한 가장자리를 제거하면 예측이 파괴됩니다 ($Fid^+ \to 1$). 이는 예상된 바와 같습니다.
• QCD 제트의 경우, 상위 $k$개 가장자리를 제거해도 예측에 유의미한 감소가 없습니다 ($Fid^+ \to 0$).
• 해석: 이는 설명 도구의 실패가 아니라 QCD 인자화의 검증입니다. QCD 제트는 단일 판별 하드 스케일이 없으며, 분류는 소프트 방사의 집합적 패턴에 의존합니다. 따라서 소규모 서브그래프만으로는 클래스를 정의하기에 충분하지 않습니다.

D. $p_T$ 의존성

• 횡방향 운동량 ($p_T$) 이 증가함에 따라 하드 분할은 더 콜리네어해집니다.
• 고-$p_T$ 영역에서 신호 제트의 경우 서로 다른 XAI 방법 간의 일치도가 일반적으로 향상됩니다. 이는 하드 신호가 소프트 배경과 더 명확하게 구분되기 때문입니다. 그러나 고도로 부스트된 2-프롱 제트의 경우, 신호와 소프트 배경 사이의 경계가 모호해져 방법 간 해석에 일부 불일치가 발생합니다.

5. 의의 및 전망

• ML 에 대한 신뢰: 본 연구는 현대의 딥러닝 태거가 시뮬레이션 인공물을 단순히 이용하는 것이 아니라 QCD 가 예측한 근본적인 하부 구조 물리를 학습하고 있음을 정량적 증거로 제시합니다.
• 방법론적 전환: 다중 방법 평가가 필수적임을 확립합니다. 단일 XAI 기술에 의존하면 모델이 학습한 바에 대한 불완전하거나 편향된 해석으로 이어질 수 있습니다.
• 미래 응용:
  • 이상 탐지: 표준 모델을 넘어서는 (BSM) 탐색을 위해 런드 평면에서 예상치 못한 분포를 식별하기 위해 XAI 사용.
  • 아키텍처 설계: 설명 맵을 사용하여 입력을 가지치기하거나 더 효율적인 태거를 설계 (예: 고중요도 런드 영역으로 입력 제한).
  • 데이터 기반 검증: 이 프레임워크는 시뮬레이션이 아닌 실험 측정값에 직접 ML 태거를 검증하기 위해 실제 LHC 데이터 (ATLAS/CMS) 에 적용할 준비가 되어 있습니다.

결론적으로, 본 논문은 고성능 머신러닝과 이론적 입자 물리학 간의 격차를 해소하며, 올바른 표현 (런드 제트 평면) 과 엄격한 XAI 를 통해 신경망이 QCD 의 언어를 학습하도록 해석될 수 있음을 입증합니다.