MiniFool -- Physics-Constraint-Aware Minimizer-Based Adversarial Attacks in Deep Neural Networks

이 논문은 MNIST, IceCube 타우 중성미자 데이터, 그리고 CMS Open Data에 대한 적용을 통해 입자 및 천체 입자 물리학 분야에서 딥 뉴럴 네트워크의 강건성을 평가하기 위해 $\chi^2$ 검정 통계량과 타겟 점수 편차를 결합한 비용 함수를 최소화하는 물리 제약 인식 적대적 공격 알고리즘인 MiniFool을 소개한다.

핵심

매우 똑똑한 로봇이 사진을 보고 그것이 무엇인지 추측한다고 상상해 보세요. 예를 들어, 고양이 사진을 보고 "저건 개예요!"라고 말하거나, 흐릿한 별 사진을 보고 "저건 행성이에요!"라고 말할 수도 있습니다.

물리학(미세한 입자와 거대한 별을 연구하는 분야)의 과학자들은 방대한 양의 데이터를 이해하기 위해 이러한 로봇들을 사용합니다. 하지만 한 가지 문제가 있습니다. 이 로봇들은 쉽게 속을 수 있다는 점입니다. 사진을 아주 미세하고 눈에 보이지 않는 방식으로 조금만 바꾸더라도, 로봇은 갑자기 생각을 완전히 바꿔버릴 수 있습니다.

이 논문은 MiniFool이라는 새로운 도구를 소개합니다. MiniFool을 로봇을 해킹하려는 "해커"가 아니라, 스트레스 테스트 검사관이라고 생각하세요. 이 도구의 역할은 다음과 같습니다: "데이터를 실제로 얼마나 흔들어야 로봇의 마음이 바뀔까?"

이것이 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다.

1. "가짜" vs "진짜"의 속임수

로봇을 속이는 대부분의 기존 방식("적대적 공격"이라 불림)은 마술사가 모자에서 토끼를 꺼내는 것과 같습니다. 데이터의 물리적으로 불가능한 방식으로 데이터를 변경합니다.

• 기존 방식: 사진의 픽셀을 음수 값으로 바꾸어 로봇을 속이려고 하는 것과 같습니다. 현실 세계에서는 "음수의 빛"이란 존재할 수 없습니다. 하지만 기존의 속임수들은 그런 것을 상관하지 않았습니다. 그저 로봇을 혼란스럽게 만드는 데만 집중했습니다.
• MiniFool 방식: MiniFool은 엄격한 물리 선생님과 같습니다. 이 선생님은 이렇게 말합니다. "데이터를 바꿀 때는 반드시 현실 세계에서 말이 되는 방식으로만 바꿔야 한다." 만약 센서에 알려진 오차 범위(예: 약간 흐릿한 자의 눈금)가 있다면, MiniFool은 오직 그 흐릿한 범위 내에서만 데이터를 변경합니다. MiniFool은 다음과 같이 질문합니다. "측정값의 자연스러운 '흐릿함'만을 이용해서 로봇을 속일 수 있는가?"

2. "흔들림의 여지(Wiggle Room)" 테스트

연구자들은 **"공격 파라미터(Attack Parameter)"**라는 특별한 조절 장치를 사용합니다. 이 조절 장치는 우리가 데이터에 허용하는 "흔들림의 여지"나 불확실성을 제어하는 다이얼이라고 생각하면 됩니다.

• 다이얼을 낮게 설정했을 때 (낮은 흔들림의 여지): 만약 로봇이 아주 미세하고 거의 보이지 않는 움직임만으로도 마음을 바꾼다면, 이는 로봇이 취약하다는 뜻입니다. 마치 카드 집과 같아서 작은 바람에도 무너지는 상태입니다.
• 다이얼을 높게 설정했을 때 (높은 흔들림의 여지): 만약 로봇이 데이터를 격렬하게 흔들어야만(측정 기기의 자연스러운 오차보다 훨씬 더 많이) 마음을 바꾼다면, 이는 로봇이 강건(Robust)하다는 뜻입니다. 마치 벽돌 담장과 같아서 움직이기가 매우 어렵습니다.

3. 세 가지 실제 사례 테스트

연구진은 MiniFool이 어디에서나 작동한다는 것을 보여주기 위해 세 가지 다른 대상에 대해 테스트를 진행했습니다.

• 손글씨 숫자 (MNIST): 로봇에게 숫자(예: "9") 사진을 보여주었습니다.
  • 결과: 로봇이 정답을 맞혔을 때는 속이기 어려웠습니다. 하지만 이미 틀렸을 때(예: "9"를 "8"로 생각하고 있을 때)는 아주 작은 움직임만으로도 다시 정답으로 되돌리기가 매우 쉬웠습니다. 이는 MiniFool이 어떤 예측이 불안정한지를 찾아낼 수 있음을 증명했습니다.
• 아이스큐브 망원경 (IceCube): 남극에 있는 거대한 탐지기로, 뉴트리노라고 불리는 유령 입자를 찾습니다. 연구진은 특히 "타우 뉴트리노"라는 특정 유형을 찾고자 했습니다.
  • 결과: 연구진은 망원경의 실제 데이터에 MiniFool을 적용했습니다. 그 결과, "좋은" 이벤트(실제 타우 뉴트리노)는 속이기 매우 어려웠던 반면, "나쁜" 이벤트(배경 소음)는 속이기가 매우 쉬웠습니다. 이는 그들의 발견이 단순한 우연이 아니라 실제임을 검증하는 데 도움이 되었습니다.
• 입자 가속기 (CMS): 무거운 "b-쿼크"를 찾기 위해 입자들을 충돌시키는 거대한 기계입니다.
  • 결과: 연구진은 이 입자들을 식별하는 로봇을 테스트했습니다. 그 결과, 로봇이 확신을 가지고 정확하게 판단하고 있을 때는 마음을 바꾸기 위해 엄청난 "흔들림"이 필요했습니다. 반면, 로봇이 틀렸을 때는 아주 작은 흔들림만으로도 정답을 바로잡을 수 있었습니다.

핵심 요약

이 논문의 핵심은 MiniFool이 과학자들이 자신의 로봇을 신뢰할 수 있도록 돕는다는 것입니다.

이 도구를 사용함으로써, 과학자들은 특정 데이터 조각을 보고 이렇게 말할 수 있습니다. "이 분류는 강력한가, 아니면 측정이 약간만 어긋나도 무너져 버릴 운 좋은 추측에 불고 있는가?"

MiniFool은 단순히 로봇이 속을 수 있는지 여부만을 알려주는 것이 아니라, 물리 법칙의 실제 규칙에 근거하여 속이기 위해 얼마나 많은 노력이 필요한지를 알려줍니다. 이를 통해 과학자들은 견고하고 신뢰할 수 있는 발견과 불안정한 발견을 구분할 수 있습니다.

기술 요약

기술 요약: MiniFool - 물리적 제약을 고려한 최소화 기반 적대적 공격

문제 정의

입자 및 천체 입자 물리학에서 심층 신경망(DNN)은 특히 이벤트를 신호와 배경 범주로 분류하는 데이터 분석의 중심 역할을 수행하며 그 중요성이 커지고 있습니다. 그러나 이러한 네트워크는 레이블이 지정된 몬테카를로 시뮬레이션으로 학습되는데, 이 과정에서 실험 기기의 미세한 모델링 오류가 포함될 수 있습니다. 이러한 모델링 오류는 네트워크가 비물리적인 특징을 학습하게 만들어, 실제 실험 데이터에 적용되었을 때 성능을 저하시킬 수 있습니다.

표준 적대적 공격 알고리즘(예: FGSM, PGD, DeepFool)은 분류를 뒤집기 위한 최소한의 섭동(perturbation)을 찾는 데 설계되었습니다. 그러나 이러한 방법들은 일반적으로 물리적 불확실성이나 물리적 경계 조건(예: 보존 법칙, 비음수 신호)을 고려하지 않고 거리 지표(예: $L_\infty$ 또는 $L_2$)를 최소화합니다. 결과적으로, 표준 방식에서 네트워크를 속이기 위해 필요한 섭동은 종종 물리적으로 불가능한 데이터 이벤트를 나타내게 됩니다. 이는 실험 물리학의 맥락에서 공격 성공률의 통계적 및 물리적 해석을 어렵거나 불가능하게 만듭니다. 따라서 네트워크의 결정을 견고하게 평가하고 오분류된 이벤트를 식별하기 위해서는 실험적 불확실성을 존중하는 공격 방법론이 필요합니다.

방법론: MiniFool 알고리즘

저자들은 물리적 영감을 받은 적대적 공격을 구현하는 새로운 알고리즘인 MiniFool을 제시합니다. MiniFool은 픽셀이나 특징값의 절대적인 최소 변화를 찾는 전통적인 방식과 달리, 실험적 불확실성에 의해 정량화된 **물리적 타당성(physical plausibility)**과 타겟 분류 점수 사이의 균형을 맞추는 비용 함수를 최소화합니다.

핵심 공식

이 알고리즘은 $m$개의 클래스가 있는 분류 작업에 작동합니다. 입력 $\vec{x}_0$와 타겟 점수 $g$(일반적으로 확신에 찬 분류를 뒤집기 위해 $g=0$ 사용)가 주어졌을 때, MiniFool은 다음 전체 메트릭 $\lambda$를 최소화하는 적대적 입력 $\vec{x}_a$를 찾습니다:

$$\lambda(\vec{x}_0; \vec{x}_a; \vec{\theta}) = \eta(\vec{x}_0; \vec{x}_a) + \beta \cdot (f_{i^*}(\vec{x}_a; \vec{\theta}) - g)^2$$

여기서:

• $\eta$ (입력 메트릭): 원래 특징 대비 섭동된 특징의 평균 제곱 편차의 제곱 $L_2$ 노름이며, 각 특징의 실험적 불확실성 $\sigma_i$로 정규화됩니다:
  $$\eta = \frac{1}{N} \sum_{i=1}^{N} \left( \frac{x_{0,i} - x_{a,i}}{\sigma_i} \right)^2$$
  이 메트릭은 $\chi^2$ 통계량과 유사합니다. 이는 공분산 행렬을 사용하여 상관관계가 있는 특징들로 확장될 수 있습니다.
• 타겟 점수 항: 네트워크의 출력인 타겟 클래스 $f_{i^*}$와 원하는 점수 $g$ 사이의 제곱 차이입니다.
• $\beta$: 항들의 가중치를 재조정하기 위한 조절 가능한 메타 파라미터(기본값 1)로, 출력이 정규화된 확률이 아닐 때 유용합니다.
• 공격 파라미터 ($s$): 견고성을 평가하기 위해, 명목상 불확실성 $\vec{\sigma}_0$를 스칼라 $s$에 의해 스케일링합니다 ($\vec{\sigma} = s \cdot \vec{\sigma}_0$). $s$를 스캔함으로써, 분류를 뒤집는 데 필요한 불확실성의 크기를 결정할 수 있습니다.

최적화

최소화는 Adam 옵티마이저를 사용하여 수행됩니다. 이 과정은 그래디언트 부호(gradient-sign) 방식보다 계산 집약적이며, 워크스테이션에서 이벤트당 수 초가 소요되지만, 가정된 실험적 불확실성과 통계적으로 일치하는 솔루션을 산출합니다. 알고로리즘은 TensorFlow와 PyTorch 모두에서 구현되었습니다.

주요 기여 및 결과

논문은 세 가지 서로 다른 도메인에서 MiniFool을 검증했습니다:

1. MNIST 숫자 분류 (웜업)

• 설정: 28x28 그레이스케일 이미지(정확도 98% 이상)로 학습된 표준 피드포워드 네트워크.
• 결과:
  • MiniFool은 최소한의 섭동으로 분류를 성공적으로 뒤집었으며(예: "9"를 "4"로), 오분류를 수정했습니다(예: "9"가 "8"로 오분류된 것을 "9"로 수정).
  • 견고성 분석: 공격 파라미터 $s$를 스캔할 때, 오분류된 이미지는 신뢰도 점수가 급격히 감소한 반면, 올바르게 분류된 이미지는 훨씬 더 큰 $s$ 값까지 견고함을 유지했습니다. 이는 잘못된 예측이 데이터 불확실성과 일치하는 섭동에 더 취약함을 확인시켜 줍니다.

2. IceCube 타우 중성미자 식별

• 맥락: IceCube 검출기의 체렌코프 빛 패턴의 2D 이미지를 사용하여 배경 전자 중성미자($\nu_e$)에 대한 천체 타우 중성미자($\nu_\tau$) 식별.
• 설정: 시뮬레이션된 이벤트와 2024년 분석에서 식별된 7개의 실제 후보 이벤트에 공격을 적용했습니다. 불확실성은 기록된 진폭의 10%로 모델링되었습니다.
• 결과:
  • 7개의 실제 후보 이벤트 중 6개는 분류를 뒤집기 위해 공격 파라미터 $s \approx 10$ (즉, 100% 불확실성 의미)이 필요하여 높은 견고성을 보였습니다.
  • 한 이벤트는 $s < 1$에서 뒤집혔으며, 이는 해당 이벤트가 배경 이벤트였을 가능성이 높음을 시사합니다.
  • 이러한 구분은 원래 분석의 배경 추정치인 0.5 이벤트와 일치하며, MiniFool이 선택된 이벤트 샘플의 순도를 독립적으로 검증할 수 있음을 보여줍니다.

3. CMS B-Jet 태깅

• 맥락: CMS Open Data의 DeepJet 네트워크를 사용하여 b-쿼크에서 기원하는 제트를 식별.
• 설정: 네트워크는 600개 이상의 입력 양을 처리합니다. 모든 입력에 대한 구체적인 불확실성을 정량화하기 어려운 점을 고려하여, 모든 불확실성을 1로 설정하고 $s$에 의해 스케일링하는 단순화된 모델을 사용했습니다.
• 결과:
  • 스트레스 테스트: AUC는 $s$가 증가함에 따라 명목치(0.932)에서 0.752로 저하되었습니다. 유의미한 저하는 $s = 3 \times 10^{-4}$에서 시작되었습니다.
  • 견고성 스캔: 초기 신뢰도가 높은($P \ge 87\%$) 200개 제트의 하위 집합에 대해, 올바르게 분류된 제트는 처음에 오분류된 제트에 비해 뒤집히기 위해 훨씬 더 큰 $s$ 값이 필요했습니다.
  • 이는 알고리즘이 고차원의 이질적인 입자 물리학 데이터에도 일반화될 수 있음을 확인시켜 줍니다.

의의 및 주장

본 논문은 MiniFool이 입자 물리학에서 신경망 결정의 견고성을 테스트하는 물리적으로 의미 있는 방법을 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

1. 물리적 타당성: 비용 함수에 실험적 불확실성을 포함함으로써, 생성된 섭동은 표준 공격이 생성하는 비물리적 아티팩트와 달리 물리적으로 가능한 데이터 변동을 나타냅니다.
2. 견고성 평가: 공격 파라미터 $s$를 스캔할 수 있는 능력은 연구자가 분류가 실패하기 전까지 실험적 불확실성이 얼마나 견딜 수 있는지 정량화할 수 있게 해줍니다. 이는 개별 이벤트 분류의 신뢰성을 측정하는 척도로 기능합니다.
3. 오분류 탐지: 이 방법은 올바르게 분류된 이벤트와 잘못 분류된 이벤트를 일관되게 구분합니다. 오분류된 이벤트는 견고한 올바른 분류에 비해 더 작은 불확씨성 스케일에서도 "뒤집힐 수(flippable)" 있습니다.
4. 범용적 적용 가능성: 알고리즘은 이미지 데이터(MNIST), 시계열/2D 검출기 데이터(IceCube), 고차원 운동학 데이터(CMS)에서의 성공을 통해 특정 검출기나 데이터 유형에 국한되지 않음을 입증했습니다.

저자들은 현재의 구현이 그래디언트 기반 공격보다 느리지만, 물리 분석을 검증하기 위한 독특한 도구를 제공한다고 언급했습니다. 향-후 연구는 더 복잡하고 현실적인 불확실성 모델을 적용하고, 이 방법을 훈련 과정(적대적 훈련)에 통합하는 방안을 탐구해야 한다고 제안하지만, 현재의 계산 비용은 이를 작은 데이터셋에 한정시키고 있습니다.