💻 컴퓨터 과학

CLEAR: Cross-Layer Extreme Activation Representation for Backdoor Sample Detection

본 논문은 배치 정규화 정렬 극단적 활성화 표현(batch normalization-aligned extreme activation representations)과 입자 군집 최적화 기반 계층 가중치(particle swarm optimization-driven layer weighting)를 활용하여, 낮은 독성 비율과 깨끗한 검증 데이터가 없는 상황에서도 높은 정확도와 낮은 오탐률로 백도어 샘플을 탐지하는 교차 계층 프레임워크인 CLEAR를 제안한다.

원저자: Hui Li, Bingyan Li, Wanwei Huang, Lifeng Jin, Chunfeng Du, Yi Ding, Shilin Liang

게시일 2026-11-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hui Li, Bingyan Li, Wanwei Huang, Lifeng Jin, Chunfeng Du, Yi Ding, Shilin Liang

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

딥러닝은 얼굴을 인식하는 카메라부터 자율주행 차량을 안내하는 시스템에 이르기까지, 우리가 일상적으로 의존하는 많은 기술 뒤에서 보이지 않는 엔진이 되었습니다. 이러한 시스템은 방대한 양의 데이터를 학습함으로써 패턴을 찾아내고 이를 통해 의사결정을 내립니다. 그러나 이러한 데이터에 대한 의존은 취약점을 만들어냅니다. 만약 공격자가 훈련 이미지 중 아주 적은 수를 몰래 변조한다면, 시스템에 숨겨진 규칙을 가르칠 수 있습니다. 시스템은 일반적인 사진들에 대해서는 여전히 완벽하게 작동하겠지만, 특정하고 미세한 표식, 즉 '트리거(trigger)'를 발견하는 순간 공격자가 의도한 잘못된 답으로 즉시 전환될 것입니다. 이것을 '백도어 공격(backdoor attack)'이라고 합니다. 이 공격의 위험성은 발견하기가 매우 어렵다는 점에 있습니다. 트리거는 너무 희미할 수 있고 오염된 이미지의 수는 너무 적어서 배경 속에 자연스럽게 섞여 들 수 있으며, 이로 인해 모델의 동작은 공격자가 실패를 의도한 바로 그 순간 전까지는 정상적으로 보이게 됩니다.

한 연구팀은 모델이 실제로 사용되기 전에 이러한 숨겨진 위협을 추적하기 위한 새로운 방법론을 개발했습니다. 'CLEAR'라고 불리는 이들의 접근 방식은, 백도어 트리거가 인간의 눈에는 보이지 않을지라도 컴퓨터의 내부 처리 계층(layers) 안에는 뚜렷하지만 희미한 지문(fingerprint)을 남긴다는 아이디어에 기반합니다. 딥러닝 모델이 이미지를 분석할 때, 데이터는 일련의 수학적 단계, 즉 각기 다른 특징을 추출하는 여러 계층을 통과하게 됩니다. 연구진은 오염된 이미지가 이러한 계층을 통과할 때, 일반적인 이미지는 생성하지 않는 특정 정보 채널에서 독특하고 극단적인 반응을 일으킨다는 사실을 발견했습니다. 이러한 반응은 단 하나의 계층만 살펴보거나 데이터를 평균화할 경우 너무 약해서 보이지 않을 수 있지만, 오염된 샘플 전체 그룹에서는 일관되로 나타납니다.

이 미세한 신호를 포착하기 위해 연구진은 모델의 내부 반응을 여러 다양한 계층에 걸쳐 동시에 관찰하는 시스템을 구축했습니다. 먼저, 이들은 모든 측정값을 더하기 전에 단위를 통일하는 것과 마찬가지로, 서로 공정하게 비교할 수 있도록 이 계층들의 데이터를 표준화했습니다. 그다음, 데이터의 평균적인 행동을 보는 대신, 각 채널 내에서의 가장 극단적인 값, 즉 활동의 최고점이나 최저점에 집중했습니다. 이 기술은 백도어 트리거의 희미한 속삭임을 증폭시켜 일반적인 데이터의 소음 속에서 더 크게 들리도록 만듭니다.

하지만 문제는 모델의 모든 계층이 트리거를 포착하는 데 똑같이 중요한 것은 아니라는 점이었습니다. 어떤 계층은 독성(poison)에 더 민감할 수 있지만, 연구진은 사전에 어떤 계층인지 알 수 없었습니다. 이를 해결하기 위해 그들은 새 떼가 먹이를 찾는 방식에서 영감을 얻은 계산 전략을 사용했습니다. 그들은 많은 '입자(particles)'들이 어떤 계층에 주목할지 결정하기 위해 다양한 가중치 조합을 시도하는 가상의 탐색 과정을 만들었습니다. 목표는 오염된 샘플들이 가장 조밀하게 모여 일반 데이터와 구별되는 뚜렷한 클러스터(cluster)를 형성하는 특정 계층의 조합을 찾아내는 것이었습니다. 어떤 크기의 형태든 찾아낼 수 있고 정해진 그룹의 수를 요구하지 않는 클러스터링 기법을 사용함으로써, 시스템은 공격의 모습이 어떠한지에 대한 사전 지식이나 비교를 위한 별도의 깨끗한 이미지 세트 없이도 오염된 이미지들의 작고 조밀한 그룹을 자동으로 식별할 수 있었습니다.

이 접근 방식의 결과는 놀라웠습니다. 수천 장의 사진이 포함된 표준 이미지 데이터셋을 대상으로 테스트했을 때, 이 방법은 거의 모든 오염된 샘플을 성공적으로 식별해 냈습니다. 한 데이터셋에서는 약 97.5%, 다른 데이터셋에서는 99.5%를 잡아냈으며, 정상 이미지를 잘못된 것으로 오인하는 경우는 천 장당 두 장 미만이었습니다. 이러한 정밀도는 공격자가 복잡하고 은밀한 트리거를 사용하거나 오염된 이미지의 수가 매우 적을 때도 그대로 유지되었습니다. 나아가, 연구진이 식별된 나쁜 이미지들을 제거하고 모델을 처음부터 다시 훈련시켰을 때, 결과물은 완벽하게 깨끗한 데이터로 훈련된 모델만큼 성능이 뛰어났으면서도 백도어 공격으로부터는 완전히 면역력을 갖추게 되었습니다. 이 연구는 모델의 극단적이고 교차 계층적인 반응에 귀를 기울임으로써, 다른 방법들이 놓치는 숨겨진 위협을 찾아내고 제거하는 것이 가능하다는 것을 보여주며, 공격의 구체적인 내용을 미리 알지 못하더라도 딥러닝 시스템을 안전하게 보호할 수 있는 강력한 방법을 제시합니다.

기술 요약: CLEAR – 백도어 샘플 탐지를 위한 교차 계층 극단적 활성화 표현 (Cross-Layer Extreme Activation Representation)

1. 문제 정의

자율 주행, 컴퓨터 비전과 같은 보안이 중요한 도메인에서 딥러닝 모델의 신뢰성은 **데이터 오염 백도어 공격(data-poisoning backdoor attacks)**에 의해 위협받고 있습니다. 이러한 공격에서 공격자는 훈련 세트에 숨겨진 트리거를 포함하는 소수의 악성 샘플을 삽입합니다. 모델은 트리거와 타겟 출력 사이의 은밀한 연관성을 학습하며, 깨끗한 입력에는 정상적으로 동작하지만 트리거가 발생하면 공격자가 지정한 오류 출력을 생성하게 됩니다.

기존의 방어 메커니즘은 세 가지 주요 한계점에 직면해 있습니다:

사전 지식에 대한 의존성: 많은 방법론이 깨끗한 검증 세트, 특정 트리거 패턴, 또는 공격 타겟에 대한 지식을 필요로 합니다.
단일 계층 집중: 대부분의 탐지기는 단일 은닉 계층(주로 펜얼티메이트 레이어)이나 입출력 매핑에 의존합니다. 이는 스텔스형 트리거(예: All-to-All 또는 Untargeted 공격)에 대한 이상 반응이 여러 네트워크 깊이에 걸쳐 희소하게 분포되어 나타나는 "교차 계층 분산(cross-layer dispersion)" 현상을 포착하지 못합니다.
약한 신호 탐지 능력: 낮은 오염율이나 복잡한 트리거 패턴(예: WaNet, Blend) 하에서는 이상 신호가 너무 약하고 분산되어 있어 단일 계층 특징으로는 포착하기 어려우며, 이로 인해 높은 미탐률(false-negative rates)이 발생하거나 깨끗한 데이터와의 비교를 위해 데이터가 필요하게 됩니다.

본 연구의 목표는 신뢰할 수 없는 훈련 세트로부터 깨끗한 라벨이나 공격 명세 없이도 오염된 샘플을 식별하고 제거할 수 있는 사전 지식이 필요 없는(prior-free), 비지도 학습 기반의 데이터셋 수준 방어 기법을 개발하는 것입니다.

2. 방법론: CLEAR 프레임워크

제안된 CLEAR(Cross-Layer Extreme Activation Representation) 프레임워크는 다음의 3단계 과정을 통해 이러한 한계점들을 해결합니다.

1단계: 교차 계층 극단적 특징 추출 (Cross-Layer Extreme Feature Extraction)

약한 트리거 유도 이상 신호를 증폭시키고 서로 다른 네트워크 깊이 간의 특징 스케일을 정렬하기 위해 다음을 수행합니다:

특징 정렬 (Feature Alignment): 배치 정규화(Batch Normalization, BN) 통계량(실행 평균 및 분산)을 사용하여 선택된 은닉 계층( $L$ )들의 활성화 맵을 정규화합니다. 이를 통해 내부 공변량 변화(internal covariate shifts)를 제거하고 서로 다른 계층의 특징들을 통일된 통계적 척도 위에 배치합니다.
극단값 추출 (Extreme-Value Extraction): 전역 평균 풀링(Global Average Pooling) 대신, CLEAR는 정렬된 특징 맵의 공간 차원에서 채널별 극단적 반응(구체적으로는 전역 최솟값)을 추출합니다. 경험적 분석에 따르면 백도어 트리거는 특정 채널에서 억제 반응(음의 이상 신호)을 유도하는 경우가 많습니다. 채널당 최솟값을 선택함으로써, 이 방법은 다른 풀링 전략에 의해 평균화되어 사라질 수 있는 미세하고 변별력 있는 이상 신호를 보존합니다.
잠재 표현 (Latent Representation): 모든 $L$ 개의 선택된 계층으로부터 추출된 극단값 벡터들을 결합하여 각 샘플에 대한 초기 가중치 미적용 교차 계층 잠재 표현을 형성합니다.

2단계: 입자 군집 최적화(PSO)를 통한 적응형 계층 가중치 최적화

계층마다 중요도가 다르므로, CLEAR는 깨끗한 검증 세트 없이도 PSO를 사용하여 계층 가의 최적 가중치를 적응적으로 탐색합니다.

입자 표현: $L$ 개의 은닉 계층에 할당되는 어텐션 가중치는 연속적인 탐색 공간 내 입자의 위치 벡터로 모델링됩니다.
적합도 함수 (Fitness Function): 입자의 적합도는 **클러스터 안정성(cluster stability)**을 사용하여 평가됩니다.
1. 가중치가 적용된 특징들은 UMAP(Uniform Manifold Approximation and Projection)을 사용하여 저차원 매니폴드로 투영됩니다.
2. HDBSCAN(Hierarchical Density-Based Spatial Clustering of Applications with Noise)을 적용하여 국소 밀집 클러스터를 식별합니다.
3. 적합도 점수는 가장 안정적인 "이상 미세 클러스터(anomalous microcluster)"(샘플 비율이 임계값 $\tau$ , 예: 15% 미만인 클러스터)의 안정성 점수로 정의됩니다.
최적화: PSO 알고리즘은 이 적합도 점수를 최대화하도록 입자의 위치를 반복적으로 업데이트합니다. 그 논리는 최적의 가중치 설정이 오염된 샘플들(공통된 트리거를 공유함)을 저차원 공간에서 지배적인 양성 클러스터와 구별되는 매우 안정적이고 조밀한 미세 클러스터를 형성하게 만든다는 것입니다.

3단계: 밀도 기반 이상 미세 클러스터 탐지

최적의 계층 가중치가 결정되면 다음과 같이 진행합니다:

전체 훈련 세트를 최적화된 가중치를 사용하여 재인코딩합니다.
최종 가중치 특징에 UMAP과 HDBS-SCAN을 다시 적용합니다.
크기 제약 조건(비율 $< \tau$ )을 만족하는 가장 안정적인 미세 클러스터를 식별합니다. 해당 클러스터 내의 샘플들은 오염된 서브셋( $D_{poison}$ )으로 표시되어 훈련 세트에서 제거됩니다.

3. 주요 기여

교차 계층 분산의 발견: 본 논문은 복잡한 공격 패러다임(A2A, Untargeted) 하에서 이상 활성화가 단일 계층에 집중되지 않고 네트워크 전체에 걸쳐 희소하게 분포되어 있음을 경험적으로 입증했습니다. 이는 단일 계층 탐지 가정을 무효화하며 교차 계층 집합의 필요성을 뒷받침합니다.
적응형 탐지 프레임워크: CLEAR는 교차 계층 극단값 추출과 PSO 기반 가중치 최적화의 새로운 통합을 도입했습니다. HDBSCAN 안정성을 적합도 함수로 사용함으로써, 특정 공격에 대해 어떤 계층이 가장 정보력이 있는지 적응적으로 결정하며, 수동적인 계층 선택이나 깨끗한 참조 데이터의 필요성을 제거했습니다.
사전 지식이 필요 없는 강건성: 이 방법은 공격에 대한 사전 지식, 깨끗한 검증 세트, 또는 정의된 클러스터 개수 없이 작동합니다. 다양한 데이터셋과 공격 유형에 대해 성공적으로 오염된 샘플을 탐지하며, 높은 진양성률(TPR)과 낮은 가양성률(FPR)을 유지합니다.

4. 실험 결과

CIFAR-10 및 Tiny-ImageNet 데이터셋에 대해 ResNet-18, VGG-19, MobileNet v2 아키텍처를 사용하여 실험을 수행했습니다. 네 가지 공격 유형(BadNets, Blend, Trojan, WaNet)과 세 가지 패러다임(A2O, A2A, UT)을 대상으로 테스트되었습니다.

탐지 성능:
- CIFAR-10: 평균 TPR 97.54%, 평균 FPR **0.16%**를 달성했습니다.
- Tiny-ImageNet: 평균 TPR 99.54%, 평균 FPR **0.03%**를 달성했습니다.
- CLEAR는 베이스라인(AC, SCALE-UP, AIBD, CCD)보다 성능이 월등히 높았으며, 특히 베이스라인들이 실패하는 경우가 많은 도전적인 A2A 및 Untargeted 시나리오에서 탁월한 성능을 보였습니다.
방어 효과:
- CLEAR에 의해 정화된 데이터로 재학습된 모델은 깨끗한 모델과 유사한 양성 정확도(BA, 예: CIFAR-10에서 ~94%)를 유지했습니다.
- 공격 성공률(ASR)은 대부분의 시나리오에서 거의 제로 수준(예: Tiny-ImageNet에서 <1%)으로 감소하여 효과적인 백도어 제거를 입증했습니다.
절제 연구 (Ablation Studies):
- PSO를 제거했을 때(균등 가중치 사용), TPR이 크게 하락하여(예: Trojan 공격의 경우 99.9%에서 54.7%로) 적응형 가중치 최적화의 필요성을 확인했습니다.
- 극단값 추출을 전역 평균 풀링(GAP)으로 대체했을 때 스텔스형 공격(Blend, WaNet)에 대한 성능이 급격히 저하되어, 미세한 국소적 이상 신호를 보존하는 것의 중요성을 입증했습니다.
- HDBSCAN을 K-Means로 대체했을 경우 높은 FPR(>26%)이 발생하여, 비볼록(non-convex) 및 불균형한 특징 분포를 처리하기 위한 밀도 기반 클러스터링의 필요성을 강조했습니다.

5. 의의 및 주장

본 논문은 CLEAR가 강건하고 일반화 가능하며 사전 지식이 필요 없는 백도어 샘플 탐지 솔루션을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

"낮은 오염율" 장벽 극복: 교차 계층 정보와 극단값 보존을 활용함으로써, 단일 계층 방식이 놓칠 수 있는 미세한 이상 징률을 탐지할 수 있습니다.
깨끗한 데이터의 불필요성: 기존의 최첨단 방어 기법들과 달리, CLEAR는 깨끗한 검증 세트나 트리거에 대한 지식을 요구하지 않으므로 데이터 출처를 신뢰할 수 없는 실제 환경에 적용 가능합니다.
실용적 유용성: 이 방법은 훈련 데이터를 효과적으로 정화하여, 모델이 높은 정확도를 유지하면서도 잔류 백도어 위험을 최소화하며 재학습될 수 있도록 함으로써, 안전한 딥러닝 배포를 위한 핵심적인 전방 방어 모듈 역할을 합니다.

저자들은 이 방법이 이미지 데이터에 매우 효과적이지만, 향후 연구를 통해 텍나 및 음성 작업, 그리고 다중 트리거 또는 클린 라벨 공격을 포함하는 더 복잡한 시나리오로의 적용 가능성을 탐구할 것이라고 결론지었습니다.