지금까지의 AI 는 우리가 입력한 데이터 (예: 사진) 를 받아서 정답을 내놓기만 했습니다. 하지만 그 중간 과정은 완전히 불투명했습니다.
비유: 식당에 가서 요리가 어떻게 만들어지는지 전혀 모르고, 그냥 "맛있다/맛없다"는 결과만 받는 것과 같습니다.
문제점: 해커가 사진을 살짝 변형해서 AI 를 속여도 (예: '판다'를 '기린'으로 오인하게 만듦), 기존 감지 시스템은 AI 가 최종적으로 내린 결론만 보고 "아, 기린이네"라고 생각할 뿐, 그 과정이 얼마나 비정상적인지는 모릅니다.
2. 해결책: NeuroTrace(뉴로트레이스) 의 등장
이 연구팀은 AI 가 결정을 내리는 순간, 그 내부 정보의 흐름을 그림 (그래프) 으로 그려내는 기술을 개발했습니다. 이를 **IPG(추론 유래 그래프)**라고 부릅니다.
비유:
기존 방식: AI 가 "이건 기린이다"라고 말했을 때, 그 말만 믿는 것.
NeuroTrace 방식: AI 가 그 결론을 내리기 위해 어떤 부속 기관 (뉴런) 이 들썩이고, 어떤 정보가 어떻게 흐르는지를 마치 수사관이 범인의 발자국과 행동 경로를 추적하듯이 기록하는 것입니다.
3. 어떻게 작동할까요? (세 가지 핵심 단계)
① 발자국 찍기 (추적)
AI 가 사진을 볼 때, 뇌의 각 부분이 어떻게 반응하는지 실시간으로 기록합니다.
비유: AI 가 사진을 분석할 때, "이 부분은 눈이 밝아졌고, 저 부분은 귀가 움직였어"라고 모든 신경 세포의 활동을 메모장에 적어내는 것입니다.
② 지도 그리기 (그래프화)
이 기록들을 연결해서 하나의 복잡한 지도를 만듭니다.
비유: AI 의 뇌속에서 정보가 어떻게 이동했는지, "A 뉴런이 B 뉴런에게 신호를 보냈다"는 식으로 도로와 교차로가 그려진 지도를 만드는 것입니다.
정상적인 입력 (예: 진짜 기린 사진): 정보 흐름이 깔끔하고 논리적인 도로망을 이룹니다.
해킹된 입력 (예: 해커가 조작한 사진): 정보 흐름이 엉망이 되거나, 불필요한 곳으로 신호가 튀는 등 비정상적인 도로망을 형성합니다.
③ 범인 잡기 (탐지)
이렇게 만들어진 지도를 AI 가 다시 분석합니다.
비유: 수사관 (감지기) 이 "이 지도는 정상적인 기린의 발자국 패턴과 달라. 분명히 누군가 조작했구나!"라고 바로 알아챕니다.
4. 이 기술의 놀라운 점 (왜 특별한가요?)
공통된 패턴을 찾아냅니다: 해커가 사용하는 방법 (화이트박스, 블랙박스 등) 이 달라도, AI 의 내부 흐름을 뒤흔드는 방식은 비슷합니다. NeuroTrace 는 해킹 자체의 종류를 외우는 게 아니라, **AI 내부가 망가진 '구조적 특징'**을 학습합니다.
비유: 도둑이 문을 뚫든, 창문을 깨든, 집 안의 물건이 어지러워진 '상태'는 비슷합니다. NeuroTrace 는 "문이 뚫렸다"는 게 아니라 "집이 어지러워진 상태"를 보고 도둑을 잡습니다.
다른 분야에서도 통합니다: 이 기술은 사진 (시각) 뿐만 아니라, 악성코드 탐지 (말웨어) 같은 다른 분야에서도 잘 작동했습니다.
비유: 이 감지기가 '사진'만 보는 게 아니라, '문서'나 '프로그램'의 내부 흐름도 똑같이 추적할 수 있다는 뜻입니다.
5. 현실적인 제한과 미래
단점: 이 모든 과정을 기록하고 분석하는 데 시간이 조금 걸립니다.
비유: 범인을 잡기 위해 CCTV 를 24 시간 내내 녹화하고, 수사관이 매번 장면을 분석해야 하므로, 실시간으로 "지금 당장" 처리하기엔 무리가 있을 수 있습니다.
용도: 따라서 이 기술은 실시간 차단보다는, 중요한 시스템의 로그를 분석하거나 (수사), 해킹 시도를 사후에 찾아내는 (감식) 용도로 가장 적합합니다.
요약
NeuroTrace는 AI 가 "무엇"이라고 말하는지보다, "어떻게 그렇게 생각하게 되었는지" 그 내부 과정을 추적하는 기술입니다. 해커가 AI 를 속이려 할 때, AI 의 뇌속 정보 흐름은 정상적인 경우와 다르게 꼬이게 되는데, NeuroTrace 는 그 꼬인 흐름을 지도로 그려서 해킹을 잡아냅니다.
이는 AI 를 더 투명하고, 신뢰할 수 있으며, 해킹에 강한 시스템으로 만드는 중요한 첫걸음입니다.
논문 개요: NeuroTrace
이 논문은 딥러닝 모델의 추론 (Inference) 과정에서 발생하는 데이터 흐름과 활성화 패턴을 구조적으로 분석하여 적대적 예제 (Adversarial Examples) 를 탐지하는 새로운 프레임워크인 NeuroTrace를 제안합니다. 기존 방법론들이 주로 계층별 (Layer-local) 신호에 의존하는 한계를 극복하고, 모델 전체의 실행 흐름을 그래프 기반으로 포착하여 적대적 공격의 구조적 왜곡을 탐지하는 것을 목표로 합니다.
1. 문제 정의 (Problem)
불투명한 추론 과정: 딥 신경망 (DNN) 은 블랙박스처럼 작동하여 내부 증거가 불투명합니다. 이로 인해 적대적 입력 조작이나 백도어 공격을 탐지하고 진단하기 어렵습니다.
기존 방법의 한계: 기존 탐지 기법들은 로지스틱스 (logits), 그라디언트, 할로이언트 맵 (saliency maps) 과 같은 **계층별 국소 신호 (Layer-local signals)**에 의존합니다. 이는 모델 구성 요소를 고립시켜 분석하므로, 계층 간 정보 흐름과 실행 구조의 교란을 포착하지 못합니다.
필요성: 적대적 공격이 단순히 개별 활성화 값을 변경하는 것을 넘어, 네트워크 전체의 정보 흐름에 체계적인 교란을 일으킨다는 가설 하에, 이를 포착할 수 있는 새로운 신호가 필요합니다.
2. 방법론 (Methodology)
NeuroTrace 는 **추론 유래성 (Inference Provenance)**을 그래프 구조로 변환하여 분석하는 세 가지 핵심 구성 요소로 이루어져 있습니다.
가. 추론 유래성 그래프 (Inference Provenance Graphs, IPGs)
정의: 입력 x에 의해 유도된 모델의 순전파 (Forward Pass) 과정을 방향성 비순환 그래프 (DAG) 의 하위 그래프로 표현합니다.
노드 (Nodes): 중간 활성화 (Intermediate Activations) 를 나타냅니다.
합성곱 층 (Conv): 채널 단위, 완전 연결 층 (FC): 뉴런 단위로 추상화됩니다.
각 노드는 활성화 통계 (평균, L2 노름, 희소성 비율) 와 메타데이터를 특징 벡터로 가집니다.
임계값 (τ) 을 사용하여 낮은 활성화 크기의 노드는 필터링하여 그래프를 경량화합니다.
엣지 (Edges): 계층 간의 계산적 의존성을 나타냅니다.
매개변수 층 (Linear, Conv): 학습된 가중치에서 파생된 속성을 가집니다.
비매개변수 층 (Pooling, Normalization): 구조적 연결성을 인코딩합니다.
특징: IPG 는 이종 그래프 (Heterogeneous Graph) 로, 노드와 엣지의 유형이 계층의 추상화 수준과 계산 관계에 따라 다양하게 정의됩니다.
나. NeuroTrace 프레임워크 파이프라인
IPG 추출 (Extraction): PyTorch 기반의 ProvenanceEngine을 사용하여 모델의 모듈 경계에 후크 (Forward Hooks) 를 부착합니다. 추론 중 활성화와 의존성을 기록하여 입력 의존적 그래프를 생성합니다.
표현 학습 (Representation Learning): 생성된 이종 IPG 를 **그래프 신경망 (GNN, GraphSAGE)**을 사용하여 임베딩합니다. 노드 특징을 고정된 차원으로 매핑하고, 그래프 전체의 표현을 학습합니다.
탐지 (Detection): 학습된 GNN 분류기를 사용하여 입력 그래프가 '정상 (Benign)'인지 '적대적 (Adversarial)'인지 이진 분류합니다.
다. 데이터셋 및 벤치마크
NeuroTrace-IPG Dataset: 이미지 분류 (CIFAR-10, ResNet-20) 와 악성코드 탐지 (EMBER, Cuckoo-Traces) 도메인을 아우르는 대규모 IPG 데이터셋을 공개합니다.
공격 모델: FGSM, PGD, AutoAttack 등 6 가지 화이트박스/블랙박스 공격과 악성코드 특성 공간 공격 (Emb-att, Bit-Flip) 을 포함합니다.
3. 주요 기여 (Key Contributions)
탐지 신호로서의 추론 유래성: 계층 간 의존성을 포착하는 그래프 기반 표현이 적대적 예제 탐지에 유효함을 증명했습니다.
NeuroTrace 추출 프레임워크: 모델 아키텍처에 최소한의 적응만으로도 적용 가능한 재현 가능한 PyTorch 추출 파이프라인을 개발했습니다.
공개 데이터셋 및 벤치마크: 비적대적 및 적대적 입력을 포함한 표준화된 스키마와 메타데이터를 갖춘 다중 도메인 데이터셋을 공개했습니다.
전송 가능한 탐지 능력: 특정 공격 유형으로 학습된 탐지기가 보이지 않는 공격 유형 (Cross-attack) 및 다른 위협 모델 (White-box ↔ Black-box) 에도 효과적으로 일반화됨을 입증했습니다.
4. 실험 결과 (Results)
실험은 CIFAR-10 과 악성코드 데이터셋에서 수행되었으며, 주요 평가 지표는 정확도 (Accuracy), F1 점수, ROC-AUC, TPR@1%FPR 등입니다.
동일 공격 내 탐지 (Intra-attack): 동일한 공격으로 학습 및 테스트 시, 모든 공격 유형에서 96% 이상의 정확도와 0.99 이상의 ROC-AUC를 기록하여 정상/적대적 입력을 명확히 구분했습니다. 악성코드 도메인에서는 거의 완벽한 분리 (100% 정확도) 를 달성했습니다.
다중 공격 학습 (Multi-attack Training): 여러 공격을 혼합하여 학습한 단일 탐지기가 각 공격 유형에 대해 높은 성능을 유지했습니다. 이는 추론 유래성 표현이 공격별 재학습 없이도 여러 공격 분포를 포착할 수 있음을 시사합니다.
위협 모델 간 전송 (Cross-Threat Transfer): 화이트박스 공격으로 학습하여 블랙박스 공격을 탐지하거나 그 반대의 경우에서도 96% 이상의 정확도를 유지했습니다. 이는 적대적 교란이 생성 메커니즘과 무관하게 실행 구조에 공통된 왜곡을 일으킨다는 강력한 증거입니다.
기존 방법 대비 성능: 그래프 기반 베이스라인인 CIGA [16] 와 비교했을 때, NeuroTrace 는 모든 공격에서 더 높은 성능을 보였으며, 특히 PGD 및 APGD 공격에서 큰 우위를 점했습니다.
오버헤드:
추론 시간: ResNet-20 기준 샘플당 약 1525ms (배치 처리 시), 악성코드 모델은 510ms.
저장 공간: CIFAR-10 그래프당 약 0.5~2MB.
현재는 오프라인 감사 및 고신뢰성 환경에 적합하며, 저지연 배포를 위한 압축 기법이 향후 과제로 남습니다.
5. 의의 및 결론 (Significance)
구조적 편차의 포착: 적대적 공격이 단순히 최종 예측을 변경하는 것을 넘어, 네트워크 내부의 **계산 구조와 정보 흐름에 체계적인 왜곡 (Systemic Disruptions)**을 일으킨다는 것을 입증했습니다.
투명성과 감사 가능성: IPG 는 단순한 이진 탐지 결과를 넘어, 추론 과정의 영구적인 아티팩트 (Artifact) 로서 저장 및 사후 분석 (Forensics) 에 활용될 수 있어 ML 시스템의 투명성과 감사 가능성을 높입니다.
범용성: 이미지뿐만 아니라 악성코드와 같은 비이미지 도메인에서도 효과적이므로, 다양한 ML 애플리케이션에 적용 가능한 범용적인 탐지 패러다임을 제시합니다.
향후 과제: 적응형 적대적 공격 (Adaptive Attacks) 에 대한 평가, 대규모 모델 (ViT, LLM) 로의 확장, 그래프 생성 효율성 개선 등이 필요합니다.
결론적으로, NeuroTrace 는 적대적 예제 탐지를 위해 계층별 국소 신호를 넘어선 **전체 실행 흐름 (Global Execution Flow)**을 분석하는 새로운 패러다임을 제시하며, 재현 가능한 데이터셋과 프레임워크를 통해 투명하고 감사 가능한 머신러닝 시스템 구축의 기반을 마련했습니다.