💻 computer science

Tensor-Based Batch Fuzzing with Adaptive Perturbation Scaling for Deep Neural Networks

본 논문은 적응형 사양 인지 섭동 스케일링과 배치 제약 임베딩을 활용하여 기존의 순차적 방식보다 현저히 높은 처리량과 위반 탐지율을 달성하는 텐서 기반의 심층 신경망 배치 퍼징 프레임워크를 소개한다.

원저자: Guanqin Zhang, Yulei Sui

게시일 2026-06-25

📖 4 분 읽기☕ 가벼운 읽기

원저자: Guanqin Zhang, Yulei Sui

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 자율 주행 자동차 함대의 품질 관리 검사관이라고 상상해 보세요. 당신의 업무는 자동차의 '두뇌'(심층 신경망)에 던지는 까다로운 상황들—예를 들어, 속도 제한 표지판처럼 보이는 정지 표지판이나, 이상한 옷을 입은 보행자 같은 것들—을 통해 그 안에서 "버그"를 찾아내는 것입니다. 만약 자동차가 혼란에 빠져 실수를 저지른다면, 당신은 버그를 발견한 것입니다.

이 논문은 이를 수행하는 새로운, 초고속 방식인 **텐서 기반 배치 퍼징(Tensor-Based Batch Fuzzing)**을 소개합니다. 이 방식이 어떻게 작동하는지 쉬운 비유를 통해 설명해 드리겠습니다.

기존 방식: 한 줄로 서기

기존의 테스트 방식은 식료품점의 단일 계산원과 같다고 상상해 보세요.

한 번에 한 명의 고객: 계산원(컴퓨터)은 한 번에 한 명의 고객(하나의 테스트 이미지)을 받아 물건을 스캔하고, 제대로 결제되었는지 확인한 후 다음 고객으로 넘어갑니다.
균일한 규칙: 계산원은 가방 안에 있는 모든 물건에 대해 정확히 똑같은 규칙을 적용합니다. 만약 가방 안에 아주 작고 깨지기 쉬운 달걀과 무거운 벽돌이 함께 들어있다면, 계산원은 동일한 "부드러움"이나 "힘"을 사용하여 물건을 다룹니다. 이는 효율적이지 않습니다. 달걀을 깨뜨릴 수도 있고, 벽돌을 옮기기에는 너무 약할 수도 있기 때문입니다.
병목 현상: 계산원이 아무리 빠르더라도, 한 번에 한 사람씩만 처리할 수 있습니다. 만약 고객이 100명이라면, 100명을 한꺼번에 처리하는 것보다 100배 더 오래 걸립니다.

새로운 방식: 슈퍼 조립 라인

저자들은 컨베이어 벨트가 있는 거대한 자동 조립 라인과 같은 새로운 시스템을 구축했습니다.

배치 처리 (컨베이어 벨트): 시스템은 한 명의 고객 대신, 100명의 고객(100개의 테스트 이미지)을 한 번에 벨트 위에 올립니다. 컴퓨터는 한 번의 "휩쓸기(sweep)"로 100개를 모두 처리합니다. 현대의 컴퓨터 칩은 (한 사람이 한 번에 노래하는 것이 아니라 합창단이 함께 노래하는 것처럼) 여러 가지 일을 동시에 수행하도록 설계되어 있기 때문에 이 방식은 매우 빠릅니다.
결과: 이 논문은 이 새로운 방식이 기존의 한 줄 서기 방식보다 40배 더 빠르다고 주장합니다.

"적응형" 마법: 맞춤 제작된 장갑

두 번째 큰 개선 사항은 시스템이 테스트 이미지를 변경하는 방식입니다.

기존의 문제: 열쇠를 자물쇠에 끼워 넣으려고 애쓰는 상황을 상상해 보세요. 자물쇠가 꽉 끼어 있다면 아주 작고 정밀한 움직임이 필요합니다. 반면 자물쇠가 헐겁다면 크게 흔들어도 됩니다. 기존 방식은 자물쇠가 조여져 있든 헐겁든 상관없이 동일한 "흔들기 크기"를 사용했습니다. 이는 헐거운 자물쇠에는 시간을 낭비하거나, 꽉 끼는 자물쇠를 뚫기에는 역부족이라는 것을 의미했습니다.
새로운 해결책 (적응형 스케일링): 새로운 시스템은 각 특정 자물쇠(각 이미지의 부분)와 그 특정 규칙(명세/specification)을 살펴봅니다.
- 이미지의 특정 부분이 넓고 헐거운 규칙을 가지고 있다면, 시스템은 큰 흔들기를 줍니다.
- 특정 부분이 좁고 엄격한 규칙을 가지고 있다면, 시스템은 작고 정밀한 흔들기를 줍니다.
비유: 이것은 100명에게 모두 같은 크기의 장갑을 주는 대신, 100개의 서로 다른 손에 맞춰 맞춤형 장갑을 만드는 것과 같습니다. 이를 통해 시스템은 "까다로운" 영역을 훨씬 더 효과적으로 탐색할 수 있습니다.

단계별 작동 방식

준비: 시스템은 규칙 목록(명세)을 가져와 AI 모델을 감쌉니다. 이것은 자동차의 두뇌 주변에 맞춤형 "테스트 하네스(test harness)"를 설치하는 것과 같습니다.
선택: 과거의 성과를 바탕으로 유망해 보이는 테스트 케이스 그룹(배치)을 선택합니다.
변이 (흔들기): 모든 100개의 테스트 케이스에 대해 "맞춤형 흔들기"(적응형 스케일링)를 동시에 적용합니다.
테스트: 100개를 한꺼번에 AI 두뇌에 통과시킵로 돌립니다.
판정: 즉시 확인합니다: "이 100개 중 실수를 일으킨 것이 있는가?" 만약 있다면, 그 실수를 저장합니다. 만약 없다면, "흥미로운" 것들(예: 뇌의 새로운 부분을 활성화시킨 것들)을 유지하고 다시 시도합니다.

결과

저자들은 다양한 AI 모델을 사용하여 세 가지 서로 다른 이미지 세트(Traffic Signs, Cifar100, TinyImageNet)에 대해 테스트를 진행했습니다.

속도: 그들은 이 새로운 방식이 기존 방식보다 테스트를 40배 더 빠르게 처리할 수 있다는 것을 발견했습니다.
성공: 동일한 시간 내에, 이 새로운 방식은 기존 방식보다 4배 더 많은 버그(실수)를 찾아냈습니다.
이유는 무엇인가? 단순히 더 빠르기 때문만이 아닙니다. 더 똑똑하기 때문입니다. 이미지의 각 특정 부분에 맞춰 "흔들기 크기"를 조정함으로써, "하나의 크기로 모두 통용되는(one-size-fits-all)" 기존 방식이 놓쳤던 버그들을 찾아냅니다.

요약

이 논문은 AI 모델을 하나씩 테스트하는 것을 멈추고, 대규모 그룹으로 한꺼번에 테스트하는 도구를 제시합니다. 또한, 테스트 이미지를 변경할 때 "하나의 크기로 모두 통용되는" 접근 방식을 사용하는 대신, 각 테스트의 특정 규칙에 맞춰 변화를 맞춤화합니다. 그 결과, 이전보다 훨씬 더 빠르고 철저하게 AI 두뇌의 버그를 찾아내는 시스템을 만들어냈습니다.

기술 요약: 심층 신경망을 위한 적응형 섭동 스케일링 기반 텐서 기반 배치 퍼징

문제 정의

심층 신경망(DNN)은 자율 주행 및 의료 진단과 같은 안전 필수 영역에 점점 더 많이 배치되고 있습니다. 그러나 DNN의 불투명하고 고차원적인 파라미터 공간은 체계적인 신뢰성 평가를 어렵게 만듭니다. DeepHunter 및 TensorFuzz와 같은 기존의 커버리지 가이드 퍼징 프레임워크는 두 가지 주요 한계점을 가집니다:

순차적 처리 병목 현상: 전통적인 퍼징은 고전적인 소프트웨어 퍼징에서 상속된 "반복당 하나의 입력" 패러다임을 따릅니다. 이 접근 방식은 하드웨어 수준의 병렬성을 통해 배치의 입력들을 거의 동일한 커널 실행 오버헤드로 처리할 수 있는 DNN 추론의 내재적 텐서화 특성을 활용하지 못합니다. 일부 도구(예: TensorFuzz)는 모델 평가를 위해 배칭을 활용하지만, 이들의 변이 및 피드백 메커니즘은 여전히 순차적이거나 NumPy 기반으로 남아 있어 처리량을 충분히 활용하지 못합니다.
균일한 섭동의 비효리성: 대부분의 접근 방식은 모든 입력 차원에 대해 고정된 전역 섭동 반경( $\epsilon$ )을 적용합니다. 실제로는 입력 사양(specification)이 비균일한 차원별 경계(예: VNNLib을 통한)를 정의하는 경우가 많습니다. 균일한 단계 크기는 퍼퍼가 느슨하게 제약된 차원을 과소 탐색하거나, 엄격하게 제약된 차원을 과잉 탐색하게 만들어 탐색 공간의 효율성을 떨어뜨립니다.

방법론

저자들은 퍼징 패러다임을 순차적인 입력 수준의 변이에서 배치 사양 수준의 실행으로 전환하는 사양 인식 배치 퍼징(Specification-Aware Batch Fuzzing) 프레임워크를 제안합니다. 이 접근 방식의 핵심은 세 가지 주요 기술적 구성 요소로 이루어져 있습니다:

1. 래핑된 모델 아키텍처 (Wrapped Model Architecture)

프레임워크는 입력 제약 조건과 출력 속성 검사를 신경망 내에 비학습 레이어로 임베딩하여 "래핑된 모델"( $M_{wrapped}$ )을 생성합니다.

InputSpecLayer: 각 샘플의 입력 경계( $[l, u]$ )를 인코딩하고, 순방향 패스(forward pass) 중에 투영( $\Pi_{[\Phi]}$ )을 통해 실행 가능한 영역 제약을 강제합니다.
OutputSpecLayer: 배치 내의 모든 샘플에 대해 벡터화된 속성 검사(예: top-1 분류 강건성)를 동시에 수행합니다.
이 아키텍처를 통해 전체 퍼징 루프(시드 선택, 변이, 추론, 커버리지 추적 및 피드백)가 $B$ 개의 사양 인스턴스에 대한 단일 순방향 패스 내에서 동작하며, 사양을 일급 텐서 차원으로 취급할 수 있게 합니다.

2. 적응형 섭동 스케일링 (Adaptive Perturbation Scaling)

고정된 섭동 예산의 한계를 해결하기 위해, 저자들은 공유 스케일 인자 $s \in (0, 1]$ 를 사용하여 사양에 정의된 실행 가능 범위로부터 변이 단계 크기를 도출하는 스케일링 메커니즘을 도입합니다.

등방성 스케일링 (Isotropic Scaling): 평균 실행 가능 범위인 $\bar{r}$ 을 사용하여 전역 스칼라 단계 크기 $\eta = \bar{r} \cdot s$ 를 계산합니다. 이는 균일한 섭동 크기를 브로드캐스트합니다.
이방성 스케일링 (Anisotropic Scaling): 차원별 단계 크기 텐서 $S_{b,d} = (u_{b,d} - l_{b,d}) \cdot s$ 를 계산합니다. 이는 폭이 넓은 차원에는 큰 단계를, 엄격하게 제약된 차원에는 미세한 단계를 할당하여 이질적인 제약 조건 하에서도 일관된 탐색을 가능하게 합니다.

3. 텐서 기반 퍼징 파이프라인

퍼징 프로세스는 $B$ 크기의 배치 텐서 상에서 동작하는 네 가지 단계로 실행됩니다:

시드 선택 (Seed Selection): 에너지 가중치 다항 분포 선택(energy-weighted multinomial selection)을 기반으로 코퍼스에서 $B$ 개의 시드를 샘플링하며, 새로운 커버리지나 위반을 유발했던 입력을 우선시합니다.
변이 (Mutation): 선택된 전략(Gradient/PGD, Boundary, 또는 Random)을 전체 배치에 적용합니다. 변이 방향은 적응형 스케일링 인자(스칼라 또는 텐서)와 결합되어 실행 가능한 영역으로 다시 투영됩니다.
실행 (Execution): $M_{wrapped}$ 를 통해 단일 배치 순방향 패스를 수행합니다. PyTorch 훅(hook)은 커버리지 추적을 위해 중간 활성화 값을 캡처하며, OutputSpecLayer는 속성 위반을 플래그 처리합니다.
피드백 (Feedback): 커버리지 이득 및 위반 상태에 따라 샘ples별 에너지 점수를 업데이트하고, 흥미로운 시드를 코퍼스에 다시 삽입합니다.

주요 기여

논문은 다음과 같이 기여를 요약합니다:

사양 인식 배치 프레임워크: 개별 입력이 아닌 사양 인스턴스 수준에서 동작하는 통합된 데이터 병렬 파이프라인입니다. 제약 조건을 모델 실행에 내장함으로써, $B$ 개의 사양을 단일 순방향 패스에서 평가하여 효율성을 크게 향상시킵니다.
적응형 섭동 스케일링: 사양에 정의된 경계로부터 변이 크기를 도출하는 체계로, 이질적인 입력 제약 조건을 효과적으로 처리하기 위해 등방성(전역 스칼라) 및 이방성(차원별 텐서) 스케일링을 모두 지원합니다.
구현 및 평가: 세 가지 벤치마크(TrafficSigns, Cifar100, TinyImageNet)와 400개 이상의 사양에 대해 평가된 PyTorch 구현체입니다.

실험 결과

프레임워크는 고정된 시간 예산 하에서 순차적 베이스라인(DeepHunter의 one-input-per-iteration 패러다임을 시뮬레이션함)과 비교 평가되었습니다.

처리량 (Throughput): 텐서 기반 배치 접근 방식은 순차적 베이스라인보다 최대 40배 높은 처리량을 달야했습니다. 예를 들어, Cifar100 및 TinyImageNet에서는 34–40배의 속도 향상을 보였으며, TrafficSigns는 (베이스라인이 더 빠르게 실행될 수 있는 가벼운 네트워크 구조로 인해) 5배의 향상을 보였습니다.
위반 발견 (Violation Discovery): 동일한 시간 예산 하에서, 배치 접근 방식은 순차적 베이스라인보다 4배 더 많은 위반 사례를 발견했습니다.
- TrafficSigns의 경우, 배치 방식은 베이스라인의 약 19,000개에 비해 약 75,000개의 위반을 발견했습니다.
- Cifar100의 경우, 배치 방식은 베이스라인의 약 14,000개에 비해 약 61,000개의 위반을 발견했습니다.
첫 번째 위반 발생 시간 (TTFV): 배치 접근 방식은 0.06–1.2초 이내에 첫 번째 반례를 식별한 반면, 순차적 베이스라인은 첫 번째 위반을 찾기 전 60초 타임아웃에 근접하는 경우가 많았습니다.
이방성 vs 등방성: 이방성 스케일링은 이질적인 제약 조건을 가진 벤치마크(예: TinyImageNet)와 작은 스케일 인자( $s$ )에서 특히 유리했으며, 특정 구성에서 등방성 스케일링보다 최대 38% 더 우수한 성능을 보였습니다.
배치 크기의 영향: 맨-휘트니 U 검정(Mann-Whitney U test)을 통한 통계적 분석은 배치 크기 $B$ 를 늘리는 것이 위반 산출량을 유의미하게 개선함을 확인했으나, $B$ 가 커질수록 인스턴스별 정밀도는 감소하여 처리량과 정밀도 사이의 트레이드오프가 존재함을 나타냈습니다.

의의 및 주장

본 논문은 DNN 퍼징에서의 순차적 및 균일한 섭동 접근 방식의 내재적 한계를 극복하는 데 그 주요 의의가 있다고 주장합니다. 퍼징 루프를 텐서 수준으로 끌어올리고 사양 제약을 모델 실행에 직접 통합함으로써, 제안된 프레임워크는 테스트 처리량과 반례 발견 능력 모두에서 상당한 개선을 달성했습니다.

저자들은 순차적 패러다임이 예산( $B \times 60s$ )이 주어진다면 결국 위반을 발견할 수는 있지만, one-input-per-iteration 설계로 인해 실제 시간(wall-clock time) 기준의 반례 생성 속도가 현저히 느리다는 점을 강조합니다. 제안된 방법은 사양을 일급 텐서 차원으로 취급하는 것이 여러 변이 체인을 동시에 처리할 수 있게 하여, 동일한 실제 시간 창 내에서 "4배 더 많은 위반"을 발견하는 결과를 가져온다는 것을 보여줍니다. 이 연구는 완전 검증(formal verification)에 대한 보완적 접근 방식으로 자리매김하며, 포괄적인 안전 인증보다는 구체적인 반례를 빠르게 제공하는 데 중점을 둡니다.