🤖 machine learning

Accelerating Targeted Hard-Label Adversarial Attacks in Low-Query Black-Box Settings

이 논문은 저쿼리 블랙박스 환경에서 타겟 이미지의 에지 정보를 활용하여 기존 방법보다 쿼리 수를 약 70% 줄이면서도 목표 분류를 성공시키는 '타겟 에지 기반 공격 (TEA)'을 제안합니다.

원저자: Arjhun Swaminathan, Mete Akgün

게시일 2026-04-23

📖 3 분 읽기☕ 가벼운 읽기

원저자: Arjhun Swaminathan, Mete Akgün

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🕵️‍♂️ 이야기의 배경: AI 와 가짜 신분증

상상해 보세요. 어떤 AI 경비원 (이미지 분류 모델) 이 있습니다. 이 경비원은 사진 한 장을 보고 "이건 벌 (Target) 이야"라고 말하면 통과시켜 주지만, "이건 수달 (Source) 이야"라고 말하면 막습니다.

지금 우리 목표는 수달 사진 (Source) 을 조금만 변형해서, 경비원이 보기에 **"아, 이건 벌이네!"**라고 착각하게 만드는 것입니다. 하지만 여기서 중요한 규칙이 있습니다:

블랙박스: 경비원의 내부 규칙은 모릅니다. 우리가 알 수 있는 건 "통과했나요? (Target)" 아니면 "거부했나요?"라는 결과뿐입니다.
제한된 질문: 경비원에게 "이거 벌인가요?"라고 물어볼 수 있는 횟수가 매우 적습니다 (예: 1,000 번 미만). 너무 많이 물어보면 경비원이 "너 심심한가?"라고 생각해서 문을 닫아버립니다.

기존의 방법들은 이 좁은 문 (Target 클래스) 을 찾기 위해 벽을 따라 기어가는 방식을 썼습니다. 하지만 문이 너무 좁고 멀리 떨어져 있으면, 벽을 따라 기어가는 데 너무 많은 시간 (질문 횟수) 을 써버려서 문 앞에 도달하기도 전에 질문 횟수가 다 떨어지는 문제가 있었습니다.

💡 새로운 해결책: TEA (에지 정보 활용 공격)

저자들은 이 문제를 해결하기 위해 TEA(Targeted Edge-informed Attack) 라는 새로운 방법을 개발했습니다. 이 방법의 핵심은 **"에지 (Edge, 물체의 윤곽선)"**를 이용하는 것입니다.

🎨 비유 1: 그림 그리기 (에지 보존)

수달 사진을 벌 사진으로 바꾸려면, 수달의 모양과 윤곽선 (에지) 은 최대한 유지하면서, 색깔이나 부드러운 부분만 살짝 바꿔야 합니다.

기존 방법: 그림 전체를 무작위로 지우고 다시 그리는 식이라, 윤곽선이 깨져서 경비원이 "아니야, 이건 벌이 아니야!"라고 바로 거절합니다.
TEA 방법: "윤곽선 (에지) 은 절대 건드리지 마!"라고 명령합니다. 수달의 귀 모양, 눈 모양 같은 주요 윤곽선은 그대로 두고, 그 사이의 빈 공간 (부드러운 부분) 만 벌의 특징에 맞춰 살짝 변형시킵니다.
결과: 경비원은 "오, 윤곽선은 벌과 비슷하네?"라고 생각해서 통과시켜 줍니다. 이렇게 하면 훨씬 적은 질문으로 목표에 도달할 수 있습니다.

🧩 비유 2: 퍼즐 맞추기 (전체 -> 국부)

TEA 는 두 단계로 진행됩니다.

전체 탐색 (Global Search): 먼저 큰 그림을 봅니다. "수달의 윤곽선은 유지하면서, 전체적으로 벌처럼 보이게 하려면 어디를 살짝 바꿔야 할까?"라고 큰 틀에서 접근합니다.
국부 수정 (Patch-based Search): 그래도 여전히 어색한 부분이 있다면, 사진의 작은 조각 (패치) 만 잘라내어 그 부분만 집중적으로 수정합니다. 이때도 윤곽선 부분은 건드리지 않고, 그 안쪽만 수정합니다.

이 과정을 마치 가짜 신분증을 만들 때, 얼굴의 윤곽선 (눈, 코, 입 위치) 은 그대로 두고 피부색이나 배경만 바꾸는 것과 같습니다. 경비원 (AI) 은 윤곽선이 비슷하면 "아, 이 사람이네"라고 속아 넘어갑니다.

🚀 왜 이 방법이 더 좋은가요?

질문 횟수 70% 절감:
기존 방법들은 문 앞에 도달하는 데 1,000 번의 질문이 필요했다면, TEA 는 300 번 정도로도 충분했습니다. 마치 미로에서 벽을 따라 기어가는 대신, 지도 (윤곽선 정보) 를 보고 직진하는 것과 같습니다.
실제 상황에 적합:
현실 세계의 AI 서비스 (예: 클라우드 API) 는 질문 횟수를 제한합니다. TEA 는 제한된 횟수 안에서 가장 빠르게 성공할 수 있는 '스마트한' 방법입니다.
혼합 전략:
TEA 로 먼저 빠르게 문 근처까지 간 뒤, 남은 질문으로 정교하게 다듬는 기존 기술 (CGBA-H) 을 섞어 쓰면, 어떤 상황에서도 최고의 성능을 냅니다.

📝 요약 및 결론

이 논문은 **"AI 를 속일 때, 무작위로 찌르는 것보다 물체의 '윤곽선'을 지키면서 속이는 것이 훨씬 빠르고 효율적이다"**라는 것을 증명했습니다.

기존: 벽을 따라 기어가는 지루한 과정 (많은 질문 필요).
새로운 방법 (TEA): 윤곽선을 살피며 직진하는 빠른 과정 (적은 질문으로 성공).

이 기술은 AI 보안을 강화하는 데 도움이 됩니다. 공격자가 얼마나 쉽게 AI 를 속일 수 있는지 알면, 우리는 더 강력한 방어막 (윤곽선을 변형하는 공격을 감지하는 기술 등) 을 만들 수 있기 때문입니다.

한 줄 요약:

"AI 를 속일 때, 물체의 윤곽선 (에지) 은 그대로 두고 나머지 부분만 살짝 바꾸면, 적은 질문으로도 훨씬 빠르게 AI 를 속일 수 있습니다!"

논문 요약: 저 쿼리 (Low-Query) 블랙박스 환경에서의 표적 하드-레이블 적대적 공격 가속화

1. 문제 정의 (Problem Statement)

배경: 딥러닝 이미지 분류 모델은 적대적 예제 (Adversarial Examples) 에 취약합니다. 이는 원본 이미지를 거의 변하지 않게 왜곡시켜 오분류를 유발하는 작은 교란입니다.
제약 조건:
- 블랙박스 (Black-Box) 환경: 모델의 내부 구조나 확률/로그its(soft labels) 를 알 수 없으며, 오직 최상위 예측 레이블 (Hard-label) 만 관찰 가능합니다.
- 저 쿼리 (Low-Query) 환경: 상업용 API 등 실제 환경에서는 쿼리 횟수가 수백~수천 회로 제한됩니다.
- 표적 공격 (Targeted Attack): 특정 목표 클래스로 오분류되도록 유도하는 공격으로, 해당 결정 영역 (Decision Region) 이 좁고 고립되어 있어 비표적 공격보다 훨씬 어렵습니다.
기존 방법의 한계: 현재 최첨단 (SOTA) 방법들은 주로 소스 이미지와 목표 이미지 사이의 결정 경계 (Decision Boundary) 의 기하학적 성질 (Gradient Estimation, Boundary Tracing) 에 의존합니다. 그러나 소스 이미지와 목표 이미지가 멀리 떨어져 있어 결정 공간이 넓은 초기 단계에서는 국소적 기하학 정보를 활용하기 어려워 많은 쿼리를 소모하며 진전이 더딥니다.

2. 제안 방법: TEA (Targeted Edge-informed Attack)

저자들은 TEA라는 새로운 공격 기법을 제안했습니다. 이는 결정 경계의 기하학적 특성이 아닌, 목표 이미지 (Target Image) 자체의 엣지 (Edge) 정보를 활용하여 소스 이미지에 더 가깝게 접근하는 방식입니다.

핵심 아이디어:
- 이미지의 구조적 특징 (엣지) 은 분류에 중요한 역할을 하므로, 엣지 영역은 보존하고 비엣지 영역 (부드러운 영역) 만을 교란합니다.
- 이를 통해 목표 클래스 분류를 유지하면서 소스 이미지 방향으로 빠르게 이동할 수 있습니다.
두 단계 프로세스:
1. 글로벌 엣지 정보 기반 탐색 (Global Edge-Informed Search):
  - Sobel 필터를 사용하여 목표 이미지의 엣지를 감지하고 '소프트 엣지 마스크 (Soft Edge Mask)'를 생성합니다.
  - 엣지 영역을 마스킹 (제외) 하고, 부드러운 영역 (비엣지) 만을 소스 이미지와 보간 (Interpolation) 하여 전역적으로 이미지를 정렬합니다.
  - 이 단계는 초기에 쿼리 비용을 크게 절감하며 광범위한 결정 공간에서 빠르게 진전합니다.
2. 패치 기반 엣지 정보 기반 탐색 (Patch-Based Edge-Informed Search):
  - 전역 탐색이 정체될 때, 이미지를 무작위 패치 (Patch) 로 분할합니다.
  - 각 패치 내에서 엣지 마스크를 적용하고 가우시안 가중치를 사용하여 국소적인 교란을 적용합니다.
  - 패치 경계에서의 인위적 엣지 생성을 방지하기 위해 부드러운 가중치를 사용합니다.
하이브리드 전략: TEA 로 초기 거리를 단축한 후 (전환점, Turning Point), 좁은 결정 공간에 도달하면 기존 SOTA 기법인 CGBA-H로 전환하여 국소적 정밀 조정을 수행합니다.

3. 주요 기여 (Key Contributions)

새로운 공격 전략 (TEA): 하드-레이블 블랙박스 환경에서 엣지 정보를 활용한 교란 전략을 최초로 도입하여, 초기 공격 단계에서 쿼리 효율성을 극대화했습니다.
압도적인 성능 향상: ImageNet 검증 세트 (ResNet-50, ResNet-101, VGG16, ViT 등 4 가지 아키텍처) 에서 기존 SOTA 방법들 (HSJA, AHA, CGBA, CGBA-H) 보다 약 70% 적은 쿼리로 동일한 거리 감소를 달성했습니다.
- 예: 목표 이미지와 소스 이미지 간 거리를 60% 줄이는 데 TEA 는 평균 251 쿼리가 필요했으나, 2 위인 AHA 는 845 쿼리가 필요했습니다.
초기화 도구로서의 가치: TEA 는 강력한 초기화 (Initialization) 로서 작용하여, 이후 기하학적 기반 공격 (CGBA-H) 이 더 효율적으로 작동할 수 있는 좋은 시작점을 제공합니다.

4. 실험 결과 (Results)

실험 설정: ImageNet, CIFAR-100, Intel Image Classification 데이터셋에서 400 쿼리 이하의 저 쿼리 환경에서 평가 수행.
성능 지표:
- $\ell_2$ 거리 감소: TEA 는 모든 모델에서 가장 빠르게 소스 이미지와의 거리를 줄였습니다.
- 공격 성공률 (ASR): 500 쿼리 제한 내에서 50% 및 75% 거리 감소 성공률이 다른 방법들보다 현저히 높았습니다.
- AUC (곡선 아래 면적): 거리 감소 대 쿼리 수 곡선의 AUC 가 가장 낮아 (효율적임), 전반적인 성능이 우수함을 입증했습니다.
심층 분석:
- 엣지 보존의 중요성: 엣지를 보존하지 않고 엣지 영역을 교란하는 변형 (INV-TEA) 은 성능이 가장 나빴으며, 엣지 보존이 공격 성공의 핵심임을 증명했습니다.
- 모델 일반화: ResNet, VGG, ViT 등 다양한 아키텍처와 적대적 훈련된 모델 (Adversarially Trained Model), 그리고 제로샷 CLIP 모델에서도 TEA 의 우월성이 유지되었습니다.
- 시각적 품질: TEA 는 왜곡을 최소화하면서도 인간이 인지하기 어려운 수준의 교란을 생성했습니다 (FSIM 지표 향상).

5. 의의 및 결론 (Significance & Conclusion)

실용적 가치: 상업적 API 나 쿼리 제한이 엄격한 실제 환경에서 표적 적대적 공격을 수행할 수 있는 효율적인 방법을 제시했습니다.
보안 시사점: 엣지 정보를 활용한 구조적 교란이 기존 주파수 기반 탐지 기법으로 방어하기 어려울 수 있음을 보여주며, 방어 메커니즘이 구조적 특징 (Structure-preserving perturbations) 을 고려해야 함을 경고합니다.
한계: TEA 는 주로 저 쿼리 환경에서 최적화되어 있으며, 고 쿼리 환경에서는 기존 기하학적 방법과 최종 성능이 유사합니다. 또한 패치 기반 업데이트로 인해 국소적 아티팩트가 발생할 수 있습니다.

이 논문은 적대적 공격의 효율성을 높이기 위해 모델의 기하학적 특성이 아닌, 데이터 (이미지) 의 본질적 특징 (엣지) 을 활용하는 새로운 패러다임을 제시했다는 점에서 의의가 큽니다.