💬 NLP

LBA: Textual Hard-Label Adversarial Attack under Low Query Budgets

본 논문은 사전 지식과 사후 지식을 반복적으로 통합하여 고품질 적대적 예제의 근사 분포를 구축함으로써, 낮은 쿼리 예산 하에서 의미론적으로 보존된 하드 라벨 적대적 텍스트를 생성하는 데 있어 기존의 탐욕적 접근 방식들을 크게 능가하는 샘플링 기반 방법인 LBA를 제안한다.

원저자: Shixin Guo, Ming Zhong, Xuhong Zhang, Dandan Zhao, Zhe Wang, Bo Zhang, Shouling Ji, Hao Peng

게시일 2026-07-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shixin Guo, Ming Zhong, Xuhong Zhang, Dandan Zhao, Zhe Wang, Bo Zhang, Shouling Ji, Hao Peng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거의 모든 책을 읽은 초지능형 로봇과 함께 '전화기 게임(Telephone)'을 하고 있다고 상상해 보세요. 당신이 문장 하나를 속삭이면, 로봇은 그 문장이 무엇을 의미하는지 정확하게 말해줍니다. 그것이 행복한 영화 리뷰인지, 아니면 슬픈 뉴스 기사인지 말이죠. 이 로봇은 '심층 신경망(Deep Neural Network)'이라 불리는 인공지능의 한 종류이며, 언어를 이해하는 데 매우 능숙합니다. 하지만 똑똑한 생명체에게도 비밀스러운 약점이 있습니다. 바로 속임수에 빠질 수 있다는 점입니다. 문장의 단어 몇 개만 바꾸어도, 로봇은 갑자기 행복한 영화를 비극이라고 생각할 수도 있습니다. 이것을 '적대적 공격(adversarial attack)'이라고 부릅니다.

까다로운 점은, 현실 세계에서 당신은 로봇에게 "얼마나 확신하니?"라고 물을 수 없다는 것입니다. 당신은 오직 "이것이 무엇이라고 생각하니?"라고 묻고, "예" 또는 "아니요"라는 단순한 답변만을 받을 수 있습니다. 이를 '하드 라벨(hard-label)' 시나리오라고 합니다. 질문을 너무 많이 해서 들키거나 비용이 많이 드는 상황을 피하면서 로봇을 속이려면, 매우 영리해져야 합니다. 대부분의 사람들은 마치 정원사가 나무의 가지를 하나씩 치듯, 문장을 한 단어씩 수정하며 시도합니다. 하지만 이 방식은 로봇을 속이기 위해 필요한 완벽한 변화의 조합을 놓치는 경우가 많으며, 많은 시간과 질문을 낭비하게 됩니다.

이 논문은 문제를 완전히 다른 방식으로 해결하는 LBA(Low-query Budget hard-label Attack)라는 새로운 방법을 소개합니다. 이 방법은 나무의 가지를 하나씩 치는 대신, 문제를 '마법의 지도'를 이용한 보물 찾기처럼 다룹니다.

기존 방식: 눈먼 정원사

당신이 특정 맛이 나는 케이크를 만들기 위해 완벽한 재료의 조합을 찾으려 하는데, 결과물은 오직 다 구운 후에만 맛볼 수 있다고 상상해 보세요. 기존의 방법들은 꽃을 하나 고르고, 그것을 꺾은 뒤, 정원이 더 좋아졌는지 확인하는 '눈먼 정원사'처럼 행동합니다. 만약 좋아졌다면 그 꺾은 것을 유지하고, 그렇지 않다면 다시 제자리에 두고 다음 꽃을 시도합니다. 그들은 전체 정원을 한꺼번에 보지 못합니다. 이러한 '탐욕적(greedy)' 접근 방식은 하나의 국소적인 구역에 갇히기 쉬우며, 여러 개의 꽃을 동시에 바꿔야 하는 완벽한 배치를 놓치게 됩니다. 이는 많은 시간(또는 '질문 횟수')을 낭비하게 만듭니다.

새로운 방식: 마법의 지도 (LBA)

저자들은 꽃을 하나씩 추측하는 대신, 어디에서 '최선의' 변화가 일어날 가능성이 높은지 보여주는 지도를 구축할 수 있다는 것을 깨달았습니다. 그들은 이를 '샘플링 기반 방법(sampling-based method)'이라고 부릅니다.

이 지도가 작동하는 방식은 다음과 같습니다:

사전 지식 (초기 지도): 시작하기 전, 그들은 "너무 많은 단어를 바꾸지 말 것"이나 "문장이 자연스럽게 유지될 것"과 같은 이미 알고 있는 규칙들을 바탕으로 대략적인 지도를 그립니다.
사후 지식 (지도 업데이트): 그들은 다양한 문장을 테스트하고 로봇에게 답을 구하면서 학습합니다. 만약 특정 단어를 바꾸는 것이 로봇을 자주 속인다면, 그 지점을 지도상에 "가치가 높은 곳"으로 표시합니다. 만약 어떤 변화가 문장을 이상하게 만든다면, 그곳을 "가치가 낮은 곳"으로 표시합니다.
샘플링 (보물 찾기): 그들은 단계별로 걷는 대신, 이 지도를 사용하여 유망한 단어 변화의 조합을 "샘플링"하거나 선택합니다. 이는 마치 승리할 가능성이 가장 높은 곳인 과녁의 중심을 향해 다트를 던지는 것과 같습니다. 다트를 더 많이 던질수록 지도는 더 정교해지며, 더 빠르게 더 나은 지점으로 안내합니다.

연구 결과

연구진은 이 새로운 방법을 작은 모델부터 GPT-4o와 같은 거대한 모델에 이르기까지 여섯 가지 유형의 언어 로봇을 대상으로 테스트했습니다. 또한 영화 리뷰와 뉴스 기사를 포함한 네 가지 데이터 세트를 사용했습니다.

결과는 인상적이었습니다. 질문할 수 있는 횟수가 제한된 환경(‘낮은 쿼리 예산’)에서, LBA는 기존 방식들보다 더 나은 속임수를 일관되게 찾아냈습니다.

더 나은 품질: LBA가 만들어낸 문장들은 훨씬 더 자연스러웠습니다. 다른 방법들에 비해 단어를 더 적게 바꾸면서도 원래 문장의 의미를 더 잘 유지했습니다.
더 똑똑한 효율성: 긴 텍스트(예: 긴 영화 리뷰)의 경우, 기존 방식들은 적절한 변화의 조합을 찾는 데 어려움을 겪었습니다. 그러나 LBA는 이러한 복잡한 시나리오에서도 완벽한 단어 교체 조합을 찾아내는 데 탁-월했습니다.
인간의 승인: 연구진이 인간에게 속임수가 적용된 문장을 읽게 했을 때, 인간들은 원래 문장과 속임수가 적용된 문장 사이의 차이를 구분하지 못했습니다. 또한, 초고성능 AI인 GPT-4o에게 문장을 판단하게 했을 때도, GPT-4o는 LBA의 속임수가 가장 정교하고 덜 드러난다고 동의했습니다.

이것이 중요한 이유

이 논문은 이러한 '지도 기반' 샘플링 접근 방식을 사용함으로써, AI 모델을 훨씬 더 효율적으로 속일 수 있음을 시사합니다. 이것은 AI가 고장 났다는 뜻이 아니라, 기존의 방식(한 번에 한 단어씩 시도하는 방식)이 비효율적이라는 것을 보여줍니다. 최선의 속임수는 단일한 변화가 아니라 특정한 변화의 조합을 포함한다는 것을 이해함으로써, LBA는 AI 시스템의 견고함을 테스트하는 새로운 문을 열었습니다. 이는 더 똑똑한 전략을 사용하면, 로봇에게 수백만 번의 질문을 던지지 않고도 높은 품질의 결과를 얻을 수 있음을 증명합니다.

기술 요약: LBA (Low-query Budget hard-label Attack)

1. 문제 정의

본 논문은 낮은 쿼리 예산(low query budget) 환경의 블랙박스 하드 레이블(black-box hard-label) 시나리오에서 고품질의 적대적 텍스트를 생성하는 과제를 다룹니다.

맥락: 자연어 처리(NLP) 분야의 심층 신경망(DNN)은 악의적인 입력이 잘못된 예측을 유도하는 적대적 공격에 취ка vulnerability(취약성)를 가집니다.
제약 조건: 실제 응용 분야에서 공격자는 신뢰도 점수(soft labels)에 접근할 수 없으며, 오직 top-1 예측 레이블(hard labels)로 제한되는 경우가 많습니다. 또한, 금전적 비용과 과도한 유사 입력으로 인한 탐지 위험 때문에 쿼리 예산이 제한됩니다.
기존 방법의 한계: 현재의 하드 레이블 공격은 주로 탐욕적 탐색(greedy search) 패러다임에 의존합니다. 이러한 방법들은 단어 치환 위치를 하나씩 선택하고 이를 고정한 뒤 다음 위치로 넘어가는 방식을 취합니다. 이러한 국소적 탐색(local search) 방식은 위치 치환의 전체 조합 공간을 탐색하지 못하므로, 종종 최적이 아닌 해(suboptimal solutions)를 도출하고 로컬 옵티마(local optima)를 벗어나기 위해 과도한 쿼리 비용을 소모하게 됩니다. 전수 조사(Exhaustive search)는 조합 폭발로 인해 계산적으로 불가능합니다.

2. 방법론: LBA

저자들은 **LBA (Low-query Budget hard-label Attack)**를 제안하며, 이는 적대적 텍스트 생성을 **분포 기반 샘플링 문제(distribution-based sampling problem)**로 재정의합니다. 탐욕적인 국소 정교화 대신, LBA는 사전 지식(prior knowledge)과 사후 지식(posterior knowledge)을 모두 활용하여 고품질 적대적 예시의 근사 분포로부터 샘플링합니다.

핵심 프레임워크

이 방법은 메트로폴리스-헤이스팅스(Metropolis-Hastings, MH) 샘플링에서 영감을 얻었습니다. 고품질 적대적 예시의 분포를 근사하는 타겟 함수를 구축하고, 샘플링을 통해 이 분포를 반복적으로 정교화합니다.

A. 초기화 (Initialization)

LBA는 HLA와 유사하게 무작위 초기화를 수행하여 피해 모델을 속일 수 있는 초기 적대적 예시 $x'_0$ 를 생성하며 시작합니다. 이는 품사(POS) 일관성을 필터링하면서 단어를 유의어로 무작위 치환하는 과정을 포함합니다.

B. 샘플링 전략 (Sampling Strategy)

핵심 루프는 세 단계로 구성됩니다:

후보 제안 (Candidate Proposal): 현재 예시와 원본 예시가 달라지는 인덱스 집합(치환 가능한 위치) 중 무작로 선택된 위치의 단어를 유의어로 교체하여 후보 샘플 $x'_i$ 를 생성합니다. 이는 탐욕적 방법에서 발견되는 탐색 공간 축소 문제를 피하기 위해 **복원 추출(with-replacement sampling)**을 사용합니다.
수락률 계산 (Acceptance Rate Calculation): 후보는 타겟 함수 값과 전이 제안(transition proposals)의 비율로 정의되는 수락률 $\alpha$ $α$ 를 사용하여 평가됩니다:
$\alpha(x'_i, x^\star) = \min \left( 1, \frac{\pi(x'_i)g(x^\star | x'_i)}{\pi(x^\star)g(x'_i | x^\star)} \right)$
- 타겟 함수 $\pi(x'_i)$ : 원하는 분포를 근사하며, **공격성(Aggressiveness, $A$ $A$ )**과 **품질(Quality, $Q$ $Q$ )**의 곱으로 구성됩니다:
  $\pi(x'_i) = A(x'_i) \cdot Q(x'_i, x)$
  - 공격성 ( $A$ ): 사후 지식으로부터 도출됩니다. 이전 반복(iteration)에서 특정 위치의 섭동(perturbation)이 레이블 반전을 유도한 경험적 빈도에 기초하여 해당 위치의 "중요도"를 정량화합니다. 이는 레이블 반전 빈도에 대한 소프트맥스(softmax)를 사용하여 계산됩니다.
  - 품질 ( $Q$ ): 사전 지식(사전 정의된 제약 조건)으로부터 도출됩니다. 이는 의미적 유사성, 섭동률 감소, 문법적 오류 증가, 그리고 퍼플렉시티(perplexity)의 가중 합계입니다.
- 전이 제안 $g$ : 현재 샘플과 후보 샘플 간의 의미적 유사성 변화에 기반한 비대칭 확률로, 의미적으로 일관된 예시를 향해 탐색을 유도합니다.
업데이트 (Update): 후보가 수락되면(균등 무작위 임계값에 따라), 현재 예시가 업데이트되고 피해 모델에 쿼리하여 레이블 반전을 검증합니다. 사후 지식(위치 중요도)은 쿼리 결과에 따라 업데이트됩니다.

3. 주요 기여

문제 공식화: 저자들은 하드 레이블 공격에서 탐욕적 탐색의 한계를 식별하고, 쿼리 효율적인 적대적 텍스트 생성을 분포 기반 샘플링 문제로 처음 공식화했습니다.
새로운 알고리즘 (LBA): MH 스타일의 샘플링을 위한 타겟 함수에 사전 제약(품질)과 사후 피드백(공격성)을 통합하는 LBA를 제안합니다. 이를 통해 방법론은 스스로 교정하고 탐욕적 접근 방식보다 더 효과적으로 탐색 공간을 탐색할 수 있습니다.
포괄적 평가: 6개의 언어 모델(WordCNN과 같은 소규모 NLM부터 GPT-4o와 같은 대규모 LLM까지)과 4개의 데이터셋(MR, AG, YELP, IMDB)에 대해 광범한 실험을 수행했습니다.

4. 실험 결과

논문은 LBA가 모든 평가 지표에서 최신 성능의 베이스라인들(HLA, TextHoaxer, LeapAttack, HQA-Attack 포함)을 유의미하게 능가한다고 보고합니다:

쿼리 효율성: LBA는 "Tiny", "Tight", "Moderate" 쿼리 예산 하에서도 높은 공격 성공률(ASR)을 달もの합니다.
품질 지표: LBA는 다음과 같은 특성을 가진 적대적 텍스트를 생성합니다:
- 더 낮은 섭동률 (Lower Perturbation Rates): 변경된 단어가 더 적음.
- 더 높은 의미적 유사성 (Higher Semantic Similarity): 원래 의미에 더 가까움.
- 더 나은 유창성 (Better Fluency): 더 낮은 퍼플렉시티(PPL) 및 더 적은 문법적 오류(Ige).
LLM 강건성: LBA는 LLaMA 2, Vicuna, GPT-4o와 같은 대규모 언어 모델(LLM)을 공격할 때 탁월한 성능을 보이며, 특히 긴 텍스트 데이터셋에서 베이스라인과의 격차가 두드로 나타납니다.
인간 및 LLM 평가:
- GPT-4o 평가: LBA는 하드 레이블 베이스라인 중 가장 높은 일관성 비율(Consistency Rate, CR)(원래 의미 보존)과 완전 이해율(Fully Understood Rate, FUR)(이해 가능성)을 달성했습니다.
- 인간 평가: 인간 주석가들은 다른 방법들보다 LBA가 생성한 적대적 예시를 더 높은 비율로 올바르게 분류하였으며, 이는 LBA 공격이 원래의 감정/의미를 유지하면서도 피해 모델을 성공적으로 속렸음을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 LBA가 하드 레이블 시나리오에서 쿼리 효율성과 적대적 품질 사이의 결정적인 트레이드오프(trade-off)를 해결한다고 주장합니다. 탐욕적 국소 탐색에서 벗어나 누적된 쿼리 피드백으로부터 학습하는 샘플링 기반 전략으로 전환함으로써, LBA는 탐색 공간의 조합 폭발 문제를 완화합니다.

저자들은 자사의 방법이 더 효율적일 뿐만 아니라 의미가 더 잘 보존되고 이해하기 쉬운 적대적 텍스트를 생성한다는 점을 강조합니다. 이는 LBA가 공격자가 자원이 제한적이고 탐지를 피해야 하는 실제 환경에서 더 현실적인 위협 모델임을 시사합니다. 이 연구는 전통적인 NLP 모델과 신흥 대규모 언어 모델(LLM) 모두의 적대적 강건성을 강화할 필요성을 부각시킵니다.