[기술 요약] 에이전트 기반 적대적 재작성을 통한 블랙박스 NLP 파이프라인의 구조적 취약점 노출

1. 문제 정의 (Problem Statement)

최근 자연어 처리(NLP) 시스템은 단일 모델이 아닌, 검색 증강 생성(RAG), 도구 활용 에이전트 등 여러 구성 요소가 결합된 '멀티 컴포넌트 파이프라인(Multi-component Pipelines)' 형태로 발전하고 있습니다. 이러한 시스템은 고위험 의사결정(예: 허위 정보 탐지)에 사용되지만, 기존의 적대적 공격 연구는 다음과 같은 한계로 인해 실제 환경을 반영하지 못합니다.

• 블랙박스 제약: 실제 운영 환경에서는 모델의 내부 기울기(Gradient)나 확률값(Logit)에 접근할 수 없으며, 오직 최종 결과(True/False)인 **이진 피드백(Binary Feedback)**만 얻을 수 있습니다.
• 쿼리 예산 제한: API 비용 및 속도 제한으로 인해 무제한적인 쿼리가 불가능하며, 매우 적은 횟수의 시도 내에 공격을 성공시켜야 합니다.
• 구조적 복잡성: 기존의 토큰 단위(단어 교체 등) 공격은 단일 분류기에는 효과적일 수 있으나, '정보 검색(Retrieval)'과 '추론(Inference)' 단계가 결합된 파이프라인의 복잡한 상호작용을 무너뜨리기에는 역부족입니다.

2. 연구 방법론 (Methodology)

본 논문은 매우 제한된 조건(이진 피드백, 10회 이내의 쿼리) 하에서 작동하는 두 개의 LLM 에이전트로 구성된 적대적 재작성 프레임워크를 제안합니다.

A. 2-에이전트 아키텍처 (Two-Agent Architecture)

1. 공격자 에이전트 (Attacker Agent): 원래 문장의 의미를 유지하면서 구조적, 문체적 변화를 주는 '의미 보존형 재작성(Semantic Rewriting)'을 수행합니다.
2. 프롬프트 최적화 에이전트 (Prompt Optimization Agent): 공격 결과(성공/실패 및 제약 조건 위반 여부)를 분석하여, 다음 시도에서 공격자 에이전트가 사용할 지침(System Instruction)을 반복적으로 개선합니다.

B. 제약 조건 검증 모듈 (Constraint Validation Module)

공격 문장이 유효하려면 다음 네 가지 조건을 동시에 만족해야 합니다.

• 의미적 동등성 (Semantic Equivalence): MPNet 임베딩 유사도, BERTScore, 그리고 GPT-4o를 이용한 핵심 주장 검증을 통해 원문과 의미가 같아야 함을 보장합니다.
• 언어적 일관성 (Linguistic Coherence): GPT-4o-mini를 사용하여 문법적 정확성과 가독성이 유지되는지 확인합니다.

C. 반복적 최적화 (Iterative Optimization)

'Full-History' 방식을 통해 이전의 모든 시도와 피드백을 최적화 에이전트에게 제공함으로써, 타겟 시스템의 결정 경계(Decision Boundary)를 효율적으로 탐색합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 위협 모델 정립: 이진 피드백과 엄격한 쿼리 예산 하에서의 블랙박스 NLP 파이프라인 공격 문제를 공식화했습니다.
2. 에이전트 기반 공격 프레임워크 제안: 미세 조정(Fine-tuning)이나 기울기 접근 없이도 작동하는 고효율의 적대적 재작성 방법론을 제시했습니다.
3. 취약성 스펙트럼 규명: 파이프라인의 구조적 특성(검색 메커니즘, 검색-추론 결합도 등)이 공격 성공률에 미치는 영향을 분석했습니다.
4. 패턴 기반 방어 전략 제시: 공격 패턴을 분석하여 이를 무력화할 수 있는 '텍스트 단순화(Text Simplification)' 방어 기법을 제안했습니다.

4. 실험 결과 (Results)

네 가지 허위 정보 탐지 파이프라인을 대상으로 실험한 결과는 다음과 같습니다.

• 공격 성공률: 현대적인 LLM 기반 시스템(Verifact, ICL, Perplexity)에 대해 **19.95% ~ 40.34%**의 높은 회피율을 기록했습니다. 이는 기존 토큰 단위 공격(최대 3.90%)보다 압도적으로 높습니다.
• 구조적 취약성: 키워드 매칭 방식의 레거시 시스템(ClaimBuster)은 **97.02%**라는 거의 완전한 취약성을 보였습니다.
• 최적화의 효과: 반복적인 프롬프트 최적화를 수행할수록(Full History > Previous Step > Attacker Only), 특히 견고한 타겟일수록 공격 성공률이 유의미하게 상승했습니다.
• 공격 패턴 분석: 성공적인 공격 문장은 다음과 같은 특징을 보였습니다.
  1. 모호성 주입 (Hedging): "아마도", "보고에 따르면" 등의 표현 사용.
  2. 구조적 정교화 (Elaboration): 문장 길이를 늘려 핵심 신호를 희석.
  3. 복잡도 상승 (Complexity): 문장 난이도를 높여 추론 단계의 오류 유도.
  4. 통사적 재구성 (Syntactic Restructuring): 문장 구조를 완전히 변경.
• 방어 효과: 제안된 '텍스트 단순화' 방어 기법 적용 시, ICL 시스템의 공격 성공률을 65.18% 감소시키는 효과를 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

본 연구는 멀티 컴포넌트 NLP 시스템이 단순히 개별 모델의 성능을 높이는 것만으로는 안전을 보장할 수 없음을 입증했습니다. 시스템의 구성 요소 간 상호작용(검색과 추론의 결합)이 새로운 공격 표면(Attack Surface)을 형성하며, 공격자는 이를 '의미론적 재작성'을 통해 효과적으로 공략할 수 있습니다.

결론적으로, 고위험 의사결정에 사용되는 AI 파이프라인을 설계할 때는 단일 모델의 강건성뿐만 아니라, 전체 파이프라인의 구조적 결합성과 검색-추론 단계 간의 일관성을 고려한 적대적 레드팀(Red-teaming) 테스트가 필수적임을 시사합니다.