기술 요약: LLM 시대의 포이즈닝 공격, 방어 및 증명 가능한 방어에 관한 조사

문제 정의

검색(retrieval), 외부 도구, 메모리 모듈, 자율 에이전트가 통합된 컴파운드 AI 시스템(compound AI systems)으로 대규모 언어 모델(LLM)의 배포가 급격히 확산됨에 따라, 보안 위협을 위한 공격 표면이 근본적으로 확장되었습니다. 기존의 보안 연구가 추론 시점의 회피 공격(evasion attacks)에 집중했다면, **포이즈닝 공격(poisoning attacks)**은 모델의 학습, 적응 또는 상호작용 과정에서 모델의 무결성을 훼손함으로써 더욱 은밀한 위협을 가합니다.

본 조사 논문이 다루는 핵심 문제는 기존 연구의 파편화입니다. 이전의 조사들은 주로 모델의 가중치(weights)를 오염시키는 프리트레이닝(pre-training)이나 파인튜닝(fine-tuning) 단계의 가중치 포이즈닝에 초점을 맞춘 '모델 중심' 위협 패러다임 하에서 운영되었습니다. 그러나 현대의 LLM 생태계는 동적인 외부 컨텍스트(예: 검색 증강 생성(RAG), 인컨텍스트 러닝(ICL), 에이전트 워크플로우)에 크게 의존합니다. 이러한 시스템은 모델 파라미터 외부에서 존재하는 공격 표면, 즉 오염된 검색 코퍼스, 조작된 도구 설명, 그리고 훼손된 장기 메모리 등을 도입합니다. 현재 모델 파라미터를 조작하는 **가중치 포이즈닝(weight poisoning)**과 추론 시점의 컨텍스트를 조작하는 **컨텍스트 포이즈닝(context poisoning)**을 LLM의 전체 생애주기에 걸쳐 포괄적으로 다루는 통합된 프레임워크가 없으며, 새로운 환경에서의 경험적 방어에서 수학적으로 증명 가능한 방어로의 전환에 대한 통합된 분석도 부재한 실정입니다.

방법론 및 분류 체계

본 조사는 기존 연구를 분류하기 위해 체계적인 문헌 검토를 수행합니다. 저자들은 기존 연구를 공격 표면에 기반하여 두 가지 주요하고 상호 보완적인 범주로 조직하는 **포괄적인 분류 체계(comprehensive taxonomy)**를 제안합니다.

1. 가중치 포이즈닝 (Weight Poisoning)

이 범주는 모델의 파라미터를 적대적으로 조작하여 지속적인 유해 행동을 심거나 내부 표현을 손상시키는 것을 포함합니다. 본 조사는 이러한 공격을 특정 생애주기 단계에 매핑합니다:

• 프리트레이닝 (Pre-training): 웹 규모의 코퍼스에 대한 공격(예: 스플릿 뷰 포이즈닝, 프런트러닝 포이즈닝)으로, 공격자가 기초 데이터셋에 악성 데이터를 주입하는 방식입니다.
• 파인튜닝 및 정렬 (Fine-tuning & Alignment): 지시어 튜닝(instruction tuning) 데이터셋을 오염시켜 백도어를 심거나, 인간 피드백 기반 강화학습(RLHF) 보상 신호를 조작하여 안전 정렬을 저하시키는 방식입니다.
• 적응 (Adaptation): 매개변수 효율적 미세 조정(PEFT) 모듈(예: LoRA 어댑터)을 침해하거나, 악성 가중치를 양질의 어댑터에 융합하는 방식입니다.
• 배포 전 (Pre-deployment): 재학습 없이 백도어를 심기 위해 모델 가중치나 임베딩을 직접 편집하는 소량 예시(few-shot examples) 활용 방식입니다.

2. 컨텍스트 포이즈닝 (Context Poisoning)

이 범주는 가중치를 변경하지 않고 추론 중에 동적으로 통합되는 외부 정보를 대상으로 하며, 모델의 행동을 조작합니다. 본 조사는 세 가지 주요 영역을 식별합니다:

• 인컨텍스트 러닝 (In-Context Learning, ICL): 추론 과정을 유도하기 위해 데몬스트레이션 예시나 프롬프트를 오염시키는 방식(예: 생각의 사슬(CoT) 예시에 백도어 삽lement).
• 검색 증강 생성 (Retrieval-Augmented Generation, RAG): 검색 코퍼스를 오염시켜 오염된 구절이 높은 순위로 랭킹되도록 함으로써 최종 답변을 조작하거나, 주의력(attention)을 하이재킹하거나, 편향을 주입하는 방식입니다. 여기에는 GraphRAG, 멀티모달 RAG, 코드 RAG와 같은 특화된 아키텍처에 대한 공격이 포함됩니다.
• 에이전트 플로우 (Agent Flow): 에이전트의 환경(간접 프롬프트 주입), 도구 인터페이스(악성 도구 설명/메타데이터), 그리고 지속적 메모리(악성 절차적 템플릿 삽입)를 침해하는 방식입니다.

또한, 본 조사는 방어 체계를 경험적 방어(Empirical Defenses)(휴리스틱, 실용적 완화)와 증명 가능한 방어(Provable Defenses)(수학적으로 인증된 강건성)로 분류합니다.

주요 기여

본 논문은 다음 세 가지 측면에서 차별성을 가집니다:

1. 가중치 및 컨텍스트 포이즈닝의 통합 분류 체계: 저자들은 모델 컨텍스트(검색 코퍼스, 에이전트 메모리, 도구 정의)를 모델 가중치와 병렬적인 핵심 공격 표면으로 취급하는 프레임워크를 도입했습니다. 이를 통해 취약성이 훈련 파이프라인에서 추론 시점의 컴파운드 시스템으로 어떻게 전이되는지를 체계적으로 매핑합니다.
2. 멀티모달 및 에이전트 범위 확장: 본 조사는 텍스트 전용 모델을 넘어 그래프 증강 RAG, 검색 증강 확산 모델(diffusion models), 그리고 환경, 도구, 메모리를 가로지르는 에이전트 워크플로우에서의 위협과 방어까지 범위를 넓혔습니다.
3. 증명 가능한 방어의 통합: 본 논문은 경험적 완화에서 수학적으로 인증된 강건성으로의 전환을 구조적으로 분석합니다. 랜덤화 평활화(Randomized Smoothing) 및 딥 파티션-어그리게이션(Deep Partition-Aggregation)과 같은 기술이 이산적 토큰 공간, 검색 메커니즘 및 에이전트 워크플로우에 어떻게 적용되고 있는지 상세히 설명합니다.

결과 및 분석

본 조사는 방대한 문헌을 종합하여 다음과 같은 조사 결과를 제시합니다:

• 공격의 지속성 및 확장성: 연구에 따르면 포이즈닝 공격은 성공하기 위해 방대한 양의 데이터를 필요로 하지 않습니다. 연구 결과, 데이터 크기나 모델 규모에 관계없이 극소수의 오염된 샘플(예: 단 250개의 문서)만으로도 모델을 무력화할 수 있음이 밝혀졌습니다. 또한, 프리트레이닝 단계의 오염된 지식은 다운스트림 파인튜닝 및 도메인 특화 과정에서도 지속될 수 있습니다.
• 공격 벡터의 진화: 위협 지형은 고립된 단일 단계 공격에서 **컴파운드 포이즈닝(compound poisoning)**으로 변화했습니다. 예를 들어, RAG 시스템 내의 오염된 문서는 도구 선택에 영향을 미칠 수 있으며, 이는 결과적으로 메모리 업데이트와 향후 에이전트의 결정까지 변화시킬 수 있습니다.
• 경험적 방어의 한계: 데이터 정제, 이상 탐지, 적대적 훈련과 같은 경험적 방어는 실용적인 완화책을 제공하지만, 일반적으로 최악의 경우에 대한 보장을 결여하고 있으며, 방어 메커니즘을 역공학할 수 있는 적응형 공격자에게 취약한 상태로 남아 있습니다.
• 증명 가능한 방어의 등장: 점점 더 많은 연구가 엄격한 수학적 강건성 인증을 제공하고 있습니다. 랜덤화 평활화(이산 토큰으로 확장됨) 및 형식 검증(formal verification)과 같은 기술이 LLM 예측이 유계된 섭동(bounded perturbations) 하에서도 안정적으로 유지되도록 하고, RAG 시스템이 특정 개수의 오염된 문서에 저항하며, 에이전트 도구 선택이 안전 제약 조건을 충족하도록 인증하는 데 적용되고 있습니다.

의의 및 향후 방향

본 논문은 포이즈닝 공격의 진화가 AI 시스템 자체의 진화와 궤를 같이한다고 주장합니다. LLM이 독립적인 모델에서 상호 연결된 생태계로 전환됨에 따라, 포이즈닝 위협은 모델 파라미터뿐만 아니라 정보 경로(검색, 메모리, 도구)를 점점 더 타겟팅하고 있습니다.

저자들은 몇 가지 중요한 과제와 향후 연구 방향을 제시합니다:

• 고립된 포이즈닝에서 컴파운드 포이즈닝으로: 향후 연구는 단일 구성 요소 위협 모델을 넘어, 포이즈닝 효과가 상호 연결된 모듈(검색, 메모리, 도구, 추론) 간에 어떻게 전파되는지 조사해야 합니다.
• 통합된 위협 모델 및 평가: 동적인 지식 업데이트와 구성 요소 간 공격 전파를 포함하는 전체 스펙트럼의 포이즈닝 위협을 다루는 표준화된 벤치마크가 필요합니다.
• 확장 가능한 증명 가능한 방어: 증명 가능한 방어는 고위험 애플리케이션에 대한 중요한 안전 보장을 제공하지만, 현재 방식은 상당한 계산 오버헤드를 발생시킵니다. 향후 연구는 모듈 수준의 보장을 엔드 투 엔드 시스템 보장으로 결합하는 구성적 인증(compositional certification)에 집중해야 합니다.
• 멀티모달 및 체화된(Embodied) 포이즈닝: 시스템이 텍스트, 이미지, 오디오 및 센서 데이터를 처리함에 따라, 방어 체계는 교차 모달 포이즈닝과 모달리티 인식 언러닝(modality-aware unlearning)을 처리할 수 있도록 진화해야 합니다.
• 인간 중심 보안: 기술적 방어는 신뢰와 사용자 상호작용의 모호성을 해결하기 위해 인간 참여형 검증(human-in-the-loop verification), 투명한 출처 추적, 그리고 설계 단계부터의 보안(security-by-design) 원칙에 의해 보완되어야 함을 강조합니다.

결론적으로, 본 조사는 현대 LLM 시스템에서 포이즈닝 위협을 이해, 평가 및 완화하기 위한 구조적 토대를 제공하며, 반응적이고 고립된 완화를 넘어 원칙 중심의 시스템 전반적인 보안 보장으로의 전환을 옹호합니다.