기술 요약: RAG 기반 챗봇의 프롬프트 인젝션에 대응하는 계층적 보안 프레임워크

1. 문제 정의

프롬프트 인젝션은 대규모 언어 모델(LLM) 배포, 특히 검색 증강 생성(RAG) 아키텍처 내에서 가장 치명적인 취약점으로 식별된다. 전통적인 소프트웨어 인젝션 공격이 파싱 버그를 악용하는 것과 달리, 프롬프트 인젝션은 LLM의 근본적인 구조적 특성, 즉 단일 토큰 스트림 내에서 신뢰할 수 있는 지시문(시스템 프롬프트)과 신뢰할 수 없는 데이터(사용자 입력 또는 검색된 문서)를 구분하지 못하는 특성을 악용한다.

기존의 방어책은 추론 파이프라인의 고립된 단계에서 작동하기 때문에 불충분하다:

• 입력 필터는 검색된 문서를 검사할 수 없으므로, 간접 프롬프트 인젝션(악의적인 페이로드가 지식 베이스 문서에 삽입된 경우)에 취약한 상태로 남는다.
• 출력 모니터는 악의적인 페이로드가 모델에 도달하는 것 자체를 방지할 수 없다.
• 지시 계층 구조 접근 방식은 종종 모델의 미세 조정(fine-tuning)을 요구하거나, 모델이 안정적으로 준수하기 어려운 구조적 신호에 의존한다.

결과적으로, RAG 기반 챗봇은 직접적인 인젝션(사용자 입력에 의한)과 간접적인 인젝션(오염된 지식 베이스 문서에 의한) 모두에 취약하며, 이는 페르소나 하이재킹, 정책 우회, 데이터 유출 및 유해 콘텐츠 생성 등의 리스크로 이어진다.

2. 방법론: 3계층 프레임워크

저자들은 밑단의 LLM을 수정하지 않고도 추론 파이프라인의 서로 다른 지점에서 공격을 차단하도록 설계된, 모델 불가지론적(model-agnostic)인 3계층 방어 프레임워크를 제안한다. 이 시스템은 미들웨어로서 작동한다.

제1계층: 입력 스크리닝 (Input Screening)

이 계층은 검색 또는 컨텍스트 조립 전의 가공되지 않은 사용자 입력을 대상으로 작동한다. 두 가지 상호 보완적인 메커니즘을 채택한다:

• 패턴 기반 탐지: 규칙 엔진이 정규화된 입력을 선별된 인젝션 시그니처 라이브러리(예: "이전 지시 무시", "시스템 프롬프트 반복")와 매칭한다. 이는 Base64 인코딩 및 URL 인코딩과 같은 난독화 기법을 처리한다.
• 의미론적 이상 탐지: 미세 조정된 의미론적 분류기(sentence-transformer 백본 사용)를 사용하여 입력의 적대적 의도를 점수화한다. 이는 규칙 기반 시그니처를 회피하는 새로운 표현 방식이나 의역된 공격을 포착한다.
• 처분: 입력은 통과(이상 플래그 포함), 정화(매칭된 세그먼트 교체), 또는 차단된다.

제2계층: 권한 제한 컨텍스트 조립 (Privilege-Constrained Context Assembly)

이 계층은 인젝션의 근본 원인인 평탄한(flat) 컨텍스트 창 문제를 해결한다. LLM 추론 전, 컨텍스트 조립 과정에서 명시적인 지시 계층 구조를 강제한다:

• 권한 티어(Tier):
  1. 운영자 티어 (최상위): 시스템 프롬프트 지시문.
  2. 검색 티어 (중간): 검색된 문서 (실행 가능한 지시가 아닌 참조 데이터로 취급).
  3. 사용자 티어 (최하위): 사용자 쿼리.
• 메커니즘: 컨텍스트 세그먼트에 출처 태그([SYS], [RET], [USR])를 부착한다. 프롬프트 앞부분에는 상위 티어의 지시와 충돌하는 하위 티어의 명령을 거부하도록 모델에 지시하는 메타 지시문을 삽붙한다.
• 스캐닝: 검색된 문서 청크가 컨텍스트에 수용되기 전에 명시적인 오버라이드(override) 패턴을 스캔한다.

제3계층: 출력 감사 (Output Auditing)

이 계층은 모델의 응답을 전달하기 전 최종 안전망 역할을 수행하며, 응답을 감사한다:

• 정책 규칙 엔진: 다음을 포함한 특정 서술어(predicate)에 대해 출력을 검사한다:
  • 시스템 프롬프트 유사도: 데이터 유출(시스템 프롬프트 유출)을 감지하기 위한 코사인 유사도 체크.
  • 역할/토큰 탐지: 탈옥 토큰(예: "DAN") 식별.
  • 유해 콘텐츠: 안전하지 않은 출력을 감지하기 위해 Llama Guard 2 분류기 사용.
• 의미론적 드리프트 탐지: 실시간 응답과 참조 페르소나 준수 응답 사이의 코사인 거리를 측정하여 행동 조작을 감지한다.
• 에스컬레이션: 높은 위험 서술어를 트리거하는 응답은 차단되거나 인간의 검토를 위해 에스컬레이션된다.

지속적 감사 루프 (Continuous Audit Loop)

모든 계층으로부터 구조화된 로그를 수집하는 교차 기능 구성 요소이다. 다음을 지원한다:

• 알림: 지속적인 적대적 탐색 또는 조직적인 캠페인을 감지한다.
• 재학습: 확인된 참 양성(true positive) 및 거짓 양성(false positive) 데이터를 제1계층의 의미론적 분류기에 피드백하여 새로운 공격 패턴에 적응한다.

3. 주요 기여

1. 정형화된 위협 모델: RAG 챗봇에 대한 블랙박스 공격자 모델을 정의하며, 직접 및 간접 인젝션 벡터와 세 가지 특정 공격자 목표(지시 우회(IO), 데이터 유출(DE), 행동 조작(BM))를 다룬다.
2. 3계층 방어 아키텍처: 입력 스크닝, 권한 제한 컨텍스트 조립, 출력 감사를 결합한 통합 프레임워크를 제공한다. 이는 직접 및 간접 인젝션 모두에 대해 각 메커니즘의 개별 및 결합된 기여도를 평가한 최초의 연구이다.
3. 통제된 평가: 세 가지 다양한 LLM(GPT-4o, Llama 3 8B, Mistral 7B)에 대해 5,080개의 샘체(양성 및 적대적 샘플)를 대상으로 종합적인 평가를 수행했다.
4. 절제 분석(Ablation) 및 오류 분석: 각 계층의 한계 기여도를 정량화하고 잔여 우회 메커니즘을 식별하여 향후 개선을 위한 로드맵을 제공한다.

4. 실험 결과

프레임워크는 방어되지 않은 베이스라인, 단일 계층 베이스라인, 그리고 공개된 가드레일 시스템(NeMo Guardrails)을 대상으로 평가되었다.

• 공격 성공률(ASR) 감소: 전체 3계층 프레임워크는 매크로 평균 ASR을 71.4%(방어 없음)에서 **11.3%**로 감소시켰다.
  • 이는 베이스라인 대비 60.1 퍼센트 포인트 감소를 의미한다.
  • 가장 성능이 좋았던 단일 계층 베이스라인(제3계층만 사용 시 38.6%)보다 27.3 퍼센트 포인트 더 우수한 성능을 보였다.
  • NeMo Guardrails(35.1%)보다 23.8 퍼센트 포인트 더 우수한 성능을 보였다.
• 거짓 양성률(FPR): 프레임워크는 **4.8%**의 FPR을 유지했으며, 이는 NeMo Guardrails(8.4%)보다 낮고 제1계층 단독 사용 시(5.1%)와 유사한 수준이다.
• 지연 시간 오버헤드: 중앙값 기준 엔드 투 엔드 지연 시간 오버헤드는 61.2 ms였으며, 이는 주로 의미론적 인코딩 작업에 의해 발생했다. 이는 대화형 챗봇의 운영 예산 범위 내에 있다.
• 절제 분석 통찰:
  • 세 계층의 결합 효과는 개별 기여도의 합을 초과했다.
  • 제2계층(권한 제한)은 인젝션을 출력 감사 단계(제3계층)에 도달하기 전에 필터링함으로써 제3계층의 거짓 양성을 억제하는 것으로 나타났다.
  • 두 개의 계층만으로는 전체 프레임워크와 동등한 커버리지를 제공하지 못했다.

5. 의의 및 주장

본 논문은 프롬프트 인젝션이 모델 업그레이드만으로는 해결할 수 없는 구조적 취약점이라고 주장한다. 더 강력한 모델(예: GPT-4o)이라 할지라도, 방어되지 않은 상태에서는 지시 이행 능력이 주입된 지시문에 대한 취약성과 상관관계가 있어 작은 모델보다 겨우 약간 더 나은 저항력을 보일 뿐이다.

본 연구의 주요 의의는 방어가 전체 추론 파이프라인 전체에 분산되어야 함을 입증했다는 데 있다. 저자들은 다음과 같이 주장한다:

• 계층화는 선택이 아닌 필수이다: 직접 및 간접 인젝션은 서로 다른 지점에서 유입되므로, 해당 진입점에 위치한 방어가 필요하다.
• 모델 불가지론이 핵심이다: 본 프레임워크는 LLM의 가중치를 수정하지 않고도 작동하므로 다양한 모델 제품군에 배포 가능하다.
• 상호 보완적 보호: 계층 간의 상호작용(예: 제3계층의 부하를 줄여주는 제2계층)은 부분의 합보다 큰 보안 태세를 구축한다.

저자들은 블랙박스 공격자 모델의 정적 특성, 단일 턴 쿼리에 집중한 점(멀티 턴 공격은 여전히 잔여 리스크로 남음), 그리고 분포 변화에 따른 임계값 민감도 등의 한계를 인정한다. 이들은 본 프레임워크를 RAG 시스템을 보호하기 위한 실질적인 토대로 규정하며, 향후 멀티 턴 누적 공격 및 검색된 문서 내 암시적 지시문 처리에 대한 연구가 필요함을 밝힌다.