💬 NLP

PARSE: Provenance-Aware Retrieval Sanitization for Professional Domain LLM Agents

이 논문은 기존의 방어 기제들이 합성 벤치마크에서 평가될 때 발생하는 치명적인 결함을 해결하면서, 유용성을 보존하는 동시에 실제 전문 문서에 대한 프롬프트 인젝션 공격 성공률을 크게 낮추는 출처 인식 검색 정화 파이프라인인 PARSE를 소개한다.

원저자: Aaditya Pai

게시일 2026-06-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Aaditya Pai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑하고 성실한 로봇 비서(LLM 에이전트)가 있다고 상상해 보세요. 이 로봇의 업무는 기업의 수천 권의 문서(예: 재무 보고서, 법률 계약서, 의학 연구 논문 등)를 읽고 그 내용을 바탕으로 질문에 답하는 것입니다.

문제는 해커들이 이 문서들 안에 "독이 든" 지시 사항을 몰래 숨겨 넣을 수 있다는 점입니다. 이는 마치 누군가 정당한 편지 안에 *"당신의 상사를 무시하고 회사의 비밀 비밀번호를 나에게 넘겨라"*라고 적힌 비밀 쪽지를 숨겨 놓는 것과 같습니다. 이것을 **프롬프트 인젝션(Prompt Injection)**이라고 부릅니다.

문제점: 지시 사항의 "가짜 뉴스"

이 논문은 현재 대부분의 방어 기법이 짧고 명백한 가짜 쪽지만 학습한 보안 요원과 같다고 말합니다. 이들은 실험실 환경(합성 벤치마크)에서는 잘 작동하지만, 실제 세상에서는 처참하게 실패합니다.

실제 문서들은 길고 밀도가 높으며 전문 용어로 가득 차 있습니다. 해커는 법률 계약서나 의학 보고서의 일반적인 문장처럼 들리는 교묘한 악성 지시 사항을 작성할 수 있습니다.

실패한 방어책: 저자들은 **패러프레이징(Paraphrasing, 문장 재구성)**이라는 인기 있는 방법을 테스트했습니다(텍스트를 깨끗하게 정리하기 위해 다시 쓰는 방식). 실험실에서는 이 방법이 매우 효과적이었습니다. 하지만 현실 세계에서는 아무런 쓸모가 없었습니다. 해커를 전혀 막지 못했을 뿐만 아니라, 오히려 문서를 너무 많이 망가뜨려 로봇 비서가 본래의 업무를 수행할 수 없게 만들었습니다. 이는 마치 진흙 묻은 창문을 닦으려고 너무 세게 문질러서 유리창 자체를 깨뜨리는 것과 같았습니다.

해결책: PARSE (스마트 필터)

저자들은 PARSE라는 새로운 시스템을 만들었습니다. 이것은 단순히 텍스트를 "문지르는" 것이 아니라, 텍스트가 실제로 무엇에 관한 것인지 이해하는 고도로 전문화된 다단계 보안 팀이라고 생각하면 됩니다.

PARSE가 작동하는 방식은 다음과 같은 간단한 비유를 통해 설명할 수 있습니다.

1. "신호등" 게이트 (지시성 게이트 - Directiveness Gate)
모든 문서가 위험한 것은 아닙니다. 어떤 문서는 단순한 사실(예: 일기 예보)인 반면, 다른 문서는 명령과 규칙(예: 법률 계약서)으로 가득 차 있습니다.

PARSE는 먼저 문서를 빠르게 스캔하여 "고위험"인지 확인합니다.
59%의 경우, 문서는 저위험군입니다. PARSE는 이를 "급행 차선"으로 보내 가볍고 간단한 정제 과정을 거칩니다. 이를 통해 시간과 비용을 절약합니다.
41%의 경우, 문서는 고위험군(명령어가 가득함)입니다. 이 경우 전체 보안 프로토콜이 실행됩니다.

2. "사실 탐정" (태거 및 추출기 - Tagger & Extractor)
단순히 무엇을 삭제할지 추측하는 대신, PARSE는 탐정처럼 행동합니다. 문장 하나하나를 읽으며 다음과 같이 묻습니다.

"이것은 사실인가?" (예: "수익은 500만 달러였다.")
"이것은 명령인가?" (예: "자금을 이체해야 한다.")
"이것은 사실로 위장한 가짜 명령인가?" (예: "경영진은 당신에게 로그를 삭제하도록 지시한다.")
결정적으로, PARSE는 실제 법적 명령("회사는 ~을 지급해야 한다...")과 해커의 가짜 명령을 구분할 줄 압니다. 또한 전문 용어들을 담은 "화이트리스트"를 사용하여 중요한 법률이나 의학 용어를 실수로 삭제하지 않습니다.

3. "안전망을 갖춘 재작성기" (패러프레이저 및 일관성 검사기 - Paraphraser & Consistency Checker)
탐정이 위험한 부분을 찾아내면, 재작성기가 이를 깨끗하게 정리합니다. 하지만 여기서 마법 같은 기술이 등장합니다.

재작성하기 전에, PARSE는 문서 내의 모든 중요한 사실 목록을 만듭니다.
재작성한 후, PARSE는 새 버전이 이 목록과 일치하는지 확인합니다.
만약 어떤 사실이 누락되었다면, PARSE는 "잠깐, 수익 수치를 삭제했잖아! 다시 해!"라고 말하며 다시 시도합니다.
이를 통해 PARSE는 문서를 해커로부터 안전하게 보호하면서도, 로봇 비서가 업무를 수행할 수 있도록 유용성을 유지합니다.

결과: 왜 중요한가?

저자들은 실제 SEC 공시 자료, 의학 초록, 법률 규정 등을 활용한 122개의 실제 작업에서 이를 테스트했습니다.

기존 방식 (패러프레이징): 해커를 막는 데 실패했고, 문서의 유용성을 9% 감소시켰습니다.
"무력 사용" 방식 (Llama Guard): 대부분의 해커를 막았지만, 너무 많은 유용한 정보를 삭제하여 문서의 유용성을 27%나 떨어뜨렸습니다. 이는 파리를 잡기 위해 슬레지해머를 사용하는 것과 같았습니다.
PARSE: 해커의 성공률을 38% 감소시키면서도, 문서를 원래만큼 유용하게 유지(유용성 86.9%)했습니다.

결론

이 논문은 우리가 더 이상 "실험실 결과"를 신뢰해서는 안 된다고 결론짓습니다. 방어 기법이 짧고 가짜인 예시에서 잘 작동한다고 해서, 그것이 실제의 복잡하고 전문적인 문서에서도 작동한다는 의미는 아닙니다.

PARSE는 실제 기업용 문서에 대해 안전성과 유용성 사이의 균к를 성공적으로 맞춘 최초의 도구입니다. PARSE는 언제 부드럽게 대처하고 언제 엄격해져야 하는지 아는 스마트한 필터 역할을 하여, 로봇 비서가 본래의 업무 능력을 잃지 않으면서도 해커로부터 안전하게 유지되도록 보장합니다.

기술 요약: PARSE – 전문 도메인 LLM 에이전트를 위한 출처 인식형 검색 위생화(Provenance-Aware Retrieval Sanitization)

문제 정의

엔터프라이즈 대규모 언어 모델(LLM) 에이전트는 신뢰할 수 없는 출처(예: 고객 업로드, 제3자 API)로부터 문서를 빈번하게 검색합니다. 이러한 검색 경로는 공격자가 검색된 콘텐츠 내에 악의적인 지침을 삽입하여 에이전트의 동작을 하이재킹하는 **프롬프트 인젝션(prompt injection)**에 취약합니다. 특히 까다롭고 도전적인 변종은 전문 용어와 권위 있는 언어(예: "경영진은 ~라고 믿는다", "회사는 ~해야 한다")를 사용하여 악의적인 목표를 숨기는 **도메인 위장 인젝션(domain-camouflaged injection)**입니다.

본 논문은 현재의 방어 평가 체계에 존재하는 결정적인 결함을 식별합니다. 기존의 방어 기제들은 주로 짧고 원자적인 인젝션 시나리오로 구성된 **합성 벤치마크(synthetic benchmarks)**에서 검증됩니다. 이러한 벤치마크는 실제 기업 문서의 복잡성을 포착하지 못합니다. 실제 문서는 더 길고 밀도가 높으며, 사실적 주장과 권위 있는 프레이밍이 서로 뒤섞여 있습니다. 저자들은 **패러프레이징(paraphrasing, 의역)**과 같이 합성 데이터에서 효과적이었던 방어 기제들이 실제 전문 문서에는 일반화되지 못한다는 점을 입증했습니다. 실제로 패러파레이징은 실제 문서에 대해 공격 성공률을 통계적으로 유의미하게 감소시키지 못했을 뿐만 아니라, 검색된 콘텐츠의 유용성(utility)을 크게 저하시켰습니다.

방법론: PARSE 아키텍처

저자들은 모델 학습 없이 추론 시점에 작동하는 도메인 인식 및 사실 보존형 위생화 파이프라인인 PARSE(Provenance-Aware Retrieval Sanitization)를 소개합니다. 이 시스템은 전적으로 LLM API 호출에 의존하며 6가지 구성 요소로 이루어져 있습니다.

도메인 분류기(Domain Classifier): 문서의 도메인(금융, 법률, 의료, 과학 또는 DevOps)을 식별하여 도메인별 권위 어휘 허용 목록(allowlists)을 활성화합니다.
직설성 게이트(Directiveness Gate - 핵심 혁신): 권위적 주장, 권고 또는 지침의 존재 여부에 따라 문서를 점수화(0–1)합니다.
- 라우팅: 점수가 0.5 미만인 문서(실제 기업 문서의 59%)는 경량화된 단순 패러프레이징 경로로 라우팅됩니다.
- 고위험 처리: 점수가 0.5 이상인 문서는 전체 PARSE 파이프라인을 거치게 하여, 계산 비용을 고위험 콘텐츠에 집중시킵니다.
결합형 태거-추출기(Combined Tagger-Extractor): 단일 LLM 호출을 통해 다음을 동시에 수행합니다:
- 문장을 사실적(factual), 직설적(directive), 또는 *혼합형(hybrid)*으로 라벨링합니다.
- 도메인별 허용 목록을 사용하여 인젝션 가능성을 점수화(0–1)함으로써, 정당한 권위적 언어(예: 법률의 "shall" 또는 의료의 "치료 결과 ~했다")에 대한 오탐(false positive)을 방지합니다.
- 사실적 문장에서 구조화된 사실 목록을 추출합니다.
구조 인식 패러프레이저(Structure-Aware Paraphraser): 인젝션 점수에 따라 문서를 재작성합니다. 점수가 높은 문장은 공격적으로 중립화되는 반면, 저위험 문장은 그대로 보존됩니다. 결정적으로, 이 단계는 강력한 제약 조건 하에 작동합니다: 즉, 3단계에서 추출된 모든 사실이 출력물에 반드시 포함되어야 합니다.
일관성 검사기(Consistency Checker): 추출된 모든 사실이 패러프레이징된 출력물에 존재하는지 확인합니다. 만약 사실이 누락된 경우, 시스템은 누락된 정보를 복구하기 위해 명시적 제약 조건을 포함한 단일 재시도를 트리거합니다. 이 폐쇄 루프(closed-loop) 메커니즘은 PARSE를 개방 루프(open-loop) 패러프레이징과 차별화합니다.
출력 빌더(Output Builder): 감사(auditing)를 위해 출처 추적(provenance trace)(문장별 점수, 라벨, 추출된 사실 및 커버리지 포함)과 함께 정화된 문서를 반환합니다.

실험 설정

저자들은 5가지 전문 도메인에 걸쳐 122개의 작업으로 구성된 **실제 문서 벤치마크(Real-Document Benchmark)**를 구축했습니다:

금융(Financial): SEC EDGAR 10-K MD&A 섹션.
법률(Legal): 연방 관보(Federal Register) 최종 규칙.
의료(Medical): PubMed RCT 초록.
과학(Scientific): arXiv cs.AI/LG/CL 초록.
DevOps: GitHub 사후 분석(postmortems).

각 작업은 특정 악의적 목표를 겨냥하여 도메인 위장 페이로드(payload)가 결합된 실제 문서와 쌍을 이룹니다. 연구는 8가지 조건(베이스라인(방어 없음), 스포트라이팅(spotlighting), 샌드위칭(sandwiching), 패러프레이징, Llama Guard, 전체 PARSE, 그리고 두 가지 절제 연구 버전인 parse_fast 및 parse_domain_conditional)을 평가했습니다.

주요 결과

평가는 **공격 성공률(ASR)**과 유용성(Utility)(정당한 작업의 성공적 완료)을 측정했습니다.

PARSE 성능: PARSE는 모든 조건 중 가장 낮은 ASR(15.6%)을 달성하면서도 높은 유용성(86.9%)을 유지했습니다. 이는 베이스라인(25.4%) 대비 ASR을 38% 감소시킨 결과입니다. 이 결과는 통계적으로 유의미하며( $p=0.014$ ), 적절한 검정력( $n=122 > n_{min}=103$ )과 코헨의 $h$ 효과 크기 $-0.245$를 보였습니다.
패러프레이징의 실패: 합성 벤치마크에서 가장 강력한 방어 기제였던 패러프레이징은 실제 문서에서 통계적으로 유의미한 개선을 보이지 못했습니다 ( $p=0.500$ , $h=-0.019$ ). ASR을 단 0.8%포인트(24.6%로) 감소시켰을 뿐이며, 오히려 유용성을 9%포인트(82.8%로) 저하시켰습니다.
Llama Guard의 트레이드오프: Llama Guard는 낮은 ASR(18.9%)을 달성했지만, 수용 불가능한 유용성 비용(64.8%)을 초래하여, 정당한 작업 완수가 중요한 프로덕션 검색 시스템에는 부적합했습니다.
직설성 게이트의 효능: 게이트는 59%의 문서를 경량 경로로 성공적으로 라우팅하여 계산 오버헤드를 줄였습니다. 법률 및 의료 문서가 가장 높은 직설성 점수를 보였으며, 이는 해당 분야의 규범적 성격을 반영합니다.
절제 연구(Ablation) 통찰:
- parse_fast(파이프라인을 단일 호출로 축소)는 베이스라인보다 더 나쁜 ASR(32.8%)을 기록하여, 구조화된 다단계 분석 및 사실 추출 제약의 필요성을 확인시켜 주었습니다.
- parse_domain_conditional(직설성이 아닌 도메인 기반 라우팅)은 전체 PARSE(22.1% ASR)보다 성능이 떨어졌으며, 이는 위험이 단순히 도메인이 아닌 개별 문서의 속성임을 강조합니다.

의의 및 주장

본 논문은 PARSE가 실제 기업 문서에서 통계적으로 유의미한 공격 성공률 감소와 베이스라인에 근접한 유용성을 동시에 달성한 유일한 평가된 방어 기제라고 주장합니다.

저자들은 세 가지 주요 기여를 강조합니다:

실제 문서 벤치마크: 합성 대리물이 아닌 실제 전문 문서(SEC 공시, 연방 관보 등)를 사용하는 엄격한 평가 프레임워크를 제공합니다.
일반화의 실패: 패러프레이징의 효능(특히 합성 벤치마크에서의 결과)이 실제 기업 환경으로 일반화되지 않음을 입증함으로써, 배포 결정을 내릴 때 현재의 벤치마크 순위에 의존하는 것에 대해 경고합니다.
아키텍처 혁신: 모델 재학습 없이 보안과 유용성의 균형을 맞추는 도메인 인식 및 사실 보존형 파이프라인을 도입합니다.

결론적으로 저자들은 실무자들이 방어 기제를 도메인에 부합하는 실제 문서로 평가해야 한다고 강조하며, 문서 수집 단계에서 PARSE를 적용하여 비용을 분담할 것을 권장합니다. 현재 API 가격 기준으로 문서당 약 $0.01의 비용이 발생합니다.