BodhiPromptShield: Pre-Inference Prompt Mediation for Suppressing Privacy Propagation in LLM/VLM Agents
이 논문은 LLM/VLM 에이전트에서 검색, 메모리, 도구 호출 등 여러 단계를 거치며 발생하는 개인정보 유출 위험을 해결하기 위해, 민감한 정보를 탐지하고 플레이스홀더나 의미적 추상화로 변환한 후 권한이 있는 단계에서만 복원하는 'BodhiPromptShield'라는 정책 기반 프레임워크를 제안합니다.
비유: 비밀스러운 편지를 보낼 때 예를 들어, 당신이 은행에 대출 신청을 하려고 "내 이름은 김철수이고, 주소는 서울 강남구 OO 동 123 번지입니다"라고 AI 비서에게 말합니다.
기존 방식의 문제점: 기존 보안 프로그램은 이 편지를 보내는 순간 '김철수'와 '주소'를 지워버립니다. 하지만 문제는 여기서 끝이 아닙니다. AI 비서는 이 정보를 바탕으로:
검색 (Retrieval): "김철수 씨의 대출 기록을 찾아줘"라고 검색 엔진에 물어봅니다.
기억 (Memory): "김철수 씨의 주소는 강남구 123 번지야"라고 메모장에 적어둡니다.
도구 사용 (Tool Call): "김철수 씨의 계좌로 송금해"라고 은행 시스템에 명령을 보냅니다.
핵심 문제: AI 가 편지를 보낼 때만 이름을 지웠다고 해서, 검색창, 메모장, 은행 시스템에 그 이름이 그대로 남으면 소용없습니다. 마치 편지 봉투를 잠갔는데, 편지 내용을 복사해서 여러 곳에 붙여놓은 것과 같습니다.
2. 해결책: BodhiPromptShield (보디 프롬프트 쉴드)
이 논문은 **"보안을 편지 한 번만 지우는 게 아니라, 정보가 이동하는 모든 길목에서 통제하자"**고 제안합니다.
비유: 특수한 '변신'과 '열쇠' 시스템 이 시스템은 사용자의 민감한 정보를 AI 가 처리하기 전에 다음과 같이 변신시킵니다.
변신 (Sanitization):
김철수 → <사람_1> (타입 플레이스홀더)
서울 강남구 OO 동 123 번지 → "서울 강남구의 한 주소" (의미 추상화)
계좌번호 1234-5678 → <계좌_마법_키> (보안 심볼 매핑)
AI 는 이 변신된 내용을 보고 "아, 사람이 하나 있고, 주소가 있고, 계좌가 있구나"라고 의미는 이해하지만, 정체성은 모릅니다.
안전한 이동 (Propagation Control): AI 가 검색을 하거나 메모를 할 때, 변신된 <사람_1>만 전달됩니다. 그래서 검색 기록이나 메모장에 진짜 이름이 남지 않습니다.
최종 열쇠 (Controlled Restoration): 진짜 필요한 순간 (예: 실제로 돈을 송금해야 할 때) 에만, 허가된 관리자가 <계좌_마법_키>를 다시 원래 계좌번호로 되돌려줍니다. 그 전까지는 AI 도, 로그도, 메모장도 진짜 번호를 볼 수 없습니다.
3. 왜 이것이 중요한가요? (기존 기술과의 차이)
기존 기술 (문서 지우기): 편지 한 장을 지우는 데 집중합니다. 하지만 AI 가 그 내용을 복사해서 다른 곳 (검색, 메모) 으로 보내면, 그 복사본은 여전히 위험합니다.
이 기술 (전파 통제): 편지가 어디로 이동하든 그 내용이 변형된 채로 이동하게 합니다. AI 가 "김철수"를 기억하거나 검색할 수 없게 막는 것입니다.
4. 성능은 어떨까요?
논문은 실험을 통해 이 방법이 효과가 있음을 증명했습니다.
정보 유출 감소: 민감한 정보가 검색, 메모, 도구 호출 단계로 넘어갈 때 유출되는 비율이 10.7% 에서 7.1% 로 크게 줄었습니다.
작업 능력 유지: 정보를 지웠다고 해서 AI 가 멍청해지거나 일을 못 하는 것은 아닙니다. 오히려 "김철수"를 <사람_1>로 바꿔도 AI 는 "사람"이라는 개념을 이해하므로 대출 심사를 잘 해냅니다. (작업 성공률 92% 유지)
5. 한 줄 요약
"AI 비서가 당신의 비밀을 여러 곳에 복사해 놓지 못하게, 정보를 '의미'만 남기고 '정체'는 가린 채 이동하게 만든 뒤, 정말 필요한 순간에만 다시 원래대로 되돌려주는 새로운 보안 시스템입니다."
이 기술은 AI 가 우리의 개인 정보를 안전하게 처리하면서도, 우리가 원하는 일을 정확하게 해낼 수 있게 해주는 지능형 보안 중개자 역할을 합니다.
1. 연구 배경 및 문제 정의 (Problem Definition)
배경: 대규모 언어 모델 (LLM) 및 비전 - 언어 모델 (VLM) 기반 에이전트 시스템이 널리 사용되면서, 사용자의 프롬프트에 포함된 민감한 정보 (개인식별정보, 금융 데이터, 의료 기록 등) 가 추론 (Inference) 단계에서 유출될 위험이 증가하고 있습니다.
핵심 문제: 기존 개인정보 보호 기술 (차분 프라이버시, 문서 단위 마스킹 등) 은 주로 학습 데이터 보호나 단일 문서 경계에서의 가림에 초점을 맞추고 있습니다. 그러나 에이전트 시스템에서는 사용자 프롬프트가 검색 (Retrieval), 메모리 (Memory), 도구 호출 (Tool Call), 로그 (Logging) 등을 거치며 여러 단계를 통과하는 과정에서 민감한 정보가 확산 (Propagation) 됩니다.
기존 방식의 한계: 기존 기업용 마스킹 미들웨어는 입력 시점에 한 번만 데이터를 가립니다. 하지만 에이전트가 민감한 정보를 검색 쿼리나 메모리에 복사하거나 도구 인자로 전달할 경우, 초기 마스킹이 무효화되어 정보가 유출될 수 있습니다. 즉, "단일 문서 경계에서의 가림"과 "에이전트 상태 간 전파 제어" 사이의 간극이 존재합니다.
2. 제안 방법론: BodhiPromptShield (Methodology)
이 논문은 추론 전 (Pre-Inference) 에 프롬프트를 중재 (Mediation) 하여 민감 정보의 확산을 차단하는 새로운 프레임워크를 제안합니다.
시스템 아키텍처:
민감 스팬 추출 (Extraction): 규칙 기반 인식, NER(명명 개체 인식), 컨텍스트 기반 판단, OCR/VLM 기반 추출을 통해 민감한 정보 스팬을 식별합니다.
정책 인식 중재 (Policy-Aware Mediation): 식별된 민감 정보를 하위 에이전트 단계 (검색, 메모리, 도구) 로 전달되기 전에 보호된 대용품으로 변환합니다.
타입 플레이스홀더 (Typed Placeholder):<PERSON_1>, <PHONE_1> 등 역할 정보를 유지하면서 값을 가립니다.
의미적 추상화 (Semantic Abstraction): "오克兰드의 주거 주소"와 같이 구체적인 값은 숨기지만 맥락적 의미는 유지합니다.
보안 심볼 매핑 (Secure Symbolic Mapping): 오프라인 매핑 테이블에 연결된 불투명 토큰으로 변환하여, 권한이 있는 실행 경계에서만 원래 값을 복원합니다.
지연된 복원 (Delayed Restoration): 민감한 값이 검색, 메모리, 계획 단계에서는 노출되지 않도록 하며, 오직 권한이 부여된 도구 실행 단계 (Authorized Boundary) 에서만 원래 값을 복원합니다.
평가 지표:
PER (Privacy Exposure Rate): 직접 노출된 민감 정보의 비율.
SPE (Stage-wise Propagation Exposure): 검색, 메모리, 도구 단계별 민감 정보의 전파 정도.
AC/TSR (Answer Consistency / Task Success Rate): 하위 작업의 성공률 및 답변 일관성 (유용성 보존).
3. 주요 기여 (Key Contributions)
문제 재정의: 프롬프트 프라이버시를 단순한 '문서 마스킹' 문제가 아닌, 에이전트 상태 간 '전파 제어 (Propagation-Control)' 문제로 재정의했습니다.
정책 인식 중재 메커니즘: 민감 스팬 감지, 모드 선택 (플레이스홀더/추상화/매핑), 제어된 복원을 결합한 프레임워크를 설계했습니다. 특히 복원 타이밍을 보안 변수로 명시적으로 다룹니다.
전파 인식 평가 프로토콜 (CPPB): 'Controlled Prompt-Privacy Benchmark'를 통해 직접 노출, 단계별 전파, 유용성 보존, 복원 경계 행동을 종합적으로 측정하는 새로운 평가 방식을 제시했습니다.
증거 범위 명확화: 핵심 결과 (CPPB 기반) 와 외부 벤치마크 전이 가능성을 구분하여, 현재 기술의 성숙도와 한계를 투명하게 보고했습니다.
4. 실험 결과 (Results)
제안된 프레임워크는 CPPB 벤치마크에서 기존 방식보다 우수한 성능을 보였습니다.
전파 억제 효과: 검색, 메모리, 도구 단계를 거치며 민감 정보가 전파되는 비율이 10.7% 에서 7.1% 로 감소했습니다. 반면, 기존 정규식 (Regex) 기반 마스킹은 62.7% 에서 59.8% 로 거의 감소하지 않아, 전파 초기 단계에서의 중재가 필수적임을 입증했습니다.
프라이버시 vs 유용성 트레이드오프:
PER: 제안된 '유용성 제약 (Utility-constrained)' 방식은 PER 9.3% 를 기록했습니다. (기업용 단계별 마스킹 기준 8.1% 보다 약간 높지만, 의미 보존 측면에서 더 우수함).
유용성 (AC/TSR): 제안 방식은 AC 0.94, TSR 0.92 를 달성하여, 일반적 개인정보 제거 (Generic De-identification, AC 0.73) 보다 훨씬 높은 작업 성공률을 보였습니다.
다중 모드 및 적대적 견고성:
OCR 기반 이미지 처리에서도 유의미한 성능을 보였습니다.
유니코드 혼동 문자 (Homoglyph) 등 표면적 우회 공격에 대해 기존 방식 대비 노출률을 94.1% 에서 43.9% 로 크게 낮췄으나, 완전히 해결되지는 않아 향후 과제로 남겼습니다.
지연 비용: 중재 과정으로 인한 평균 지연 시간은 약 41ms(P95: 78ms) 로, 프라이버시 보호에 비해 수용 가능한 수준이었습니다.
5. 의의 및 결론 (Significance)
실용적 접근: 암호학적 보장이나 차분 프라이버시 같은 이론적 보장을 주장하기보다, 실제 배포 환경에서 인터페이스 계층 (Interface-layer) 에서 작동하는 실용적인 방어 메커니즘을 제시했습니다.
에이전트 보안 패러다임 전환: 프라이버시 보호가 단순히 입력 데이터를 가리는 것을 넘어, 에이전트의 내부 상태 (검색, 메모리, 도구) 를 거치는 전 과정을 통제해야 함을 강조했습니다.
정책 기반 유연성: '관대함 (Lenient)', '균형 (Balanced)', '엄격함 (Strict)' 등 다양한 정책 프로파일을 통해 조직의 위험 모델과 지연 시간 요구사항에 맞춰 프라이버시와 유용성의 균형을 조절할 수 있음을 보였습니다.
결론적으로, BodhiPromptShield 는 LLM/VLM 에이전트 시스템에서 민감 정보가 검색, 메모리, 도구 호출을 통해 확산되는 것을 효과적으로 차단하면서도, 에이전트의 작업 수행 능력을 유지하는 새로운 표준을 제시합니다. 이는 단순한 데이터 마스킹을 넘어, 에이전트 워크플로우 전체의 프라이버시 거버넌스를 위한 중요한 기술적 토대가 됩니다.