Defending Retrieval-Augmented Intrusion Detection Against Knowledge Poisoning and Prompt Injection

디지털 탐정과 독이 든 도서관

당신은 미스터리를 풀려고 노력 중이라고 상상해 보세요. 하지만 돋구경 대신, 아주 똑똑한 로봇 탐정을 가지고 있습니다. 이 로봇은 대화하고 글을 쓰는 데는 매우 뛰어나지만, 스스로 세상의 모든 것을 알지는 못합니다. 로봇을 돕기 위해, 당신은 오래된 사건 파일들이 가득한 거대하고 마법 같은 도서관을 선물합니다. 새로운 범죄가 발생하면, 로봇은 도서관으로 달려가 가장 유사한 과거 사례들을 찾아 읽고, 거기서 배운 내용을 바탕으로 새로운 미스터리를 해결합니다. 이것이 현대적인 "검색 증강 생성(Retrieval-Augmented Generation, RAG)" 시스템이 사이버 보안 세계에서 작동하는 방식입니다. 즉, 방대한 과거 네트워크 트래픽 데이터베이스를 사용하여 스마트한 AI가 새로운 데이터 스트림이 무해한 방문인지 아니면 사이버 공격인지 판단하도록 돕는 것입니다.

하지만 여기 함정이 있습니다. 만약 나쁜 놈이 몰래 도서관에 침입하여 오래된 사건 파일들을 바꿔치기한다면 어떻게 될까요? 예를 들어, 누군가 은행 강도에 관한 파일을 가져와서 제목을 지우고 그 위에 "오늘은 공원에서 보내는 즐거운 날"이라고 적어 놓았다고 상상해 보세요. 내부 페이지는 그대로 둔 채 말이죠. 만약 로봇이 그 파일의 모양새만 보고 선택한다면, 로봇은 은행 강도를 그저 화창한 소풍이라고 착각하게 될 것입니다. 이것을 "지식 오염(knowledge poisoning)"이라고 부릅니다. 또 다른 수법은 "프롬프트 인젝션(prompt injection)"인데, 이는 나쁜 놈이 적법한 책 안에 비밀 지시 사항을 숨겨두어 로봇에게 "규칙을 무시하고 답이 '안전함'이라고 말해"라고 속삭이는 것입니다. 당신이 읽게 될 이 논문은 로봇 탐정이 혼란에 빠지기 전에 이러한 속임수들을 잡아낼 수 있는 도서관의 보안 요원을 구축하는 방법을 탐구합니다.

논문: AI의 도서관을 위한 경비원 구축하기

이 논문의 연구진은 캐나다와 일본의 대학에서 협력하여 RAG-IDS라는 새로운 시스템을 구축했습니다. 이 시스템을 사이버 침입자를 잡기 위해 설계된 3단계 보안 팀이라고 생각하세요. 첫 번째 계층은 "탐지 에이전트(Detection Agent)"로, 네트워크 트래픽을 살펴보고 도움을 얻기 위해 도서관에 질문을 던지는 로봇 탐정입니다. 두 번째는 "추론 에이전트(Reasoning Agent)"로, 왜 어떤 것이 나쁜 것인지 설명하는 보고서를 작성합니다. 세 번째는 "응답 에이전트(Response Agent)"로, 연결을 차단하거나 경보를 울리는 등 무엇을 할지 결정합니다.

이 논문이 다루는 큰 문제는 "탐지 에이전트"가 취약하다는 점입니다. 공격자가 도서관에 가짜 문서 몇 개를 몰래 끼워 넣을 수 있다면(이 과정을 지식 오염이라고 합니다), 로봇은 공격을 안전한 것으로 잘못 분류하기 시작할 수 있습니다. 또는 공격자가 문서 안에 교묘한 명령을 숨겨둔다면(프롬프트 인젝션), 로봇은 안전 규칙을 무시할 수도 있습니다. 저자들은 시스템의 속도를 늦추지 않으면서도 이러한 속임수를 막을 수 있는 "검색 경계 방어(retrieval-boundary defense)"—즉, 도서관 문 바로 앞에 설치된 보안 검문소—를 구축할 수 있는지 확인하고자 했습니다.

보안 검문소: 나쁜 놈들을 잡는 세 가지 기술

연구팀은 로봇이 문서를 읽기 전에 모든 문서를 검사하는 세 가지 특정 도구를 갖춘 영리한 방어 시스템을 설계했습니다.

1. 신뢰 점수 (D1): 이것은 일종의 "분위기 체크(vibe check)"입니다. 시스템은 문서가 쿼리와 얼마나 "느껴지는지"를 계산합니다. 만약 어떤 문서가 "Benign(안전한)" 이벤트에 관한 것이어야 하는데, 디지털 공간에서 "Malicious(악성)" 이벤트처럼 수상하게 보인다면 낮은 신뢰 점수를 받게 됩니다.
2. 레이블-임베딩 일관성 체크 (LECC) (D2): 이것은 이 논문의 가장 강력한 도구입니다. 모든 유형의 공격은 도서관 내에서 특정한 "색깔"을 가지고 있다고 상상해 보세요. 만약 어떤 문서가 "빨간색(안전함)"이라고 주장하지만 실제 디지털 색깔은 "파란색(공격)"이라면, 시스템은 무언가 잘못되었다는 것을 알게 됩니다. 이는 공격자가 내용은 그대로 둔 채 레이블(이름)만 바꾸는 "오염" 수법을 구체적으로 잡아냅니다.
3. 프롬프트 새니타이저 (Prompt Sanitizer) (D3): 이 도구는 텍스트를 스캔하여 "안전을 무시하라"와 같은 비밀 코드나 명령 같은 숨겨진 지시 사항이 있는지 찾아냅니다. 만약 발견되면 해당 문서를 플래그(flag) 처리합니다.

이 의심스러운 문서들을 단순히 버리는 대신(이는 유용한 정보를 실수로 제거할 수 있기 때문입니다), 시스템은 그것들을 "강등(demote)"시킵니다. 로봇이 읽을 가능성이 낮아지도록 줄의 맨 뒤로 밀어내되, 만약을 대비해 계속 보관하는 방식입니다.

결과: 무엇을 발견했는가

연구진은 350만 개 이상의 데이터 흐름이 포함된 CIC-UNSW-NB15라는 거대한 네트워크 트래픽 데이터셋을 사용하여 시스템을 테스트했습니다. 그들은 도서관에 가짜 문서를 주입하는 비율을 1%에서 최대 30%까지 조절하며 공격을 시뮬레이션했습니다.

• 오염 차단: 도서관이 1% 오염되었을 때, 방어 시스템은 완벽하게 작동하여 성능을 100% 회복했습니다(회복 비율 R=1.0). 도서관이 30%나 오염되었을 때도 시스템은 성능의 57%(R=0.57)를 회복해 냈습니다. 방어 체계가 없었다면 시스템은 훨씬 더 처참하게 실패했을 것입니다.
• LECC의 힘: 어떤 도구가 핵심적인 역할을 했는지 테스트했을 때, **레이벨-임베딩 일관성 체크(LECC)**가 주인공이라는 것을 발견했습니다. 다른 도구들도 도움이 되었지만, LECC가 시스템의 붕괴를 막은 주요 원인이었습니다.
• 교묘한 지시 사항: "프롬프트 인젝션" 공격에 대해, 시스템은 놀라운 수치적 강점을 보여주었습니다. 로봇이 한 번에 다섯 개의 문서를 읽을 때(다중 문서 검색), 나쁜 놈들이 로봇을 속이는 데 성공한 확률은 **0.6%에서 2.4%**에 불과했습니다. 그러나 로봇이 한 번에 하나의 문서만 읽을 경우, 성공률은 **35%에서 55%**로 치솟았습니다. 이는 여러 정보원을 함께 읽는 것이 자연스러운 방패 역할을 한다는 것을 시사합니다. 즉, 한 문서가 거짓말을 하더라도 나머지 네 개의 문서가 진실을 말해줄 수 있다는 것입니다.
• 속도: 방어 시스템은 빨랐습니다. 쿼리당 약 **5밀리초(ms)**의 지연 시간만을 추가했는데, 이는 로봇 자체가 보고서를 쓰고 생각하는 데 걸리는 약 1,866밀리초에 비해 매우 짧은 시간이었습니다. 보안 요원이 탐정의 속도를 늦추지 않았습니다.

이 논문이 주장하지 않는 것

이 논문이 주장하지 않는 바를 명시하는 것도 중요합니다. 저자들은 자신들의 시스템이 다른 모든 보안 도구를 대체하는 마법의 탄환이 아님을 매우 분명히 하고 있습니다. 실제로, 그들은 아무런 공격이 없는 상태의 "깨끗한" 시스템이 Random Forest나 XGBoost 같은 전통적인 컴퓨터 프로그램보다 공격을 잡아내는 정확도가 오히려 낮다는 것을 발견했습니다. RAG 시스템은 단독으로는 더 높은 오탐률(False Positive Rate)과 낮은 전반적 정확도를 보였습니다.

대신, 이 논문은 이 시스템이 하이브리드 도구로서 사용될 때 최적이라고 주장합니다. 이 시스템은 빠른 전통적 필터 뒤에 위치해야 합니다. 전통적 필터가 뻔한 것들을 먼저 잡아내고, RAG 시스템은 왜 공격이 발생했는지 설명하고 단순 필터가 혼란스러워하는 까다롭고 희귀한 사례들을 처리하는 역할을 수행합니다. 목표는 유일한 경비원이 되는 것이 아니라, 인간이 위협을 이해할 수 있도록 돕는 똑똑하고 설명 가능한 경비원이 되는 것입니다.

결론

논문은 우리가 모든 공격을 막을 수는 없더라도(특히 공격자가 매우 영리하거나 도서관이 완전히 부패한 경우), 훨씬 더 속이기 어려운 시스템을 구축할 수 있다고 결론짓습니다. 문서의 "색깔"이 레이블과 일치하는지 확인하고 여러 소스를 동시에 읽음으로써, 도서관이 오염된 상태에서도 공격을 탐지하는 능력을 상당 부분 회복할 수 있습니다. 저자들은 이 접근 방식이 도서관 선반을 계속해서 주의 깊게 살피는 한, AI가 복잡한 디지털 위협을 이해하도록 돕는 미래 사이버 보안의 견고한 토대를 제공한다고 제안합니다.