Privacy-Preserving RAG by Concealing Sensitive Information from External LLMs
이 논문은 민감한 개체를 식별하고 이를 사용자 질의와 검색된 문서 모두에서 별칭으로 대체하는 경량 모델을 활용하여, 기밀 정보를 노출하지 않고도 검색 증강 생성(RAG) 과정에서 외부 거대 언어 모델(LLM)을 안전하게 사용할 수 있도록 하는 프라이버시 보호 프레임워크인 SEAG를 소개한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
당신이 거대하고 마법 같은 도서관에 있다고 상상해 보세요. 그곳의 책들은 대규모 언어 모델(LLM)이라고 불리는 매우 똑똑한 로봇들이 쓰고 있습니다. 이 로봇들은 질문에 답하는 데 놀라운 능력을 갖추고 있지만, 스스로 세상의 모든 것을 알지는 못합니다. 그래서 이들을 돕기 위해 우리는 RAG(Retrieval-Augmented Generation, 검색 증강 생성)라는 시스템을 사용합니다. RAG는 마치 연구 조수와 같습니다. 당신이 질문을 하면, 조수는 도서관 선반에서 가장 관련 있는 페이지들을 빠르게 찾아내어 로봇에게 건네줍니다. 그러면 로봇은 그 페이지들을 읽고 당신을 위한 완벽한 답을 작성합니다.
하지만 여기에 까다로운 문제가 있습니다. 가끔 그 도서관의 페이지들에는 당신의 의료 기록, 은행 계좌 번호, 또는 회사의 비밀 레시피와 같은 초특급 비밀 정보가 들어있을 수 있습니다. 보통 우리는 당신이 허락되지 않은 비밀을 실수로 보게 될까 봐 걱정합니다. 하지만 만약 문제가 '로봇' 자체라면 어떨까요? 만약 당신이 그 비밀 페이지들을 다른 회사의 클라우드(예: 제3자 AI 서비스)에 있는 로봇에게 보낸다면, 그 로봇은 모든 것을 보게 됩니다. 그 로봇은 당신의 비밀을 실수로 유출하거나 당신이 의도하지 않은 방식으로 사용할 수도 있습니다. 이 논문이 다루는 핵심 질문은 이것입니다: 우리의 개인적인 비밀을 절대 노출하지 않으면서도, 어떻게 이 강력한 외부 로봇들을 사용하여 훌륭한 답변을 얻을 수 있을까?
비밀 요원 프레임워크: SEAG
이 논문의 저자들인 사우디아라비아 팀은 SEAG(Sensitive Entity Alias Generator, 민감 엔티티 별칭 생성기)라고 불리는 영리한 해결책을 고안해 냈습니다. 당신이 첩보 임무를 수행 중이라고 상상해 보세요. 당신은 도움을 받기 위해 멀리 떨어진 본부(외부 AI)로 보고서를 보내야 하지만, 스파이들의 이름, 기지의 위치, 혹은 무기의 암호명을 본부가 알게 해서는 안 됩니다.
일반적인 RAG 시스템에서는 그냥 보고서를 그대로 본부로 보내고, 본부는 모든 단어를 읽게 됩니다. 하지만 SEAG를 사용하면, 보고서를 보내기 직전에 로컬에서 작동하는 작고 빠르며 아주 똑똑한 번역기를 삽입합니다. 이 번역기는 당신의 컴퓨터 안에 안전하게 거주하는 작은 AI 모델입니다.
마법은 다음과 같이 일어납니다:
- 스캔(The Scan): 당신의 로컬 번역기가 당신의 질문과 당신이 찾아낸 비밀 문서들을 읽습니다. 그리고 이름, 날짜, 장소, 숫자 등 보호가 필요한 "민감한 엔티티(sensitive entities)"를 찾아냅니다.
- 교체(The Swap): 번역기는 비밀 코드북(엔티티 교체 표)을 만듭니다. "Dr. Smith"를 "Dr. Jones"로, "New York"을 "Chicago"로, "$5 million"을 "$10 million"으로 바꿉니다. 결정적으로, 이 번역기는 이 교체가 논리적으로 말이 되도록 만듭니다. 예를 들어 국가 이름을 바꾼다면, 이야기의 문법적, 논리적 흐름이 유지되도록 해당 국가의 수도도 함께 바꿉니다.
- 전송(The Send): 번로한 버전의 데이터를 외부의 강력한 로봇에게 보냅니다. 외부 로봇은 가짜 이름과 숫자를 바탕으로 자신의 임무를 수행하며 질문에 답합니다. 그 로봇은 자신이 변장된 데이터를 다루고 있다는 사실을 전혀 모릅니다.
- 공개(The Reveal): 외부 로봇이 답변을 보내오면, 당신의 로컬 번역기가 다시 코드북을 가져옵니다. 그리고 "Dr. Jones"를 다시 "Dr. Smith"로, "$10 million"을 다시 "$5 million"으로 되돌려 놓습니다.
- 결과(The Result): 당신은 모든 실제 비밀을 온전히 간직한 채로 완벽하고 정확한 답변을 얻게 됩니다. 그동안 외부 로봇은 아무것도 보지 못했습니다.
연구 결과
연구팀은 두 가지 특별한 연습용 질문 및 문서 세트를 구축하여 이 아이디어를 테스트했습니다. 한 세트는 로컬 번역기가 이름을 올바르게 바꾸는 법을 배우는 데 사용되었고, 다른 한 세트는 전체 시스템이 실제로 작동하는지 확인하는 데 사용되었습니다. 이 과정에서 세 가지 서로 다른 작은 번역기 모델인 Qwen-3, LLa-MA-3.2, Phi-4를 사용했습니다. 그런 다음 이 변장된 질문들을 세계에서 가장 강력한 두 외부 로봇인 GPT-5와 Claude-4 sonnet에게 보냈습니다.
결과는 꽤 유망했습니다. 시스템은 대부분의 경우 민감한 정보를 성공적으로 숨겼습니다. 시스템이 비밀을 얼마나 잘 지켰는지 측정했을 때(프라이버시 점수), LLa-MA-3.2 모델이 주인공이 되어 Claude-4 생성기와 결합했을 때 약 **89.67%**의 비밀을 숨겨내는 성과를 보였습니다.
하지만 비밀을 숨기는 것만으로는 충분하지 않습니다. 답변 또한 당신에게 올바른 내용이어야 합니다. 연구팀은 이를 "사용자(User)" 점수로 측정했습니다. 그들은 LLa-MA-3.2를 번역기로 사용하고 Claude-4 sonnet을 답변 봇으로 사용하는 조합이 가장 좋은 결과를 냈으며, 점수는 **83.67%**였습니다. 이는 10번 중 8번 이상의 경우, 외부 로봇이 가짜 데이터를 가지고 작업했음에도 불구하고 사용자가 정확한 답변을 얻었음을 의미합니다.
흥미롭게도, 문서 내의 모든 민감한 단어(단순히 답변에 필요한 것뿐만 아니라 문서 전체의 단어)를 얼마나 잘 숨겼는지 살펴보았을 때, Qwen-3와 LLa-MA-3.2는 각각 **77.83%**와 **76.73%**의 총 정확도를 기록하며 매우 근소한 차이를 보였습니다. Phi-4 모델은 이 포괄적인 테스트에서 약 **74.91%**를 기록하며 다소 낮은 효율을 보였습니다.
한계와 미래
저자들은 이것이 아직 완벽하게 해결된 문제는 아니라는 점을 주의 깊게 언급했습니다. 그들의 테스트는 약 300단어 길이의 문서와 각 문서당 약 15개의 민감한 항목을 대상으로 진행되었습니다. 만약 문서가 훨씬 길어지거나 수백 개의 비밀이 포함된다면, 시스템이 이야기의 일관성을 유지하고 비밀을 숨기는 데 어려움을 겪을 수 있음을 인정했습니다.
하지만 이 논문은 매우 흥-미로운 경로를 제시합니다. 우리의 데이터를 안전하게 지키기 위해 비싸고 거대한 컴퓨터를 구축할 필요는 없다는 것입니다. 대신, 우리는 작은 저렴한 로컬 모델을 "프라이버시 필터"로 사용하여, 왕국의 열쇠를 넘겨주지 않고도 거대한 외부 AI 로봇들의 초능력을 누릴 수 있습니다. 저자들은 향후 연구에서 시스템이 압박 속에서도 잘 버틸 수 있는지 확인하기 위해 더 길고 복잡한 문서를 대상으로 테스트가 필요할 것이라고 제언했습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.