GoldenRetriever: Non-Interactive Homomorphic Encrypted Retrieval for Privacy-Preserving RAG

당신이 비밀 파일이 가득한 거대한 도서관에서 미스터리를 풀려는 탐정이라고 상상해 보세요. 디지털 세계에서 이것은 현대의 AI 어시스턴트가 작동하는 방식과 유사합니다. 그들은 단순히 학교에서 배운 것에만 의존하는 것이 아니라, 질문에 정확하게 답하기 위해 거대한 데이터베이스에서 특정 정보를 "검색(retrieve)"하러 나갑니다. 이 과정을 검색 증강 생성(Retrieval-Augmented Generation, RAG)이라고 부릅니다. 하지만 문제가 하나 있습니다. 보통 올바른 파일을 찾기 위해 탐정은 사서에게 자신의 질문을 평문(plain text)으로 보여줘야 하며, 이때 사서는 그가 무엇을 찾고 있는지 정확히 알게 됩니다. 만약 질문이 비밀 의료 기록이나 개인 은행 계좌에 관한 것이라면, 이는 매우 위험하게 느껴집니다.

이를 해결하기 위해 과학자들은 "동형 암호(Homomorphic Encryption)"라는 "마법의 자물쇠"를 사용하는 방법을 시도해 왔습니다. 이것은 상자 안의 내용물을 보거나 열지 않고도 그 안의 내용물로 수학 연산을 할 수 있는 특수한 유리 상자와 같습니다. 당신은 사서에게 당신의 비밀 질문과 일치하는 파일을 찾아달라고 요청할 수 있고, 사서는 모든 것이 상자 안에 잠긴 상태에서도 일치를 찾기 위한 수학적 계산을 수행할 수 있습니다. 하지만 문제는, 기존의 방식은 백만 권의 책을 하나하나 읽으며 당신의 질문과 비교하여 분류하는 것과 같았다는 점입니다. 유리 상자 안에서 말이죠. 이는 너무 느리고 복잡해서 실제로 사용하는 것이 거의 불가능했습니다.

여기서 새로운 논문이 등장하여 "GoldenRetriever"라고 불리는 영리한 지름길을 제안합니다. 모든 문서를 순위 매겨 상위 10개를 찾는 대신(이는 느리고 힘든 작업입니다), 연구진은 더 간단한 규칙을 제안합니다: "그냥 충분히 괜찮은 문서를 가져와라." 그들은 특정 점수, 즉 "적절성 임계값(goodness threshold)"을 설정하고, 만약 어떤 문서의 유사도 점수가 이 선보다 높으면 선택합니다. 만약 이보다 낮으면 무시합니다. 이는 작업을 단순한 비교의 마라톤에서 빠른 선형 스캔으로 변화시킵니다. 이 논문은 이 방법이 느리고 복잡한 기존 방식만큼 잘 작동하면서도 훨씬 더 빠르다는 것을 입증하며, 프라이빗하게 암호화된 AI 검색을 훨씬 더 현실적인 가능성으로 만들어 줍니다.

문제점: 느리고 무거운 유리 상자

모든 책이 무겁고 불투명한 유리 상자 안에 잠겨 있는 거대한 도서관을 상상해 보세요. 당신은 당신이 쓴 비밀 메모와 유사한 책을 찾고 싶어 합니다. 과거에는 이를 안전하게 수행하기 위해, 사서는 모든 책을 하나씩 가져와서 당신의 메모와 비교하고, 모든 책이 유리 상자 안에 들어있는 상태에서 "가장 유사한 것"부터 "가장 덜 유사한 것"까지 순위를 매겨야 했습니다.

이것이 논문에서 말하는 "동형 상위-k 랭킹(homomorphic top-k ranking)"입니다. 이는 마치 두꺼운 오븐 장갑을 끼고 카드 덱을 분류하려는 것과 같아서 손가락이 매우 서툴고 둔하게 느껴집니다. 논문은 이 과정이 믿을 수 없을 정도로 느리다고 설명합니다. 테스트 결과, 적은 수의 문서만 있어도 단 한 번의 쿼리에 10,000초(2시간 반 이상) 넘게 걸렸습니다. 이는 빠른 답변을 원하는 누구에게도 너무 느린 시간입니다. 게다가 기존 방식은 사용자와 사서가 여러 번 대화를 주고받아야 하는 경우가 많았는데, 이는 마치 "뜨겁다, 차갑다" 게임을 하는 것과 같아서 사용자가 무엇을 찾고 있는지에 대한 단서를 유출하게 됩니다.

해결책: "충분히 괜찮은" 필터

GoldenRetriever라는 이름의 시스템을 개발한 저자들은 모든 책의 순위를 매기는 것을 포기하기로 했습니다. 대신 그들은 **임계값 기반 선택(threshold-based selection)**을 제안했습니다.

이것은 클럽의 문지기를 생각하면 쉽습니다. 모든 사람을 줄 세워 누가 "가장" 멋진지 결정하는 대신, 문지기는 간단한 규칙을 가집니다: "멋짐 점수가 0.6 이상이면 들어올 수 있다." GoldenRetriever도 똑같이 작동합니다. 각 문서가 질문과 얼마나 유사한지 계산하고, 점수가 미리 설정된 숫자보다 높으면 해당 문서를 "선택됨"으로 표시합니다. 점수가 낮으면 "무시됨"으로 표시합니다.

이 간단한 변화는 게임 체인저입니다. 시스템이 최상의 것들을 찾기 위해 모든 문서를 서로 비교할 필요가 없기 때문에, 무거운 이차식(quadratic) 수학 연산을 할 필요가 없습니다. 대신, 각 문서를 단 한 번씩만 훑어보면 됩니다. 논문은 이 방식이 이차식의 복잡한 늪에서 벗어나 선형적인 경로(문서가 늘어나도 일정하게 증가하는 방식)로 변화함을 보여줍니다.

마법의 기술: 마스크의 극성화(Polarizing the Mask)

이 접근 방식에는 한 가지 까다로운 문제가 있었습니다. 수학 연산이 "유리 상자"(동형 암호) 내부에서 일어나기 때문에, 결과값이 완벽한 숫자가 아니라 모호한 근사치로 나타난다는 점입니다. 선택되어야 할 문서가 "1"이 아닌 "0.98"로 나올 수 있고, 무시되어야 할 문서가 "0"이 아닌 "0.02"로 나올 수 있습니다.

만약 시스템이 이 모호한 숫자들을 사용하여 실제 텍스트를 가져오려 한다면, 글자가 깨진 엉망진창인 결과가 나올 것입니다. 이를 해결하기 위해 연구진은 "정밀도 안정적 마스크 극성화(precision-stable mask polarization)" 방법을 발명했습니다.

천칭 저울이 약간 흔들린다고 상상해 보세요. 한쪽에 무거운 돌을 놓으면 저울이 약간 기울지만 완전히 기울지는 않습니다. 극성화 방법은 아주 조금만 무거워도 저울을 완전히 "돌 쪽"으로 쏠리게 만들고, 아주 조금만 가벼워도 완전히 "빈 쪽"으로 쏠리게 만드는 강력한 자석과 같습니다. 수학적으로, 그들은 이 모호한 숫자들을 완벽한 1과 0으로 강제하기 위해 특별한 7차 다항 함수를 사용했습니다. 이를 통해 최종적으로 텍스트를 잠금 해제했을 때, 오타나 누락된 글자 없이 정확한 단어가 나오도록 보장합니다.

발견한 점: 희생 없는 속도

팀은 MS MARCO 및 Natural Questions와 같은 표준 검색 벤치마크 데이터셋을 사용하여 새로운 시스템을 테스트했습니다. 그들은 이 "임계값" 방식을 기존의 "랭킹" 방식 및 표준 "평문(unencrypted)" 버전과 비교했습니다.

결과는 명확했습니다:

• 정확도: GoldenRetriever는 암호화되지 않은 버전만큼 우수했습니다. 올바른 문서를 찾아냈고 텍스트를 완벽하게 재구성했습니다.
• 속도: 여기서 마법이 일어났습니다. 기존의 암호화된 랭킹 방식과 비교했을 때, 새로운 방식은 압도적으로 빨랐습니다. 한 테스트에서 기존 방식은 16,579.9초(약 4.6시간)가 걸린 반면, 새로운 방식은 단 1,051.8초(약 17.5분)밖에 걸리지 않았습니다.
• 확장성: 문서 수를 100개에서 1,000개로 늘려도 시스템은 안정적이었습니다. 소요 시간이 예측 가능한 방식으로 증가하여, 시스템이 더 큰 라이브러리도 문제없이 처리할 수 있음을 증명했습니다.

또한 논문은 "임계값" 설정이 조절 가능한 다이얼과 같다고 언급했습니다. 임계값을 낮게 설정하면 더 많은 문서를 얻을 수 있지만(높은 재현율), 너무 높게 설정하면 관련 정보를 놓칠 수도 있습니다. 그러나 이러한 트레이드오프에도 불구하고, 시스템은 사용자와 서버가 여러 번 대화할 필요가 없고 완료하는 데 몇 시간이 걸리지 않는, 보안이 유지되는 프라이빗 검색이 가능하다는 것을 입증했습니다.

결론

GoldenRetriver 논문은 프라이빗한 AI를 구현하기 위해 "어둠 속에서 모든 것의 순위를 완벽하게 매기는" 불가능한 문제를 해결할 필요가 없다는 것을 시사합니다. 대신, 단순히 "이것이 충분히 괜찮은가?"라고 묻고, 모호한 결과를 정돈하는 영리한 수학적 기술을 사용함으로써, 우리는 빠르고 상호작용이 필요 없는 보안 검색 시스템을 구축할 수 있습니다. 이는 느리고 투박한 과정을 효율적이고 유연한 파이프라인으로 바꾸어 놓으며, 우리의 프라이버시를 존중하면서도 속도를 늦추지 않는 AI 어시스턴트에 한 걸음 더 다가가게 합니다.