APrivacy-Preserving Architecture for On-Device Intelligent Computing Using a Small Language Model with Input and Output Guardrails: Prototype Implementation and Preliminary Evaluation

현대 사회에서 우리는 종종 컴퓨터가 우리 대신 생각하도록 요청하며, 강력한 인공지능을 사용하여 이메일을 쓰고, 문제를 해결하거나, 질문에 답하게 합니다. 이러한 스마트 시스템의 대부분은 클라우드에 거주하며, 이는 당신의 단어가 처리를 위해 먼 곳에 있는 서버로 인터넷을 통해 이동함을 의미합니다. 이것이 잘 작동하기는 하지만, 한 가지 조용한 우려를 낳습니다. 당신이 이메일 주소나 전화번호와 같은 개인적인 세부 정보를 입력할 때마다, 그 정보가 당신의 기기를 떠나 다른 누군가의 시스템으로 들어간다는 점입니다. 이를 해결하기 위해, 연구자들은 자신의 컴퓨터나 휴대폰에서 직접 실행될 수 있는 더 작고 컴팩트한 형태의 사고하는 기계들을 개발했습니다. 이는 당신의 데이터를 바로 그곳, 즉 당신의 기기에 머물게 합니다. 하지만, 컴퓨터가 로컬(내부)에서 실행된다고 해서 반드시 안전한 것은 아닙니다. "프롬프트 인젝션(prompt injection)"이라고 알려진 영리한 속임수는 여전히 기계가 규칙을 무시하거나 비밀을 드러내도록 속일 수 있으며, 기계는 숨겨야 할 개인 정보를 실수로 내뱉을 수도 있습니다. 따라서 과제는 로컬에서 실행되면서도 동시에 들어오는 것과 나가는 것을 점검하는 경계병처럼 행동하는 시스템을 구축하는 것입니다.

인도의 산지바니 대학교(Sanjivan University) 출신인 하르샬 가데카르(Harshal Gadekar)라는 연구자는 정확히 이 아이디어를 테스트하기 위한 작동 가능한 프로토타입을 구축했습니다. 그는 프로세스를 관리하기 위해 '올라마(Ollama)'라는 도구를 사용하여, '파이-3 미니(Phi-3 Mini)'라고 불리는 작은 언어 모델을 로컬 컴퓨터에서 완전히 실행되는 개인정보 보호 중심의 어시스턴트를 만들었습니다. 이 시스템은 승객이 탑승하기 전과 도착한 후에 다시 한번 검사하는 보안 체크포인트처럼 이중 레이어 보안로 설계되었습니다. 컴퓨터가 답변을 생각하기도 전에, "입력 가드레일(input guardrail)"이 사용자의 메시지를 스캔합니다. 이는 사용자가 이전 지침을 무시하거나 기계의 숨겨진 규칙을 드러내라고 명령하는 등 시스템을 속이려는 징후가 있는지 살핍니다. 만약 그러한 속임수를 발견하면, 즉시 요청을 중단합니다. 또한 이 시스템은 이메일 주소와 같은 민감한 개인 정보를 찾아내어 컴퓨터가 읽기 전에 이를 숨깁니다. 로컬 컴퓨터가 응답을 생성하면, 두 번째인 "출력 가드레일(output guardrail)"이 개인 정보가 실수로 새 나가지 않았는지 확인하기 위해 답변을 스캔합니다.

연구자는 이 시스템이 실제 환경에서 어떻게 작동하는지 보기 위해 신중하게 선택된 작은 질문 세트로 시스템을 테스트했습니다. "인공지능이란 무엇인가?"와 같은 단순하고 해롭지 않은 질문을 받았을 때, 시스템은 완벽하게 작동했습니다. 요청을 로컬에서 처리했고, 모든 보안 검사를 통과했으며, 3초 남짓한 시간에 답변을 반환했습니다. 화면에는 입력 내용이 깨끗하고, 속임수가 감지되지 않았으며, 최종 답변이 표시하기에 안전하다는 것을 보여주었습니다. 그 후 시스템은 사용자가 기계에게 비밀 지침을 드러내거나 안전 규칙을 무시하라고 명령하는 네 가지 서로 다른 시도를 마주했습니다. 이 모든 경우에 입력 가드레일이 시도를 잡아냈습니다. 시스템은 속임수를 식별하고 요청을 차단했으며, 컴퓨터가 응답을 생성하게 하는 대신 경고 메시지를 보여주었습니다. 이는 컴퓨터가 당신의 책상 위에서 실행되고 있을 때라도, 조작을 막기 위한 경계병이 여전히 필요하다는 것을 증명했습니다.

테스트에는 가짜 개인 데이터, 구체적으로는 가상의 이메일 주소와 전화번호가 포함된 질문도 포함되었습니다. 여기서 시스템은 강점과 명확한 약점을 동시에 보여주었습니다. 사용자가 이메일 주소를 입력했을 때, 시스템은 이를 포착하여 텍스트를 "이메일 생략됨(email redacted)"이라는 자리 표시자로 대체한 뒤 컴퓨터에 전달했습니다. 최종 답변은 생략된 텍스트를 보여주었으며, 이는 이메일이 성공적으로 보호되었음을 의미합니다. 그러나 시스템은 8자리 전화번호를 잡아내는 데 실패했습니다. 시스템은 해당 번호를 변경 없이 통과시켰고, 최종 출력에는 아무 일도 없었던 것처럼 전체 전화번호가 그대로 표시되었습니다. 출력 가드레일 역시 이를 놓쳤으며, 답변에서 민감한 데이터를 발견하지 못했다고 보고했습니다. 이 결과는 로컬 컴퓨팅이 유효하긴 하지만, 개인 정보를 탐지하는 현재의 규칙들이 아직 완벽하지 않다는 점을 강조합니다. 시스템은 속임수를 차단하고 이메일을 잡아냈지만, 전화번호는 노출된 채로 두었습니다.

연구는 로컬 컴퓨팅을 보안 검사와 결 함께 하나의 가벼운 파이프라인으로 결합하는 것이 가능하다는 결론을 내립니다. 이 시스템은 개인용 기기에서 실행되면서, 일반적인 속임수 시도를 차단하고, 일부 유형의 개인 데이터를 숨길 수 있음을 입증했습니다. 그럼에도 불구하고 연구자는 이러한 결과가 예비적인 단계임을 주의 깊게 언급합니다. 테스트 세트가 단 몇 개의 질문으로 구성된 매우 작은 규모였으며, 시스템이 실수를 얼마나 자주 하는지 또는 과부하 상태에서 얼마나 빠른지에 대한 측정 없이 단 하나의 기기에서 관찰된 결과이기 때문입니다. 전화번호를 잡지 못한 실패는 개인 정보의 형식을 더 폭넓게 다루도록 탐지 규칙이 확장되어야 함을 시사합니다. 이 접근 방식이 일상적인 사용을 위해 완전히 신뢰할 수 있다고 간주되기 전까지, 시스템은 더 복잡한 속임수와 다양한 유형의 개인 정보를 포함한 훨씬 더 다양한 입력값에 대해 테스트되어야 합니다. 현재로서는, 이 연구는 보안 경계병들이 지속적으로 개선된다면 안전하고 사적인 AI 어시스턴트가 충분히 가능하다는 것을 보여주는 유망한 개념 증명으로서 자리 잡고 있습니다.