AudAgent: Automated Auditing of Privacy Policy Compliance in AI Agents

이 논문은 AI 에이전트의 런타임 데이터 수집 및 처리 행위가 개인정보 보호 정책과 일치하는지 실시간으로 감시하고 위반 사항을 시각화하여 사용자에게 투명성을 제공하며, 민감한 정보의 오용을 방지하기 위해 에이전트의 원래 행동을 차단하는 자동화된 감사 도구인 AudAgent 를 제안하고 그 유효성을 입증합니다.

핵심

🕵️‍♂️ '오디에이전트 (AudAgent)': 당신의 AI 비서가 지켜야 할 약속을 감시하는 '디지털 보안관'

이 논문은 **AI 에이전트 (AI 비서)**가 사용자의 개인정보를 어떻게 다루는지 실시간으로 감시하고, 그 회사가 약속한 '개인정보 보호 정책'을 지키는지 자동으로 확인해주는 새로운 도구인 **'오디에이전트 (AudAgent)'**를 소개합니다.

마치 AI 비서가 당신의 집을 방문할 때, 그가 가져간 물건과 한 행동을 실시간으로 기록하고, 집주인이 미리 정한 '규칙'에 어긋나지 않았는지 체크하는 보안관과 같습니다.

---

🏠 왜 이 도구가 필요할까요? (배경)

요즘 AI 비서 (챗봇, 자동화 도구 등) 는 당신의 이메일, 주소, 전화번호 같은 민감한 정보를 스스로 수집하고 처리합니다.

• 문제점: AI 회사는 "우리는 당신의 정보를 이렇게만 쓸게요"라고 개인정보 보호 정책을 작성해놓지만, 실제로 AI 가 작동할 때 그 약속을 지키는지 사용자는 알 수 없습니다.
• 비유: 식당에 갔을 때 메뉴판에 "신선한 재료만 사용합니다"라고 써있지만, 주방에서 실제로 어떤 재료를 쓰는지, 위생 상태를 확인할 수 없는 것과 비슷합니다.

🛠️ 오디에이전트는 어떻게 작동할까요? (4 단계 과정)

이 도구는 AI 가 일을 하는 동안 4 가지 단계를 거쳐 실시간으로 감시합니다.

1. 📜 약속을 '기계 언어'로 번역하기 (정책 공식화)

• 상황: 개인정보 보호 정책은 사람이 읽는 긴 글 (자연어) 로 되어 있어 컴퓨터가 이해하기 어렵습니다.
• 해결: 오디에이전트는 여러 개의 AI (LLM) 를 동시에 불러서 이 긴 글을 분석하게 합니다. 마치 여러 명의 전문가가 같은 문서를 읽고 합의점을 찾아내어, 컴퓨터가 이해할 수 있는 '규칙 목록'으로 정리하는 것과 같습니다.
• 효과: 한 명의 AI 가 실수할 수 있지만, 여러 명이 투표 (Voting) 를 하면 훨씬 정확한 규칙을 만들 수 있습니다.

2. 🔍 실시간으로 '민감한 물건' 찾기 (데이터 주석 달기)

• 상황: AI 가 이메일을 보내거나 파일을 열 때, 그 안에 '주민등록번호'나 '이메일 주소' 같은 민감한 정보가 들어있는지 모릅니다.
• 해결: 오디에이전트는 AI 가 주고받는 모든 데이터를 실시간으로 훑어보며, 민감한 정보가 발견되면 "이건 개인정보야!"라고 스티커를 붙여줍니다. (마이크로소프트의 '프레시디오'라는 도구를 활용합니다.)
• 비유: 공항 보안 검색대에서 X-ray 를 쏘아 가방 속의 위험물질을 찾아내고, "이건 위험물입니다"라고 표시하는 것과 같습니다.

3. ⚖️ 규칙 위반 여부 확인하기 (준수 감사)

• 상황: AI 가 "이메일을 30 일 동안 보관한다"고 약속했는데, 실제로는 1 년 동안 보관하거나, "제 3 자에게 주지 않는다"고 했는데 광고 회사에 보낸다면 어떨까요?
• 해결: 오디에이전트는 1 단계에서 만든 '규칙 목록'과 2 단계에서 붙인 '스티커'를 비교합니다.
  • 온톨로지 그래프: "이메일"이라는 구체적인 것이 "연락처"라는 큰 범주에 속한다는 것을 이해하게 해줍니다.
  • 자동화 (Automata): 마치 교통 신호등처럼, 규칙을 지키면 초록불 (통과), 위반하면 빨간불 (정지) 을 켭니다.
• 결과: AI 가 약속을 어기면 즉시 경고합니다.

4. 📺 사용자에게 보여주기 (시각화)

• 상황: 복잡한 기술적 로그를 사용자가 이해하기 어렵습니다.
• 해결: 웹 브라우저에서 AI 가 어떤 데이터를 어디로 보냈는지, 어디에서 문제가 발생했는지 직관적인 그림과 타임라인으로 보여줍니다.
• 비유: AI 의 행동을 CCTV 로 녹화해서, "이때 이 이메일을 광고 회사에 보냈습니다. 하지만 우리 규칙에는 금지되어 있습니다!"라고 빨간색으로 표시해 주는 것입니다.

---

🚨 이 도구가 발견한 놀라운 사실들 (실험 결과)

연구팀은 오디에이전트를 주요 AI 에이전트 (Claude, Gemini, DeepSeek 등) 에 적용해 보았습니다.

1. 약속과 현실의 괴리: 많은 AI 회사의 정책에는 '주민등록번호 (SSN)' 같은 초민감 정보를 보호한다는 내용이 명시적으로 빠져있었습니다.
2. 위험한 행동: AI 는 사용자가 "주민등록번호를 검색해줘"라고 하면, 거부하지 않고 실제로 제 3 자 도구 (검색 엔진 등) 에 그 번호를 보내는 경우가 많았습니다.
3. 오디에이전트의 활약: 오디에이전트가 설치되면, AI 가 주민등록번호를 보내려고 시도하는 순간 자동으로 막아냅니다. AI 가 원래 하려던 행동 (약속 위반) 을 무시하고 사용자의 안전을 우선시하는 것입니다.

---

💡 요약: 오디에이전트가 가져오는 변화

• 투명성: "내 데이터가 어디로 갔는지"를 AI 가 작동하는 동안 실시간으로 볼 수 있습니다.
• 통제권: 사용자가 "이 정보는 절대 보내지 마"라고 설정하면, AI 가 실수로 보내려 해도 오디에이전트가 막아줍니다.
• 신뢰: AI 플랫폼이 약속한 대로 데이터를 다루는지 검증할 수 있어, AI 를 더 안심하고 쓸 수 있게 됩니다.

결론적으로, 오디에이전트는 AI 비서가 당신의 개인정보를 함부로 다루지 못하게 막아주는 '디지털 경비원'이자 '감시자' 역할을 하여, 더 안전하고 신뢰할 수 있는 AI 시대를 만드는 데 기여합니다.

기술 요약

이 논문은 AudAgent라는 도구를 제안하며, 이는 AI 에이전트의 런타임 데이터 관행이 명시된 개인정보 보호 정책 (Privacy Policy) 을 준수하는지 실시간으로 자동 감사 (Auditing) 하는 시스템입니다. 주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 개인정보 유출 위험: AI 에이전트 (LLM 기반) 는 사용자의 민감한 로컬 데이터를 명시적인 동의 없이 수집하거나 제 3 자에게 공개할 수 있어 심각한 프라이버시 우려를 야기합니다.
• 투명성 및 책임성 부재: 플랫폼의 개인정보 보호 정책에는 데이터 처리 방식이 명시되어 있지만, 실제 런타임 동작이 해당 정책을 준수하는지 사용자에게는 불투명합니다.
• 기존 기술의 한계: 기존 보안 도구는 주로 악성 프롬프트나 취약점 탐지에 집중하거나, 모바일 앱/웹 서비스 중심의 사후 분석에 그쳤습니다. AI 에이전트의 동적인 데이터 흐름을 실시간으로 모니터링하고 정책 준수 여부를 검증하는 도구는 존재하지 않았습니다.

2. 방법론 (Methodology)

AudAgent 는 AI 에이전트의 실행과 병행하여 실시간으로 작동하는 4 가지 핵심 구성 요소로 이루어져 있습니다.

(1) 정책 형식화 (Policy Formalization)

• 자연어에서 형식 모델로 변환: 비정형적인 자연어 개인정보 보호 정책을 기계가 검증 가능한 형식 모델 (데이터 유형, 수집 조건, 처리 목적, 공개 조건, 보관 기간을 포함하는 5 요소 튜플) 로 변환합니다.
• 크로스-LLM 투표 (Cross-LLM Voting): 단일 LLM 의 편향이나 오류를 줄이기 위해 여러 개의 LLM 을 동시에 사용하여 정책을 해석하게 한 후, 의미적 동등성 (Semantic Equivalence) 을 확인하고 다수결 (Voting) 을 통해 최종 모델을 도출합니다. 이를 통해 추출 결과의 정확도와 신뢰도를 높입니다.

(2) 런타임 주석 달기 (Runtime Annotation)

• 데이터 감지: Microsoft 의 오픈소스 도구인 Presidio를 기반으로 한 경량 분석기를 사용하여 에이전트의 입출력 데이터에서 민감한 정보 (PII) 를 실시간으로 탐지합니다.
• 맥락 기반 주석: 탐지된 데이터에 대해 형식화된 정책 모델을 기반으로 다음 5 가지 메타데이터를 자동으로 주석합니다.
  1. 수집 조건: 직접 수집 (Direct) 또는 간접 수집 (Indirect).
  2. 처리 관련성: 작업 수행에 필요한지 (Relevant) 아니면 불필요한지 (Irrelevant).
  3. 공개 조건: 어떤 제 3 자 (도구/서비스) 에게 전달되었는지.
  4. 보관 기간: 데이터가 수집된 시점부터 현재까지의 경과 시간.
  5. 데이터 유형: 감지된 민감 데이터의 종류.

(3) 준수 감사 (Compliance Auditing)

• 온톨로지 그래프 (Ontology Graph): 정책 문서의 추상적인 용어 (예: "연락처 정보") 와 런타임에서 감지된 구체적인 데이터 (예: "이메일 주소") 간의粒度 (Granularity) 불일치를 해결하기 위해 계층적 관계를 매핑합니다.
• 오토마타 기반 검사 (Automata-based Checking): 형식화된 정책을 유한 상태 기계 (Finite State Machine) 로 컴파일합니다. 런타임 주석이 들어올 때마다 상태 전이를 수행하여 정책 조건 (수집, 목적, 공개, 보관) 을 실시간으로 검증합니다. 조건을 위반하면 즉시 비승인 상태로 전환되어 위반을 감지합니다.

(4) 시각화 (Visualization)

• HTTP 분석 및 WebSocket: 에이전트와 LLM, 제 3 자 도구 간의 HTTP 트래픽을 분석하여 제어 흐름을 재구성하고, WebSocket 을 통해 웹 브라우저 기반 대시보드에 실시간으로 전송합니다.
• 사용자 인터페이스: 데이터 흐름 다이어그램, 실시간 위반 강조 (빨간색), 타임라인 등을 제공하여 사용자가 에이전트의 동작을 직관적으로 이해하고 개입할 수 있게 합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 자동화된 AI 에이전트 감사 도구: AI 에이전트의 데이터 관행을 개인정보 보호 정책 문서와 대조하여 실시간으로 감사하는 최초의 도구입니다.
2. 기술적 간극 해소: 자연어 정책과 런타임 데이터 관행 사이의 기술적 격차를 해소하기 위해 LLM 투표, 온톨로지 매핑, 오토마타 검사 등을 통합한 아키텍처를 제안했습니다.
3. 플랫폼 독립성: AutoGen, LangChain, MCP 등 주요 AI 에이전트 프레임워크와 OS 에 구애받지 않고 플러그인 형태로 배포 가능합니다.
4. 선제적 차단 기능: 정책 위반이 감지되면 에이전트의 원래 동작을 우회하여 해당 작업을 차단할 수 있습니다.

4. 실험 결과 (Results)

• 실시간 투명성 및 제어: AudAgent 는 AutoGen 기반 에이전트 실행 중 사용자의 이메일 주소가 제 3 자 검색 도구에 무단으로 전송되는 것을 실시간으로 감지하고 시각화하여 경고했습니다.
• 고민감 데이터 (SSN) 보호:
  • 현황 분석: Claude, Gemini, DeepSeek 등 주요 LLM 기반 에이전트들은 SSN(미국 사회보장번호) 과 같은 극도로 민감한 데이터를 처리하거나 제 3 자 도구를 통해 전송하는 것을 거부하지 않는 경우가 많았습니다. 특히 SSN 을 "파일 저장" 도구로 위장한 경우에도 거부하지 않았습니다.
  • AudAgent 의 효과: AudAgent 는 내장된 SSN 보호 규칙을 적용하여, 에이전트가 SSN 을 수집하거나 전송하려는 시도를 실시간으로 탐지하고 강제 차단했습니다. 이는 에이전트 자체의 정책이나 정렬 (Alignment) 이 부족할 때에도 사용자를 보호할 수 있음을 보여줍니다.
• 성능 및 오버헤드:
  • 정확도: LLM 투표 방식을 통해 정책 형식화의 신뢰도를 단일 LLM 대비 0.8 에서 0.94 로 향상시켰습니다.
  • 오버헤드: 실시간 감사로 인한 작업 지연은 평균 0.29~0.51 초로 매우 낮아 실용적입니다.

5. 의의 (Significance)

• 사용자 신뢰 강화: 사용자에게 AI 에이전트의 내부 데이터 흐름에 대한 투명한 가시성을 제공하여, 에이전트가 약속한 대로 행동하는지 직접 검증할 수 있게 합니다.
• 규제 준수 및 책임성: 기업이나 플랫폼은 AudAgent 를 통해 배포된 에이전트의 실제 동작이 정책과 일치하는지 진단하고, 정책의 맹점을 보완하여 더 책임 있는 AI 배포를 지원할 수 있습니다.
• 보안 패러다임 전환: 단순한 사후 분석이나 정적 검사를 넘어, AI 에이전트의 동적인 런타임 환경에서 실시간으로 프라이버시를 보호하고 위반을 차단하는 새로운 접근 방식을 제시했습니다.

결론적으로, AudAgent 는 AI 에이전트 생태계에서 발생하는 프라이버시 리스크를 완화하고, 사용자가 자신의 데이터에 대한 통제권을 되찾을 수 있도록 하는 필수적인 인프라를 제공합니다.