💻 computer science

Runtime Compliance Verification for AI Agents

이 논문은 규제 요구사항을 형식적 술어(formal predicates)로 표현하고, 실행 트레이스를 모니터링하여 비준수 동작을 차단하며, 여러 사례 연구를 통해 공격으로 유발된 위반을 완화하는 데 높은 효과성을 입증함으로써 AI 에이전트의 GDPR 준수를 강제하는 런타임 검증 프레임워크인 C-Trace를 소개한다.

원저자: Nafiseh Kahani, Masoud Barati, Diana Addae

게시일 2026-06-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nafiseh Kahani, Masoud Barati, Diana Addae

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 삶을 관리할 수 있도록 돕는 매우 똑똑하고 수다스러운 개인 비서를 고용했다고 상상해 보십시오. 이 비서는 전화를 걸거나, 이메일을 보내고, 당신의 은행 세부 정보를 조회하거나, 심지어 당신의 기록을 삭제할 수도 있습니다. 하지만 이 비서는 AI로 구동되기 때문에, 항상 프라이버시 규칙을 "알고 있는" 것은 아닙니다. 실수로 낯선 사람에게 당신의 주소를 알려주거나, 당신이 "예"라고 말한 적도 없는데 마케팅 이메일을 보낼 수도 있습니다.

이 논문은 C-Trace(Compliance Trace-based Runtime Agent Conformance Enforcement)라고 불리는 시스템을 소개합니다. C-Trace를 새로운 비서가 아니라, AI 비서 바로 옆에 서서 비서가 내뱉는 모든 단어와 취하는 모든 행동을 실시간으로 감시하는 엄격하고 매우 경계심 강한 보안 요원이라고 생각하십시오.

시스템이 어떻게 작동하는지 간단한 개념으로 나누어 설명하겠습니다.

1. 문제점: "건망증"이 있는 비서

현재 이러한 AI 비서를 테스트하는 방식은 비서가 일을 시작하기 전에 퀴즈를 주는 것과 같습니다. "규칙을 준-수할 것입니까?"라고 물으면 그들은 "네"라고 대답합니다. 하지만 일단 실제로 업무를 수행하며 사람들과 대화하기 시작하면, 그들은 규칙을 잊어버릴 수 있습니다.

문제: AI는 한 대화에서는 규정을 준수할 수 있지만, 사용자가 무엇을 요청하느냐에 따라 다음 대화에서는 규칙을 어길 수 있습니다.
공백: 기존의 안전 도구들은 입구에서 신분증만 확인하는 경비원(정적 검사)과 같습니다. 그들은 당신이 밤중에 이미 파티를 일찍 떠나겠다고 약속했다는 사실을 알지 못합니다. 그들은 전체 대화의 맥락을 놓칩니다.

2. 해결책: "보안 요원" (C-Trace)

C-Trace는 AI와 외부 세계 사이에 위치합니다. C-Trace는 대화 전체(trace)를 지켜봅니다. 단순히 문장 하나를 보는 것이 아니라, 전체 이야기를 기억합니다.

C-Trace는 네 가지 주요 "프라이버시 법률"(GDPR 기반)을 집행하며 필터 역할을 합니다.

"동의" 확인 (P1): AI가 마케팅 이메일을 보내는 등의 행동을 하기 전에, 보안 요원은 다음과 같이 확인합니다: "사용자가 이전에 이것에 대해 명시적으로 '예'라고 말했는가?" 만약 사용자가 그저 "상관없어요"라고만 말했을 뿐 공식적인 "예"를 클릭하지 않았다면, 보안 요원은 그 행동을 차단합니다.
"목적" 확인 (P2): AI는 고장 난 주문을 해결하는 것과 같은 특정 업무를 위해 고용되었습니다. 만약 사용자가 그 주문 데이터를 사용하여 다른 회사를 위한 프로필을 만들라고 요청한다면, 보안 요원은 이렇게 말합니다: "아니요, 그것은 다른 업무입니다. 당신은 그 일을 위해 고용되지 않았습니다."
"최소 데이터" 확인 (P3): AI가 주문을 확인해야 한다면, 주문 번호와 이메일만 있으면 됩니다. 만약 AI가 주문을 확인하기 위해 사용자의 생년월일이나 정부 발행 ID까지 가져오려 한다면, 보안 요원은 이렇게 말합니다: "그것은 너무 많은 정보입니다. 기본적인 것들만 필요합니다."
"삭제" 확인 (P4): 만약 사용자가 "내 데이터를 삭제해 주세요"라고 말한다면, 보안 요원은 해당 사용자를 "삭제됨"으로 표시합니다. 만약 AI가 나중에 다시 그 사용자에 대해 이야기하려고 하면, 보안 요원은 문을 쾅 닫으며 말합니다: "이 사람은 우리 시스템에 더 이상 존재하지 않습니다. 이 사람에 대해 언급할 수 없습니다."

3. 테스트 방법: "레드팀(Red Team)" 게임

이 보안 요원이 실제로 작동하는지 확인하기 위해, 연구원들은 "고양이와 쥐" 게임을 수행했습니다.

공격자: 연구진은 AI가 규칙을 어기도록 유도하기 위해 설계된 수백 개의 까다롭고 혼란스럽거나 공격적인 대화들을 생성하는 특수 프로그램(DSPy)을 사용했습니다. 또한 다른 보안 테스트에서 사용된 실제 "탈옥(jailbreak)" 프롬프트도 사용했습니다.
테스트: 연구진은 보안 요원이 있을 때와 없을 때를 비교하여 AI가 이러한 까다로운 대화들을 처리하도록 했습니다.
결과: 보안 요원이 없으면 AI는 규칙을 끊임없이 어겼습니다(때로는 100%의 확률로). C-Trace 보안 요원이 있으면 AI는 거의 매번 차단되었습니다. 보안 요원이 문장 속의 데이터를 "추측"해야 하는 상황에서도(인간의 언어를 완벽하게 읽는 것은 어렵기 때문), 여에서도 대다수의 위반 사항을 잡아냈습니다.

4. "세 갈래" 검증

보안 요원이 단순히 근거 없는 판단을 내리는 것이 아님을 확인하기 위해, 연구진은 동일한 규칙 책을 세 가지 다른 언어(Python 코드, Rego라는 정책 언어, 그리고 MFOTL이라는 논리 언어)로 구축했습니다.

비유: 세 명의 서로 다른 판사가 동일한 대본을 읽는다고 상상해 보십시오. 만약 그들이 모두 누구에게 유죄인지 똑같이 판결한다면, 그 판결은 확실하다고 볼 수 있습니다. 이 논문에서 세 명의 "판사"는 모든 테스트 케이스에 대해 완벽하게 일치하는 결과를 보여주었습니다.

5. 결론

논문은 C-Trace가 효과가 있다고 주장합니다.

실시간으로 AI가 프라이버시 규칙을 어기는 것을 방지합니다.
AI의 속도를 크게 늦추지 않습니다(프로세스에 아주 미세한 시간만을 추가합니다).
보안 요원이 내린 모든 결정에 대한 "감사 로그(audit log, 기록)"를 생성하여, 나중에 인간이 검토할 수 있도록 합니다.

요약하자면: 민감한 데이터를 다루는 AI 비서를 보유하고 있다면, C-Trace는 그 비서가 실수로 당신의 비밀을 누설하거나, 데이터를 잘못된 사람에게 팔거나, 혹은 잊혀지기를 바라는 당신의 요청을 무시하지 않도록 보장하는 시스템입니다. 이는 비서의 모든 움직임을 지켜보고, 규칙을 어기려는 순간 즉시 차단함으로써 이를 실현합니다.

기술 요약: AI 에이전트를 위한 런타임 컴플라이언스 검증

문제 정의

AI 에이전트는 도구 사용, 함수 호출, 다회차 대화를 통해 개인 데이터를 점점 더 많이 처리하고 있습니다. 전통적인 API와 달리, 에이전트는 어떤 도구를 호출할지, 어떤 인자를 전달할지, 자연어로 무엇을 공개할지를 동적으로 결정합니다. 이러한 런타임 결정은 동의 없이 개인 데이터를 처리하거나 삭제 요청 이후에 데이터를 공개하는 등 일반 데이터 보호 규정(GDPR)에 따른 의무를 촉발할 수 있습니다.

현재의 테스트 관행은 이러한 동적 위험을 해결하지 못합니다:

오프라인 레드팀(Offline Red-Teaming): 큐레이션된 프롬프트로 모델을 테스트하지만, 런타임에 규칙을 강제하거나 배포된 에이전트의 세션 상태를 관찰하지 못합니다.
가드레일 라이브러리(Guardrail Libraries): 개별 입출력의 패턴을 매칭하지만 세션 이력을 파악하지 못하므로, 대화 중에 동의가 부여되었는지 또는 목적이 선언되었는지 추적하는 데 실패합니다.

결과적으로, 에이전트 배포는 코드나 모델 가중치의 변경 없이도 한 대화에서는 준수(compliant) 상태였다가 다른 대화에서는 비준수(non-compliant) 상태가 될 수 있습니다. 이는 에이전트의 이벤트 트레이스에 대한 런타임 검증과, 적대적 입력으로 모니터를 테스트하기 위한 인프로세스(in-process) 공격 드라이버의 결합을 필요로 합니다.

방법론: C-Trace 프레임워크

저자들은 C-Trace(Compliance Trace-based Runtime Agent Conformance Enforcement)를 제안하며, 이는 GDPR 준수를 단일 메시지의 속성이 아닌 이벤트 스트림의 런타임 속성으로 취급하는 프레임워크입니다.

1. 이벤트 모델 및 추출

이 프레임워크는 에이전트 루프를 계측하여 자연어 실행을 타입화된 이벤트 트레이스( $\tau = e_1 \dots e_n$ )로 변환합니다. 이벤트에는 UserMsg(사용자 메시지), AsstMsg(어시스턴트 메시지), ToolCall(도구 호출), ToolRet(도구 반환), Consent(동의), Erasure(삭제)가 포함됩니다.

주석(Annotation): 추출기는 각 이벤트에 데이터 카테 category(데이터 범주, $C(e)$ )와 목적(purposes, $\Pi(e)$ )을 주석으로 달아줍니다.
정책(Policy): 세션 정책은 선언된 목적, 도구-목적 간의 바인딩, 그리고 목적별 필수 데이터 범주(필요한 데이터 범주)를 정의합니다.

2. 형식적 술어(Formal Predicates)

네 가지 GDPR 원칙이 성장하는 트레이스에 대한 1차 술어로 인코딩됩니다. 이 술어들은 단조적(monotone)입니다. 즉, 한 번 위반이 발생하면 후속 이벤트에 의해 "수정"될 수 없습니다.

P1 (동의, Consent): 특정 목적을 위해 데이터를 처리하려면 해당 목적에 대한 사전 Consent 이벤트가 있어야 합니다 (적법한 이익 근거가 적용되는 경우 제외).
P2 (목적 제한, Purpose Limitation): 이벤트에 부착된 모든 목적은 정책에 선언되어 있어야 합니다.
P3 (데이터 최소화, Data Minimization): 도구 호출에 포함된 데이터 범주는 호출의 선언된 목적 중 적어도 하나에 필수적이어야 합니다.
P4 (삭제 권리, Right to Erasure): 대상자에 대한 Erasure 이벤트 이후에는 해당 대상자의 식별자를 노출하는 어떠한 이벤트도 발생해서는 안 됩니다.

3. 런타임 모니터 및 공격 드라이버

인터셉터(Interceptor): 에이전트 루프와 도구 API 사이에 배치되어 술어를 점진적으로 평가합니다. 결정 사항에는 forward(통과), redact(비필수 데이터 제거), block(이벤트 거부)이 포함됩니다.
공격 드라이버(Attack Driver): 다음을 사용하여 각 술어를 겨냥한 적대적 대화를 생성합니다:
- DSPby 생성 프롬프트: 역할극, 긴급성, 탈옥 프레이밍을 사용한 시드 요청의 변형들.
- 실제 코퍼스 프롬프트: 레드팀 코퍼스(HarmBench, AdvBench, DAN)에서 가져온 실제 문구들.
오라클(Oracle): 별도의 관찰 가능한 오라클은 모니터의 내부 술어와 독립적으로, 정책에 따라 수락된 트레이스를 확인하여 공격 성공 여부를 결정합니다.

4. 교차 검증(Cross-Validation)

운영 모니터가 형식적 명세와 일치하는지 확인하기 위해 동일한 정책 로직을 세 가지 런타임에서 구현합니다:

Python: 운영적 강제 집행.
Rego/OPA: 감사자 대상 정책.
MFOTL (MonPoly): 형식적 템포럴 로직(temporal logic) 명세.
저자들은 이 세 가지가 모든 트레이스에 대해 이벤트별로 정책에 동의함을 검증합니다.

평가 및 결과

프레임워크는 네 가지 GDPR 재구성 케이스 스터디인 Shopper(소매), Airline(항공), MedAgent(의료), FinAssist(금융/KYC)를 통해 평가되었습니다.

주요 지표

공격 성공률 (ASR, Attack Success Rate): 모니터를 우회하는 데 성공한 공격의 비율.
오탐률 (FPR, False Positive Rate): 잘못 차단된 양호한 요청의 비율.
실현율 (Realization Rate): 모니터가 없는 상태에서 모델이 위반을 시도하는 빈도.

주요 결과

모니터링되지 않는 에이전트의 취약성: 모니터가 없으면 에이전트는 네 가지 유형 모두에서 위반을 저지릅니다. 동의 우회(A1)와 과잉 수집(A3)이 빈번하게 발생합니다 (일부 사례에서 ASR 100% 도달).
베이스라인의 한계:
- Regex/Presidio (상태 비저장 방식): 이러한 베이스라인은 세션 이력에 의존하는 위반(동의, 목적 제한, 삭제)을 감지하지 못합니다. Presidio는 과잉 수집을 줄일 수는 있지만, 동의 우회나 삭제 후 재호출을 막을 수는 없습니다.
- 랜덤 베이스라인: 높은 오탐률(72–88%)을 보이며 표적 보호 기능이 없습니다.
C-Trace 성능:
- 완벽한 추출 (Perfect Extraction): 모든 케이스 스터디와 공격 레지스터(생성된 프롬프트 및 실제 코퍼스)에서 ASR 0% 및 **FPR 0%**를 달이트.
- 노이즈가 있는 추출 (Noisy Extraction): 카테고리 추출기에 10% 미만의 노이즈(누락 또는 과잉 타이핑 시뮬레이션)가 있는 경우:
  - ASR은 $\le$ 12%를 유지합니다 (베이스라인보다 현저히 낮음).
  - FPR는 $\le$ 16%를 유지합니다.
- 절제 연구 (Ablation): 개별 술어를 제거하면 특정 공격 유형이 복구됩니다 (예: P1을 제거하면 동의 우회가 복구됨). 이는 각 술어가 필수적임을 확인해 줍니다.
오버헤드: 모니터는 이벤트당 중앙값 1.8 $\mu$ s의 무시할 만한 지연 시간을 추가합니다.

의의 및 주장

본 논문은 AI 에이전트의 자연어 실행 트레이스에 GDPR 의무의 런타임 검증을 적용한 첫 번째 연구라고 주장합니다.

독창성: 상태 비저장 가드레일과 달리, C-Trace는 세션 트레이스를 추론하여 이전 이벤트에 의존하는 위반(예: 사전 동의 또는 삭제)을 잡아낼 수 있습니다.
실용성: 이 프레임워크는 기본 모델이나 도구 구현의 변경 없이 인프로세스 인터셉터로 작동합니다. 또한 검토를 위해 추가 가능한 append-only JSONL 감사 로그를 생성합니다.
신뢰성: 결과는 모니터의 신뢰성이 카테고리 추출기의 정확도에 크게 의존함을 나타냅니다. 정책 로직 자체는 견고하지만, 추출 오류로 인한 카테고리 누락이 주요 실패 모드입니다.
범위: 이 접근 방식은 다양한 도메인(소매, 의료, 금융)과 법적 근거(동의, 법적 의무)에 적용 가능한 네 가지 핵심 GDPR 원칙(동의, 목적 제한, 데이터 최소화, 삭제 권리)에 초점을 맞춥니다.

저자들은 트레이스 기반 모니터링이 고품질의 이벤트 추출이 뒷받침된다면 AI 에이전트를 위한 실질적인 강제 계층이 될 수 있다고 결론짓습니다.