CIPL: 에이전트 시스템의 채널 역전 (Channel Inversion) 프라이버시 누출을 위한 타겟 독립적 프레임워크

이 논문은 대규모 언어 모델 (LLM) 에이전트 시스템에서 발생하는 프라이버시 누출 문제를 기존 메모리 중심의 접근을 넘어, 채널 역전 (Channel Inversion) 관점에서 재정의하고 이를 분석하기 위한 CIPL (Channel Inversion for Privacy Leakage) 프레임워크를 제안합니다.

1. 문제 정의 (Problem Formulation)

기존의 에이전트 프라이버시 연구는 주로 에이전트의 메모리 (Memory) 에 저장된 민감한 정보가 유출되는 현상에 집중했습니다. 그러나 LLM 에이전트는 단순한 텍스트 생성을 넘어, 검색 (Retrieval), 도구 호출 (Tool Calling), 다단계 의사결정 파이프라인을 수행하며, 이 과정에서 민감한 정보가 내부적으로 선택, 조립, 실행된 후 다양한 관찰 가능한 산출물 (Observation Artifacts) 로 노출될 수 있습니다.

저자들은 프라이버시 위험이 단순히 "어디에 저장되었는가"가 아니라, "내부적으로 사용된 민감한 정보가 외부 관찰 가능한 신호로 역전 (Invert) 될 수 있는가" 에 달려 있다고 주장합니다. 이를 채널 역전 (Channel Inversion) 문제로 정의하며, 공격자가 내부 의존성을 외부에서 복구 가능한 신호로 변환할 수 있는 조건을 분석합니다.

2. 방법론 (Methodology)

CIPL 은 특정 시스템에 의존하지 않는 타겟 독립적 (Target-Independent) 프레임워크로, 다음과 같은 핵심 구성 요소를 가집니다.

2.1 타겟 시그니처 (Target Signature)

모든 에이전트 시스템을 다음 6 단계의 공통 시그니처로 모델링합니다:

1. Sensitive Source (S): 민감한 정보의 원천 (메모리, 검색 문서, 도구 반환값 등).
2. Selection (Sel): 입력에 따라 민감한 콘텐츠를 선택하는 과정.
3. Assembly (Asm): 선택된 콘텐츠를 모델 컨텍스트나 액션 조건으로 조립.
4. Execution (Exec): 에이전트의 실행 및 계산.
5. Observation (Obs): 공격자가 관찰할 수 있는 산출물 (최종 답변, 도구 호출 인자, 도구 반환값 등).
6. Extraction (Ext): 관찰된 산출물에서 누출된 단위 (Units) 를 추출하는 매핑.

2.2 타겟 독립적 공격 언어 (Target-Independent Attack Language)

공격은 특정 프롬프트 템플릿이 아닌, 다음 3 가지 구성 요소로 이루어진 재사용 가능한 언어로 표현됩니다:

• Locator (로케이터): 현재 계산에 영향을 미치는 특정 내부 민감 객체 (예: 검색된 메모리, 증거 스니펫) 를 식별하고 표적화합니다.
• Aligner (정렬기): 해당 콘텐츠를 시스템이 허용하는 관찰 채널 (자유 텍스트, 구조화된 증거, 도구 호출 인자 등) 에 맞게 변환하여 노출되도록 합니다.
• Diversification Policy (다양화 정책): 제한된 공격 예산 내에서 선택된 단위들의 중복을 줄이고 누출 범위를 극대화하기 위해 공격 세트를 다양화합니다.

3. 주요 기여 (Key Contributions)

1. 일반화된 문제 정의: 메모리 추출을 채널 기반 프라이버시 누출 메커니즘의 특수한 경우로 재해석하고, 에이전트 시스템 전반에 적용 가능한 채널 역전 문제를 정립했습니다.
2. CIPL 프레임워크 제안: 공통 시그니처와 재사용 가능한 공격 언어 (Locator, Aligner, Diversification) 를 기반으로 한 타겟 독립적 분석 도구를 개발했습니다.
3. 다양한 타겟에 대한 실험적 검증: 메모리 기반 에이전트, 검색 증강 생성 (RAG) 시스템, 도구 호출 워크플로우 등 이질적인 시스템에서 CIPL 을 적용하여 프라이버시 위험이 저장 위치뿐만 아니라 정보의 전달 경로 (Channel) 에 의존함을 입증했습니다.

4. 실험 결과 (Results)

저자들은 4 가지 타겟 (메모리 기반 2 개, RAG 1 개, 도구 호출 1 개) 과 3 가지 LLM 백엔드 (MiniMax, Qwen, DeepSeek) 를 사용하여 실험을 수행했습니다.

• 메모리 기반 에이전트: 기존 MEXTRA 와 유사한 환경에서 매우 높은 누출률 (CER 및 AER 가 1.0 에 근접) 을 보였습니다. 이는 CIPL 이 기존 메모리 추출 공격을 성공적으로 포착함을 의미합니다.
• 검색 증강 (RAG) 시스템: 메모리 기반 시스템과 달리, 완전한 추출 (CER) 은 낮았으나 부분적이지만 빈번한 누출 (High AER, Low CER) 이 관찰되었습니다. 즉, 전체 문서를 그대로 복사하지 않더라도 공격자가 유용한 증거를 부분적으로 획득할 수 있음을 보여줍니다.
• 도구 호출 (Tool-Calling) 시스템:
  • 도구 호출 인자 (Args Exfil) 와 도구 반환값 에코 (Return Echo) 모두 누출 경로가 될 수 있었습니다.
  • 모델에 따라 누출 특성이 달랐으며, DeepSeek 은 거의 포화 상태 (Saturation) 에 도달한 반면, 다른 모델들은 관찰 채널 (인자 vs 반환값) 에 따라 누출 정도가 크게 달라졌습니다.
• 회복력 및 안정성: 검색 깊이 (Retrieval Depth) 를 증가시키면 민감한 정보가 더 많이 노출되지만, 이는 시스템의 안정성을 해쳐 실행 오류를 유발하거나 오히려 누출 가능성을 낮출 수 있음이 확인되었습니다.

5. 의의 및 시사점 (Significance)

• 프라이버시 평가 패러다임의 전환: 프라이버시 위험 평가가 단일 저장소 (메모리) 중심에서 관찰 채널 (Observation Channels) 중심으로 전환되어야 함을 강조합니다. 최종 답변뿐만 아니라 도구 호출, 구조화된 출력, 중간 산출물 등 모든 관찰 가능한 경로를 보안 감사 대상으로 삼아야 합니다.
• 시스템 설계에 대한 통찰: 민감한 정보가 내부적으로 사용될 때, 그것이 외부로 역전될 수 있는 관찰 채널이 존재하는지 여부가 위협 모델의 핵심 요소입니다.
• 모델 의존성: 동일한 공격 프로토콜 하에서도 사용하는 LLM 백엔드 (Provider) 에 따라 누출 정도가 크게 달라지므로, 모델 선택 자체가 보안 변수로 작용함을 시사합니다.

결론적으로, CIPL 은 에이전트 시스템의 프라이버시 리스크를 저장소 관점이 아닌 정보 흐름과 관찰 가능성의 관점에서 체계적으로 분석하고 평가할 수 있는 표준화된 프레임워크를 제공합니다. 이는 향후 에이전트 시스템의 안전한 배포와 방어 메커니즘 설계에 중요한 기초를 마련합니다.