기술 요약: LCGuard

문제 정의

대형 언어 모델 (LLM) 기반 다중 에이전트 시스템 (MAS) 은 전통적인 텍스트 기반 교환에 비해 효율성을 높이고 더 풍부한 의미 구조를 보존하기 위해 Transformer 키 - 값 (KV) 캐시를 통한 잠재적 통신을 점차 채택하고 있습니다. 그러나 이러한 전환은 표현 수준의 정보 유출이라는 중요하지만 아직 충분히 탐구되지 않은 보안 취약점을 도입합니다.

이산적이고 검사 가능한 텍스트와 달리 KV 캐시는 맥락 입력, 중간 추론 상태, 그리고 주의 구조를 인코딩하는 고차원적이고 의미적으로 밀집된 표현입니다. 에이전트들이 이러한 캐시를 공유할 때, 민감한 에이전트 고유의 입력 (예: 사용자 맥락, 비공개 문서) 은 잠재적 산물 내에 암묵적으로 내재될 수 있습니다. 이 논문은 공유된 캐시에 접근할 수 있는 적대자 (타락한 에이전트, 로깅, 또는 보조 모델을 통해) 가 공유된 KV 표현으로부터 이러한 민감한 입력을 재구성하도록 디코더를 훈련시킬 수 있다고 주장합니다. 일반적으로 생성된 텍스트 출력이나 도구 행동에 작동하는 기존 안전 메커니즘은 이러한 잠재 채널을 통해 전송되는 내용을 제한하지 못합니다.

방법론: LCGuard

이를 해결하기 위해 저자들은 KV 기반 잠재적 통신에서 민감한 정보 흐름을 규제하도록 설계된 LCGuard(잠재적 통신 가드) 프레임워크를 소개합니다.

핵심 개념

LCGuard 는 공유된 KV 캐시를 잠재적 작업 기억으로 간주하고, 에이전트 간 전송되기 전에 KV 산물에 적용되는 표현 수준의 변환($g_{ij}$) 을 학습합니다. 목표는 에이전트 고유의 민감한 입력 ($s_i$) 을 복구 불가능하게 만드는 동시에 작업 관련 의미를 보존하는 것입니다.

위협 모델 및 유출 정의

이 논문은 재구성을 통해 유출을 운영적으로 형식화합니다:

• 적대자: 통신된 산물 ($M_{obs}$) 을 관찰하고 학습된 디코더 ($D_i$) 를 사용하여 민감한 입력 ($s_i$) 을 재구성하려는 개체.
• 유출 지표: 유출은 사전 재구성 손실 (산물에 접근하지 않고 $s_i$를 재구성) 과 재구성 손실 (산물을 기반으로 $s_i$를 재구성) 사이의 차이로 정량화됩니다. 차이가 작을수록 성공적인 유출을 의미하며, 차이가 클수록 (사전 손실에 가까울수록) 프라이버시 보존을 의미합니다.

적대적 최적화

LCGuard 는 안전한 잠재적 통신을 최소최대 최적화 문제로 형식화합니다:
$$\min_{\{\phi_i\}} \max_{\{\psi_i\}} \beta \sum_{i=1}^{N} L^{(i)}_{rec}(M_{obs}) + L_{task}(M)$$

• 적대자 ($\psi_i$): 변환된 산물에서 민감한 정보를 추출하려는 시도로 재구성 손실 ($L_{rec}$) 을 최소화하도록 훈련됨.
• 통신 함수 ($\phi_i$): $s_i$의 복구를 어렵게 만들기 위해 재구성 손실을 최대화하는 동시에 하류 유틸리티를 보존하기 위해 작업 손실 ($L_{task}$) 을 최소화하도록 훈련됨.
• 트레이드오프 매개변수 ($\beta$): 프라이버시 억제와 작업 성능 사이의 균형을 조절함.

이 프레임워크는 두 가지 변형을 지원합니다:

1. 에이전트별 LCGuard: 에이전트들이 개별 통신 링크를 기반으로 변환을 로컬에서 최적화합니다.
2. 전체 시스템 LCGuard: 여러 에이전트 간에 집계된 후 민감한 정보가 재등장할 수 있는 구성적 유출을 고려하기 위해 전체 시스템에 걸친 공동 최적화.

주요 기여

1. 공격 표면 식별: 공유 작업 기억이 텍스트 기반 유출과 구별되게 민감한 정보를 암묵적으로 전파할 수 있는 새로운 공격 표면으로서 잠재적 KV 통신을 식별합니다.
2. LCGuard 프레임워크: 정보 흐름을 규제하기 위해 전송 전에 KV 캐시를 변환하는 표현 수준의 프레임워크를 제안합니다.
3. 재구성 기반 유출 개념: 공유된 표현으로부터 에이전트 고유의 입력을 복구할 수 있는지에 기반한 실용적인 유출 정의를 도입하여 표면적 출력 제약을 넘어섭니다.
4. 최소최대 형식화: 작업 유틸리티와 정보 노출 사이의 균형을 맞추는 적대적 최적화 문제로 프라이버시 - 유틸리티 트레이드오프를 형식화합니다.
5. 실증적 검증: 다양한 모델 계열 (Qwen3, Gemma-2, LLaMA) 과 벤치마크에 걸쳐 LCGuard 가 유리한 프라이버시 - 유틸리티 트레이드오프를 달성함을 광범위한 실험을 통해 입증합니다.

실험 결과

저자들은 다양한 모델 크기와 토폴로지 (순차적, 계층적, 그래프 기반) 에 걸쳐 PrivacyLens, AgentLeak, MAGPIE를 포함한 벤치마크에서 LCGuard 를 평가했습니다.

• 프라이버시 대 유틸리티: "Vanilla KV Sharing"(보호되지 않음) 은 가장 높은 작업 유용성을 달성하지만 극도로 높은 공격 성공률 (ASR) 을 겪으며, 종종 0.87 을 초과합니다. 반면, LCGuard 는 경쟁력 있는 작업 유용성을 유지하면서 ASR 을 일관되게 약 65–75% 감소시킵니다 (예: Qwen3-4B 순차 설정에서 0.871 에서 0.216 으로 감소).
• 베이스라인과의 비교:
  • ADAPT(노이즈 기반): 낮은 ASR 을 달성하지만 민감한 정보와 작업 관련 정보 모두를 제거하여 작업 유틸리티를 크게 저하시킵니다 (예: 유용성이 약 0.28 로 하락).
  • PrivAct(정책 기반): 출력 수준 지표에서 프라이버시 점수를 개선하지만 ASR 을 감소시키지 못하여, 출력 수준의 제어가 잠재적 유출을 방지하지 못함을 확인시킵니다.
  • LCGuard: 표현을 직접 변환함으로써 두 가지보다 우수한 성과를 거두며 가장 좋은 균형을 달성합니다.
• 시스템 수준 대 로컬: "전체 시스템 LCGuard"가 "에이전트별 LCGuard"보다 일관되게 우월하여, 유출이 순수하게 로컬적인 것이 아니라 다중 홉 변환과 집계를 통해 누적됨을 나타냅니다. 구성적 유출을 완화하기 위해서는 시스템 수준의 최적화가 필요합니다.
• 강건성: LCGuard 는 다양한 모델 규모 (3B 에서 14B) 와 통신 토폴로지에서 효과적이지만, 더 큰 모델은 본질적으로 더 많은 복구 가능한 정보를 인코딩하므로 더 강력한 보호가 필요합니다.

중요성과 주장

이 논문은 LCGuard 가 기존 안전 메커니즘이 표현 수준에서 정보 흐름을 제한하지 못하는 격차를 해결하는 KV 기반 잠재적 통신을 위한 원칙적인 프레임워크를 제공한다고 주장합니다.

• 추론 시간 보호: 훈련 시간 방어와 달리 LCGuard 는 추론 시간에 작동하여 근본적인 에이전트 모델의 가중치 변경 없이 전송되는 내용을 규제합니다.
• 실용적 트레이드오프: 이 프레임워크는 노이즈 기반 방법이 달성하지 못하는 트레이드오프를 보여주며, 작업 성능을 붕괴시키지 않으면서 민감한 입력의 복구 가능성을 크게 낮출 수 있음을 입증합니다.
• 향후 방향: 저자들은 겸손하게 현재 프레임워크가 동종 에이전트와 텍스트 전용 잠재 공간을 가정한다고 언급합니다. 향후 연구는 이 프레임워크를 이종 다중 에이전트 시스템, 멀티모달 에이전트, 그리고 적응형 통신 정책으로 확장할 수 있음을 제안합니다.

이 논문은 LCGuard 가 경험적 재구성 성공을 감소시키지만 형식적 프라이버시 보장 (예: 차등 프라이버시) 을 제공하지는 않으므로, 접근 제어 및 출력 수준 보호 장치와 함께 배포되어야 한다고 결론지었습니다.