기술 요약: PRISM – 다중 에이전트 LLM 파이프라인에서의 생성 시간 비밀 유출 탐지 및 완화

1. 문제 정의: 전파 증폭

본 논문은 다중 에이전트 대규모 언어 모델 (LLM) 시스템의 치명적인 구조적 취약점인 **전파 증폭 (propagation amplification)**을 식별합니다. 단일 모델 배포와 달리, 다중 에이전트 파이프라인 (예: AutoGen, ChatDev, MetaGPT) 은 에이전트가 정보를 순차적으로 전달하는 공유된 부가 전용 컨텍스트에 의존합니다.

저자들은 상류 에이전트 $A_i$가 민감한 비밀 $s$를 검색하면 그것이 공유 컨텍스트 $C$에 진입한다고 공식화합니다. 하류 에이전트 $A_{i+1} \dots A_K$는 이 컨텍스트를 소비합니다. 하류 에이전트가 자신의 작업을 수행하기 위해 명시적으로 그 비밀이 필요하지 않더라도, 파이프라인 깊이가 깊어질수록 그 비밀을 재생성할 확률은 증가합니다. 논문은 유출 확률을 다음과 같이 모델링합니다:
$$P_{leak}(s) = 1 - \prod_{j=i+1}^{K} (1 - p_j(s | C_j))$$
여기서 $p_j$는 재생성 확률입니다. 에이전트별 재생성 확률이 0 이 아니라는 가정 하에, 누적 위험은 파이프라인이 깊어질수록 증폭됩니다. 방어되지 않은 4 에이전트 파이프라인의 실증 데이터는 71.2% 의 작업 단위 유출률을 보여주며, 유출은 적대적 프롬프팅의 결과라기보다는 공유 컨텍스트 구성의 구조적 결과임을 확인시켜 줍니다.

기존 방어 수단은 이러한 설정에 적합하지 않습니다:

• 정적 스캐너 (예: detect-secrets, TruffleHog) 는 표면 패턴에 의존하며 사후적으로 작동하여 부분적 재구성이나 문맥적 재사용을 포착하지 못합니다.
• LLM-as-judge/가드레일은 생성이 완료된 후 작동하므로, 비밀이 필터링되기 전에 중간 에이전트를 통해 전파될 수 있습니다.
• 프롬프트 기반 안전장치는 다중 홉 추론과 적대적 프레임링 하에서 성능이 저하됩니다.

2. 방법론: PRISM (비밀 모니터링을 위한 예측 위험 개입)

PRISM 은 비밀이 완전히 재구성되어 전파되기 전에 생성 과정 중에 개입하도록 설계된 실시간 방어 메커니즘입니다.

핵심 통찰

저자들은 기억된 자격 증명의 재생성은 생성 역학의 측정 가능한 변화에 선행된다고 관찰합니다. LLM 이 개방형 생성에서 구조화된 비밀 (예: API 키) 의 결정론적 재생성으로 전환됨에 따라, 토큰 수준의 엔트로피가 붕괴되고 로그이트 집중도가 증가합니다. 이러한 "상전이"는 조기 경고 신호로 작용합니다.

아키텍처

PRISM 은 파이프라인의 각 에이전트 디코딩 루프에 통합된 토큰별 모니터로 작동합니다.

1. 특징 추출: 각 디코딩 단계 $t$에서 PRISM 은 다음을 포함하는 16 차원 특징 벡터 $f_t$를 집계합니다:
   • 시간적 생성 역학: 엔트로피 붕괴, 로그이트 집중도 (발산), 그리고 궤적 에스컬레이션 (단계별 위험 증가).
   • 텍스트 구조적 신호: 식별자 패턴 (예: UUID, 이메일), 숫자 연속체, 그리고 자격 증명 스타일 정규식 일치.
   • 문맥적/행동적 신호: 도구 사용 (예: read_file), 키워드 밀도, 그리고 n-그램 중첩.
2. 위험 점수 산정: 로지스틱 회귀 모델이 위험 점수 $r_t = \sigma(w^\top f_t + b)$를 계산합니다.
3. 개입 정책: 점수는 세 가지 영역으로 매핑됩니다:
   • GREEN ($r_t < \tau_1$): 토큰을 변경 없이 통과시킵니다.
   • YELLOW ($\tau_1 \le r_t < \tau_2$): 출력 구조를 유지하면서 시퀀스를 끊기 위해 토큰을 정화합니다 ([MASK]로 교체).
   • RED ($r_t \ge \tau_2$): 비밀이 완전히 재구성되는 것을 방지하기 위해 생성을 즉시 중단합니다.
4. 생성 후 감사 (ZK-RC): 개별 토큰이 임계값 아래로 slipping 되었더라도 집단적으로 비밀을 형성한 경우 잔여 조각을 포착하기 위해 해시된 8-그램 매칭 (SHA-256) 을 사용하는 경량 백업 레이어입니다.

3. 주요 기여

1. 전파 증폭의 공식화: 논문은 공유 컨텍스트 파이프라인에서 에이전트 경계를 가로질러 유출 위험이 어떻게 증폭되는지를 보여주는 확률 모델을 제공하여, 이를 단일 모델 유출과 구별합니다.
2. PRISM 프레임워크: 유출을 사후 필터링이 아닌 토큰별 개입을 활용하는 순차적 위험 누적 문제로 취급하는 생성 시간 방어를 도입합니다.
3. 신호 보완성: 시간적 역학 (엔트로피/로그이트) 이나 구조적 단서 (패턴) 어느 하나만으로는 충분하지 않음을 식별했습니다. 높은 판별력을 위해서는 엔트로피 붕괴와 식별자 패턴 탐지의 조합이 필요합니다.
4. 벤치마크 구축: 이질적인 4 에이전트 파이프라인 전반에 걸쳐 13 가지 공격 카테고리 (예: 프롬프트 인젝션, 사회 공학, 에이전트 간 전파) 와 세 가지 압력 수준 (낮음, 중간, 높음) 을 아우르는 2,000 작업 적대적 벤치마크를 생성했습니다.

4. 실험 결과

2,000 작업 벤치마크에서 10 가지 기본 방어 방법 (Span Tagger, GBT Classifier, LLM Judge, 정적 스캐너 포함) 에 대해 평가됨:

• 유출 방지: PRISM 은 0.0% 의 작업 단위 유출률을 달성하여, 최종 출력에서 완전히 재구성된 비밀로 이어진 작업이 없음을 의미했습니다. 이는 벤치마크에서 관찰된 유출을 제거한 유일한 방법입니다.
• 성능 지표:
  • F1 점수: 0.832 (가장 강력한 기준인 Span Tagger 의 0.719 를 상회).
  • 정밀도: 1.000 (거짓 양성 없음).
  • 재현율: 0.712.
  • 유틸리티: 0.893 (무해한 작업의 89.3% 가 수정 없이 통과).
• 비교:
  • Span Tagger: 15.0% 작업 단위 유출률.
  • GBT Classifier: 19.2% 작업 단위 유출률.
  • 정적 스캐너/LLM 저지: >60% 작업 단위 유출률.
• 강건성: PRISM 은 8 가지 표면 수준 난독화 변환 (예: 16 진수 인코딩, 문자 분할) 전반에 걸쳐 $\ge 95.9\%$의 탐지율을 유지한 반면, 패턴 기반 기준은 거의 0 에 가까운 탐지로 저하되었습니다.
• 지연 시간: PRISM 은 최소한의 오버헤드 (작업당 약 5.5ms) 를 추가하며, LLM 기반 저지 (>1,800 초) 보다 훨씬 빠르게 작동하고 경량 패턴 매처와 비교 가능한 수준입니다.

5. 중요성과 주장

본 논문은 다중 에이전트 시스템을 보호하기 위해서는 정적 또는 사후 필터링에서 생성 과정 자체의 지속적인 모니터링으로의 패러다임 전환이 필요하다고 주장합니다.

• 구조적 취약점: 저자들은 다중 에이전트 시스템에서의 유출이 단순히 프롬프트 수준의 실패가 아니라 정보 전파의 구조적 결과임을 강조합니다. 일단 비밀이 공유 컨텍스트에 진입하면 하류에서 재등장할 가능성이 높습니다.
• 조기 개입: "엔트로피 붕괴" 상전이를 탐지함으로써 PRISM 은 비밀이 완전히 구체화되기 전에 개입하여 민감한 데이터가 하류 에이전트로 전파되는 것을 방지합니다.
• 실용성: 이 시스템은 낮은 지연 시간으로 높은 탐지 정확도를 달성하여, 상호작용형 다중 에이전트 워크플로우에서 실시간 배포가 가능합니다.
• 주장에 대한 겸손함: 저자들은 벤치마크가 인공적이고 통제되었다고 명시적으로 지적합니다. 최적의 성능을 위해 화이트박스 접근 (로그-확률) 에 의존한다는 점 (1.4% 잔류 유출률을 가진 블랙박스 변형이 존재함) 과, 시스템이 적응형 적대자에 의한 전략적, 목표 지향적 은폐가 아닌 수동적 유출 역학을 모델링한다는 한계를 인정합니다. 그들은 PRISM 을 모든 정보 유출에 대한 보편적 해결책이 아니라 순차적 전파를 통한 자격 증명 재생성을 위한 표적 메커니즘으로 위치시킵니다.