Parallax: Why AI Agents That Think Must Never Act

1. 문제 정의 (Problem Statement)

자율형 AI 에이전트의 실행 보안 격차 (Execution Security Gap)

• 배경: AI 에이전트가 단순한 콘텐츠 생성을 넘어 파일 읽기, 명령어 실행, 네트워크 요청, 데이터베이스 수정 등 실제 세계의 행동을 수행하는 인프라로 빠르게 전환되고 있습니다.
• 핵심 문제: 기존 AI 안전성 연구는 주로 모델의 출력 (텍스트) 이 유해한지 여부에 초점을 맞추었습니다. 그러나 에이전트가 '실행 권한'을 가질 경우, 안전성 실패의 결과는 유해한 텍스트 생성이 아닌 데이터 유출, 시스템 침해, 영구적인 자원 파괴로 이어집니다.
• 기존 접근법의 한계 (프롬프트 가드레일 패러다임의 실패):
  • 현재 주류인 안전성 접근법은 시스템 프롬프트에 안전 지침을 포함시키는 것 (프롬프트 가드레일) 입니다.
  • 구조적 결함: 안전 지침과 공격적 입력 (프롬프트 인젝션) 이 동일한 계산 기질 (Attention 메커니즘) 을 공유합니다. 따라서 공격자가 프롬프트 인젝션을 통해 모델의 안전 규칙을 우회하면, 가드레일 자체도 무력화됩니다.
  • 신뢰성 부재: 모델이 안전 훈련을 받았더라도, 간접 인젝션 (문서, 이메일 등을 통한 악성 코드 주입) 이나 장기 컨텍스트 조작 (Salami Slicing) 을 통해 통제력을 상실할 수 있습니다.
  • 결론: 사고하는 시스템 (Reasoning System) 이 유해한 행동을 제안할 때, 그 시스템 내부의 안전 규칙만으로는 실행을 막을 수 없습니다.

2. 방법론 및 아키텍처 (Methodology & Architecture)

이 논문은 Parallax라는 새로운 패러다임을 제안하며, 이는 시스템 보안의 고전적 원칙 (권한 분리, 강제 접근 제어 등) 을 AI 에이전트 아키텍처에 적용합니다. 핵심은 "생각하는 시스템이 실행할 수 없게, 실행하는 시스템이 생각할 수 없게" 구조적으로 분리하는 것입니다.

Parallax 의 4 가지 핵심 원칙

1. 인지 - 실행 분리 (Cognitive-Executive Separation, CES):

   • 원리: 추론 (Reasoning) 과 실행 (Execution) 을 완전히 분리된 프로세스로 만듭니다.
   • 구현: 에이전트 프로세스 (LLM) 는 샌드박스 환경에서 실행되어 파일 시스템 접근, 네트워크, 명령어 실행 권한이 전혀 없습니다. 오직 gRPC 를 통해 '행동 제안'만 엔진 프로세스에 전달합니다.
   • 효과: 에이전트가 완전히 장악 (Compromise) 되더라도, 실행 권한이 없으므로 실제 피해를 입힐 수 없습니다.

2. 적대적 검증 및 점진적 결정론 (Adversarial Validation with Graduated Determinism):

   • 원리: 모든 제안된 행동은 추론 시스템과 완전히 독립적인 '검증 레이어 (Shield)'를 통과해야 실행됩니다.
   • 4 단계 검증 계층:
     • Tier 0 (정책): YAML 기반의 결정론적 규칙 (예: 시스템 파일 삭제 금지). 즉시 처리.
     • Tier 1 (이중 분류기): 휴리스틱 패턴 매칭 엔진과 DeBERTa 기반의 고정된 분류기가 병렬로 작동. LLM 호출 없이 패턴 기반 위협 탐지.
     • Tier 2 (예산 제한 LLM 평가): 컨텍스트가 필요한 복잡한 경우, 별도의 LLM(에이전트와 다른 모델) 이 평가. 예산 제한으로 DoS 공격 방지.
     • Tier 3 (인간 개입): 위 단계에서 불확실할 경우 사용자에게 승인 요청.
   • 특징: 모든 계층은 'Fail-Closed(실패 시 차단)' 원칙을 따릅니다.

3. 정보 흐름 제어 (Information Flow Control, IFC):

   • 원리: 데이터가 생성될 때 민감도 레이블 (비밀, 내부, 공개 등) 을 부여하고, 모든 후속 작업으로 전파합니다.
   • 효과: 개별 행동은 안전해 보여도 (예: 파일 읽기 -> 파일 쓰기 -> 네트워크 전송), 민감한 데이터가 저신뢰 영역 (네트워크) 으로 흐르는 것을 감지하여 차단합니다. 이는 도구 사용 체인 공격 (Tool-use chain attacks) 을 방어합니다.

4. 가역적 실행 (Reversible Execution):

   • 원리: 파괴적인 행동 (파일 삭제, 덮어쓰기 등) 을 실행하기 전에 상태 스냅샷 (Chronicle) 을 캡처합니다.
   • 효과: 검증 후에도 유해한 행동이 실행되었다면, 사전 스냅샷을 통해 시스템을 롤백하여 피해를 복구할 수 있습니다.

검증 불가변성 (Validator Immutability)

• 검증 레이어 (Shield) 는 하드코딩된 코드와 별도의 프로세스에서 실행되며, 에이전트가 이를 읽거나 수정할 수 없습니다. 이는 TPM(신뢰 플랫폼 모듈) 과 유사한 역할을 수행합니다.

3. 주요 기여 (Key Contributions)

1. Parallax 패러다임 도입: 추론과 실행의 구조적 분리, 적대적 검증, 정보 흐름 제어, 가역적 실행이라는 4 가지 원칙을 정의하고 시스템 보안 이론에 기반하여 형식화했습니다.
2. OpenParallax 오픈소스 구현: Go 언어로 작성된 참조 구현체로, 위 원칙들을 프로세스 격리, 4 단계 검증 시스템 (Shield), IFC 태깅, 상태 캡처 (Chronicle) 를 통해 구현했습니다.
3. Assume-Compromise Evaluation(가정된 타격 평가) 방법론:
   • 기존 평가 방식은 모델이 안전하다고 가정하고 테스트하지만, Parallax 는 에이전트가 이미 완전히 해킹되었다고 가정하고 LLM 추론을 완전히 우회하여 검증 레이어에 직접 악성 도구 호출을 주입하는 방식으로 테스트합니다.
   • 이는 프롬프트 가드레일이 무력화된 상황에서의 아키텍처의 견고성을 검증합니다.
4. 동적 도구 표면 축소 (Dynamic Tool Surface Reduction): 에이전트가 현재 작업에 필요한 도구만 동적으로 로드하도록 하여, 해킹된 에이전트가 악용할 수 있는 실행 표면 (Attack Surface) 을 최소화합니다.

4. 평가 결과 (Results)

실험 설정:

• 총 280 개의 적대적 테스트 케이스 (9 가지 공격 카테고리 포함) 를 수행.
• Config A (무방어): 검증 없이 실행 (기반선).
• Config C (Parallax 기본 구성): 4 단계 검증 및 IFC 활성화.
• Config C (최대 보안 구성): 모든 동작에 대해 분류기 활성화 (False Positive 증가).

성능 지표:

• 공격 차단률:
  • 기본 구성: 98.9% 차단 (0 개의 오탐지).
  • 최대 보안 구성: 100% 차단 (오탐지율 36%).
• 오탐지율 (False Positive): 기본 구성에서 0% 달성. (일부 행동 유형에 대한 분류기 우회를 통해 오탐지를 제거하고 Tier 2 로 위임하여 정확도 유지).
• 지연 시간 (Latency):
  • Tier 0 (정책): <1ms.
  • Tier 1 (분류기): 약 1.9 초 (현재 ONNX 런타임 초기화 오버헤드 때문, 향후 최적화 예정).
  • Tier 2 (LLM): 외부 API 호출 시간.
  • 대부분의 정상적인 작업은 Tier 0 에서 즉시 처리되어 지연이 거의 없습니다.

주요 발견:

• 프롬프트 가드레일만 있는 경우 (Config B), 에이전트가 해킹되면 보호 기능이 0% 로 작동합니다.
• Parallax 의 아키텍처적 경계는 추론 시스템이 완전히 장악되더라도 100% 유지됩니다.

5. 의의 및 중요성 (Significance)

1. 패러다임의 전환: AI 안전성을 '모델의 행동 교정 (RLHF, Constitutional AI)'에서 **'시스템의 구조적 강제 (Architectural Enforcement)'**로 전환합니다. 모델이 얼마나 안전하든 상관없이, 실행 권한을 구조적으로 차단함으로써 근본적인 보안을 제공합니다.
2. 실제 위협 대응: 프롬프트 인젝션, 간접 인젝션, 멀티 에이전트 전파, 도구 체인 공격 등 실제 운영 환경에서 발생하는 위협에 효과적으로 대응합니다.
3. 확장성: 이 패러다임은 LLM 에 국한되지 않으며, 강화학습, 신경심볼릭 시스템 등 어떤 추론 아키텍처를 사용하든 적용 가능합니다. 또한 로봇 공학 (물리적 행동 제어) 과 같은 임베디드 시스템으로 확장 가능합니다.
4. 규제 준수: EU AI Act 등 새로운 AI 규제에서 요구하는 '인간 감독', '위험 평가', '사후 모니터링'을 기술적으로 구현할 수 있는 인프라를 제공합니다.
5. 미래 지향성: 모델의 안전성 훈련이 실패하거나 새로운 공격 기법이 등장하더라도, 아키텍처적 방어는 유효하므로 AI 에이전트의 자율성이 확대됨에 따라 필수적인 표준이 될 것입니다.

결론적으로, 이 논문은 AI 에이전트가 실세계에 영향을 미칠 수 있는 권한을 가질 때, 단순한 프롬프트 지시나 모델 훈련만으로는 부족하며, 추론과 실행을 물리적으로 분리하고 독립적인 검증 레이어를 두는 구조적 안전성이 필수적임을 증명했습니다.