기술 요약: Twin Agent – 권한 분리된 에이전트를 위한 컨텍스트 잔차 압축 (Context Residual Compression)

1. 문제 정의

개방형 환경에서 작동하는 대규모 언어 모델(LLM) 에이전트는 특히 **프롬프트 인젝션 공격(prompt injection attacks)**과 같은 심각한 보안 위험에 직면해 있습니다. 이러한 시나리오에서 신뢰할 수 없는 입력(예: 검색된 문서, 웹 콘텐츠, 도구 출력)은 에이전트의 후속 추론 및 도구 사용을 조작하여 승인되지 않거나 해로운 동작을 유발할 수 있습니다.

기존의 보안 설계(secure-by-design) 접근 방식은 신뢰할 수 없는 관찰값과 특권 있는 실행을 분리함으로써(예: Dual LLM 패턴) 이를 완화하려고 시도합니다. 그러나 이러한 방법들은 종-종 두 가지 결정적인 한계점을 가집니다:

1. 유틸리티 저하 (Utility Degradation): 엄격한 분리 또는 경직된 "계획 우선(plan-first)" 워크플로우는 반복적인 탐색과 동적 피드백이 필요한 장기적 호라이즌의 적응형 작업(예: 소프트웨어 엔지니어링)에서 작업 유틸리티를 보존하는 데 실패하는 경우가 많습니다.
2. 엔지니어링 오버헤드 (Engineering Overhead): 많은 솔루션은 광범위한 작업별 엔지니어링, 고정된 통신 프로토콜 또는 경직된 데이터 타입을 요구하므로, 이질적인 에이전트 작업 전반에 걸쳐 적응하기 어렵습니다.

핵심 과제는 보안(정보 흐름이 공격을 가능하게 하는 것을 방지)과 유틸리티(에이전트가 작업을 수행하는 데 충분한 정보를 제공하는 것) 사이의 균형을 맞추는 것입니다.

2. 방법론: Twin Agent

저자들은 **잔차 코딩(residual coding)**에서 영감을 받은 일반적인 권한 분리 디자인 패턴인 Twin Agent를 제안합니다. 핵심 통찰은 보안 통신이 절대적인 정보가 아닌 차분적(differential) 정보일 때 더 효과적이라는 점입니다. 전체 신뢰할 수 없는 컨텍스트의 정제된 요약을 전송하는 대신, 시스템은 다음 의사결정에 필요한 **잔차 정보(residual information)**만을 전송합니다.

아키텍처

Twin Agent는 거의 대칭적인 두 개의 에이전트로 구성됩니다:

1. 탐색 에이전트 (Explore Agent):
   • 전체 **신뢰할 수 없는 영역($U$)**과 신뢰할 수 있는 작업 명세를 관찰합니다.
   • 특권 있는 동작을 실행할 수 없습니다.
   • 역할은 신뢰할 수 없는 정보를 검사하고 작업 관련 "힌트(hints)"를 추출하는 것입니다.
2. 안전 에이전트 (Safe Agent):
   • 특권 있는 동작(예: 코드 실행, 파일 시스템 액세스)을 실행합니다.
   • 신뢰할 수 없는 정보($U$)를 직접 관찰할 수 없습니다.
   • 권위 있는 상호작용 이력을 유지합니다.
   • 탐색 에이전트로부터 **압축된 힌트(compact hint)**만을 전달받습니다.

메커니즘: 컨텍스트 잔차 압축 (Context Residual Compression)

시스템은 안전 에이전트가 이미 현재 작업 상태($I^{(s)}_t$)를 보유하고 있다는 원칙에 따라 작동합니다. 따라서 탐색 에이전트는 전체 컨텍스트를 재전송할 필요가 없습니다. 대신, 탐색 에이전트는 안전 에이전트의 현재 상태를 조건으로 하여, 다음 행동을 결정하는 데 필요한 작업 관련 잔차 정보를 포함하는 **힌트($H^{(e)}_t$)**를 생성합니다.

이는 탐색 에이전트가 엄격한 정보 예산(information budget)(글자 수 제한)을 준수하면서, 안전 에이전트의 행동과 원래의 유틸리티 지향적 행동 사이의 불일치를 최소화하는 힌트를 찾는 최적화 문제로 공식화됩니다:
$$\min_{H^{(e)}_t} D(\pi_s(T, H^{(e)}_t, I^{(s)}_t), \pi(T, U, I^{(s)}_t)) \quad \text{subject to} \quad \text{Budget}(H^{(e)}_t) \leq b$$

보안 가정

Twin Agent의 보안은 두 가지 주요 가정에 의존합니다:

1. 길이 의존적 공격 (Length-Dependent Attacks): 프론트리어 모델을 프롬프트 인젝션으로 공격하려면 일반적으로 긴 인젝션이 필요합니다. 힌트 길이를 엄격히 제한함으로써(예: 100~200자), 시스템은 충분한 공격 전달 정보를 전송하는 것을 방지합니다.
2. 탐지기 회피 (Detector Evasion): 시스템은 힌트에 대해 기성 프롬프트 인젝션 탐지기를 사용합니다. 가정은 짧은 인젝션이 탐지를 회피하면서 동시에 안전 에이전트를 성공적으로 공격하는 것을 찾는 것이 계산적으로 불가능하다는 것입니다.

3. 주요 기여

1. Twin Agent 디자인: 유틸리티를 보존하면서 정보 흐름을 제어하는 권한 분리 아키텍처를 제공합니다. 이는 최소한의 작업별 워크플로 엔지니어링만으로 기존 ReAct 패턴의 "드롭인(drop-in)" 교체 모델로 작동합니다.
2. 압축된 정보 흐름 공식화: 본 논문은 보안 에이전트 설계를 압축된 정보 흐름 문제로 재정의합니다. 보안-유틸리티 트레이드오프를 단순히 정보를 차단하는 것이 아니라, 다음 단계를 위해 필요한 "잔차" 컨텍스트만을 전송함으로써 제어 가능한 파라미터로 다룹니다.
3. 실증적 검증: 다양한 벤치마크를 통한 포괄적인 평가를 통해 Twin Agent가 방어되지 않은 에이전트 및 기존의 권한 분리 베이스라인보다 우수함을 입증했습니다.

4. 실험 결과

저자들은 세 가지 벤치마크인 SWE-bench Lite(장기 호라이즌 소프트웨어 엔지니어링), AgentDojo(이질적인 멀티 툴 상호작용), DecodingTrust-Agent에서 Twin Agent를 평가했습니다.

성능 지표

• 유틸리티 (Utility): 작업이 성공적으로 완료된 비율.
• 공격 성공률 (Attack Success Rate, ASR): 에이전트가 주입된 명령을 따르는 공격의 비율.

주요 결과

• SWE-bench-injected:
  • 방어되지 않은 에이전트 (Undefended Agent): 유틸리티 61.2%, ASR 97.0%.
  • Dual Agent (엄격한 분리): 유틸리티 0.0%, ASR 0.0% (전체 유틸리티 손실).
  • Twin Agent: 유틸리티 62.5%, ASR 0.0%. Twin Agent는 유틸리티를 보존하면서 공격을 완전히 무력화했습니다.
• AgentDojo:
  • 방어되지 않은 에이전트: 유틸리티 61.9%, ASR 41.5%.
  • CaMeL (계획 우선): 유틸리티 30.9%, ASR 0.0%.
  • Twin Agent: 유틸리티 62.9%, ASR 0.1%.
• DecodingTrust-Agent:
  • Twin Agent는 ASR을 베이스라인의 10-26%에서 ~3.3%로 낮추면서 높은 유틸리티(93-95%)를 유지했습니다.

적응형 공격 (Adaptive Attacks)

(힌트를 최적화하기 위해 PAIR 알고리즘을 사용하는) 최악의 경우인 적응형 공격 시나리오의 SWE-bench 테스트 결과:

• 안전 에이전트는 단일 턴 공격에 저항했습니다 (ASR 0.0%).
• 최적화된 페이로드를 전달하도록 강제되었을 때 탐색 에이전트는 완전히 침해되었습니다 (ASR 100%).
• 멀티 턴 설정에서 전체 ASR은 **4.7%**였습니다. 저자들은 이러한 실패가 확률적(비결정론적 모델 동작)이며, 개선된 가드레일이나 투표 메커니즘을 통해 더 줄일 수 있다고 언급했습니다.

트레이드오프 분석

힌트 예산(50~200자)을 변화시키며 수행한 실험은 이론적 트레이드오프를 확인시켜 주었습니다:

• 높은 예산: 유틸리티는 증가하지만(더 많은 잔차 정보), ASR도 증가합니다(더 큰 공격 표면).
• 낮은 예산: 보안성은 높아지지만 유틸리티 저하의 위험이 있습니다.
• 비용: Twin Agent는 최적의 예산에서 베이스라인 에이전트보다 약 두 배의 비용이 발생하지만, 저자들은 이를 추가된 보안을 위한 합리적인 트레이드오프라고 간주합니다.

5. 의의 및 주장

본 논문은 Twin Agent가 작업 유틸리티를 희생하지 않으면서 프롬프트 인젝션 문제에 대한 원칙적이고 일반화 가능한 솔루션을 제공한다고 주장합니다. "절대적" 정보 차단에서 "잔차" 정보 압축으로 전환함으로써, 이 디자인은 다음과 같은 이점을 가집니다:

• 통합: 보안과 유틸리티를 결합합니다. 즉, 보안-유틸리티 트레이드오프를 이진 선택이 아닌 튜닝 가능한 파라미터(힌트 예산)로 취급합니다.
• 일반화: 경직된 작업별 프로토콜 없이도 이질적인 에이전트 아키텍처(소프트웨어 엔지니어링, 멀티 툴 상호작용)에 적용 가능합니다.
• 실용성: 기존의 유틸리티 지향적 에이전트에 대한 "드롭인" 방어책을 제공하여 현재 시스템의 안전한 적응을 용이하게 합니다.

저자들은 이 접근 방식이 현재 공식적인 보안 보증이 부족하며 제한된 도메인 세트에서 평가되었다는 점을 인정하며 한계를 명시했습니다. 그러나 실험 결과는 적응적이면서도 안전한 LLM 에이전트를 구축하기 위한 강력한 경로를 보여준다고 주장합니다.