기술 요약: 언어 기반 에이전트 제어 (LBAC)

문제 정의

주류 에이전트 프레임워크는 현재 표현력과 제어 사이의 트레이드오프를 강요합니다.

• 도구 기반 시스템은 에이전트를 고정된 행동 집합으로 제한함으로써 강력한 제어를 제공하지만, 임의의 계산과 복잡한 구성을 방해하는 제한된 표현력으로 인해 고통받습니다.
• 샌드박스화된 인터프리터(예: Python 또는 셸 환경)는 에이전트가 임의의 코드를 작성할 수 있게 함으로써 표현력을 극대화하지만, 파일 시스템 또는 네트워크 접근과 같은 거친 입자 수준의 시스템 정책만 강제합니다. 이들은 데이터 출처, 세밀한 정보 흐름, 또는 하위 에이전트에 대한 작업 범위 제한과 같은 애플리케이션 수준의 정책을 강제하는 데 어려움을 겪습니다.

프롬프트 인젝션에 대한 기존 접근 방식은 종종 엄격한 코드/데이터 분리 같은 아키텍처 제약에 의존하며, 이는 에이전트가 데이터 읽기와 도구 사용을 교차시키는 능력을 제한합니다.

방법론: 언어 기반 에이전트 제어 (LBAC)

이 논문은 에이전트를 순수하고 타입 안전한 호스트 언어(여기서는 Haskell 로 시연됨) 에 내장하는 프로그래밍 모델인 **언어 기반 에이전트 제어 (LBAC)**를 소개합니다. 핵심 전제는 개발자용 발판, 에이전트가 생성한 코드, 라이브러리 코드를 포함한 전체 에이전트 시스템이 단일 타입 환경 내에 존재한다면, 표준 프로그래밍 언어 (PL) 기법이 정책 준수를 보장할 수 있다는 것입니다.

핵심 메커니즘

1. 통합된 타입 환경: 에이전트는 호스트 언어로 코드를 생성하여 세계와 상호작용합니다. 발판과 라이브러리는 동일한 언어로 작성됩니다.
2. 타입으로서의 정책: 보안 정책은 타입 시그니처를 통해 표현됩니다.
   • 추상 데이터 타입: 불투명 타입 (예: Trusted Bib) 은 에이전트가 직접 값을 구성하는 것을 방지합니다. 에이전트는 승인된 API 를 통해 이를 획득해야 합니다.
   • 효과 시스템 (순수성): 순수 언어에서 모든 부작용 (I/O, 상태 변경) 은 타입에 반영되어야 합니다. 사용자 정의 효과 타입 (예: BibIO, RIO, DC) 을 정의함으로써 시스템은 에이전트가 승인된 작업만 수행하도록 제한합니다.
3. 런타임 강제 루프:
   • 시스템은 프롬프트, 사용 가능한 정의, 그리고 목표 타입을 기반으로 LLM 에게 프로그램을 생성하도록 요청합니다.
   • 생성된 프로그램은 실행 전에 목표 타입에 대해 타입 검사됩니다.
   • 프로그램이 타입 검사를 통과하지 못하는 경우 (예: 금지된 함수 사용 시도 또는 정보 흐름 제약 위반), 오류가 모델에게 반환되어 재시도합니다.
   • 통과하면 프로그램이 실행됩니다.

주요 기능

• 재귀적 에이전트: 에이전트는 하위 에이전트를 재귀적으로 호출할 수 있습니다. 정책은 계층적으로 구성되며, 재귀 호출이 동일한 타입 컨텍스트 내에서 발생하므로 하위 에이전트는 부모의 정책 제약 (또는 더 엄격한 제약) 을 상속받습니다.
• 표현력: 결과 프로그램이 타입 검사를 통과하는 한, 에이전트는 임의의 부작용 없는 계산을 수행하고 작업을 자유롭게 구성할 수 있습니다.
• PL 연구의 재사용: LBAC 는 수정 없이 기존에 검증된 라이브러리를 활용하여 기능, 정보 흐름 제어 (IFC), 그리고 자원 경계를 지원합니다.

주요 기여

1. LBAC 프로그래밍 모델: 에이전트를 순수하고 타입이 지정된 언어에 내장하고 정책을 타입으로 표현함으로써 강력한 제어와 높은 표현력을 조화시키는 새로운 모델.
2. TYPEGUARD: Haskell 으로 구현된 LBAC 의 실용적 구현체.
3. 사례 연구 및 평가:
   • 데이터 출처: 추상 타입을 사용하여 참고문헌 항목이 DBLP 와 같은 신뢰할 수 있는 데이터베이스에서만 유래하도록 보장.
   • 파일 시스템 샌드박스: 위조 불가능한 Path 토큰을 사용하여 특정 디렉토리 하위 트리에 대한 능력 기반 접근을 강제하고, 경로 탐색 및 무단 파일 접근을 방지.
   • 정보 흐름 제어 (IFC): LIO 라이브러리와 통합하여 기밀성 및 무결성 레이블을 추적하고, 신뢰할 수 없는 소스에서 신뢰할 수 있는 싱크로의 데이터 유출을 방지.

결과

저자들은 AgentDojo Slack 스위트 (21 개 사용자 작업, 5 개 인젝션 작업, 총 105 개 공격 조합) 에서 CaMeL(이중 LLM 시스템) 과 TYPEGUARD 를 평가했습니다.

• 유틸리티: TYPEGUARD 와 CaMeL 은 모두 선의 및 공격 시나리오에서 비슷한 작업 유틸리티(pass@1) 를 달성했습니다. 작업 완료 차이에 대한 95% 신뢰 구간은 0 을 포함했습니다.
• 보안: 정책이 활성화되었을 때 두 시스템 모두 완벽한 보안(모든 인젝션 시도 차단) 을 달성했습니다.
• 트레이드오프: 정책 활성화는 두 시스템 모두의 유틸리티를 감소시켰는데, 이는 제한적인 정책이 안전하다고 증명할 수 없는 흐름 (예: 신뢰할 수 없는 채널 콘텐츠 전달) 을 보수적으로 거부하기 때문입니다. 그러나 LBAC 는 코드/데이터 분리의 아키텍처 오버헤드 없이 이를 달성했습니다.

중요성과 주장

이 논문은 에이전트 제어가 근본적으로 프로그래밍 언어 문제라고 주장합니다.

• 통합된 보장: 아키텍처 분리를 통해 프롬프트 인젝션에 초점을 맞춘 이전 작업과 달리, LBAC 는 타입 시스템을 사용하여 전체 에이전트 애플리케이션 (발판과 에이전트 코드 모두) 에 걸쳐 통합된 보장을 제공합니다.
• 유연성: LBAC 는 에이전트가 추론, 도구 사용, 코드 생성을 역동적으로 교차할 수 있게 하여 경직된 코드/데이터 분리의 필요성을 제거합니다.
• 확장성: 이 접근 방식은 기존 PL 메커니즘을 재사용함으로써 기능, 출처, IFC, 자원 경계 등 다양한 정책을 자연스럽게 지원합니다. 저자들은 더 풍부한 타입 체계 (정제 타입, 선형 타입, 등급 타입) 가 자원 경계 및 종료 속성에 대한 보장을 더욱 확장할 수 있다고 제안합니다.

이 연구는 에이전트가 생성한 코드를 타입이 지정된 런타임 내에서 1 급 시민으로 취급함으로써, 복잡한 에이전트 워크플로우에 필요한 구성 가능성과 표현력을 희생하지 않으면서 세밀한 애플리케이션 수준의 보안 정책을 강제할 수 있음을 보여줍니다.