기술 요약: LLM 에이전트를 위한 컨텍스트-실행 무결성 (Context-to-Execution Integrity, CXI)

1. 문제 정의

대규모 언어 모델(LLM) 에이전트는 점점 더 공격자가 수정 가능한 컨텍스트(예: CI 로그, 이슈 댓글, 검색된 청크, 도구 출력)를 읽고, 이를 바탕으로 실제 부작용(예: 파일 쓰기, 데이터베이스 쿼리, API 호출)을 유발하는 동작을 제안함으로써 작동합니다. 식별된 핵심 보안 실패는 **권한 세탁(authority laundering)**입니다. 이는 신뢰할 수 없는 텍스트가 단지 증거로서만 기능해야 함에도 불구하고, 도구를 선택하거나 작업을 승인하거나 권한이 있는 부작용의 파라미터를 설정할 수 있는 권한을 갖게 되는 시스템을 의미합니다.

현재의 보안 접근 방식은 종ist종 스키마 검증이나 전체 호출에 대한 신뢰에 의존하지만, 이는 불충분합니다. 도구 호출은 구문적으로 유효할 수 있지만(올바른 JSON 구조), 그 의미론적 필드(예: tool, operation, approval_state)가 신뢰할 수 없는 소스에서 유래되었다면 문제가 됩니다. 본 논문은 보안 경계가 "텍text가 그럴듯한가?"에서 "각 보호된 필드의 특정 값이 이 특정 부작용을 실행하기 위한 필요한 권한을 갖추고 있는가?"로 전환되어야 한다고 주장합니다.

2. 방법론: 컨텍스트-실행 무결성 (CXI)

CXI는 모델의 제안(proposal)과 싱크(sink) 실행 사이의 전이를 중재하도록 설계된 실행 경계 시스템입니다. 이는 세 가지 별도의 권한 구성 요소가 동일한 **정형 액션 매니페스트(canonical action manifest)**에 결합될 때만 부작용이 발생하도록 엄격한 허용 정책을 강제합니다.

1. 필드 권한 (Field Authority): 보호된 싱크 필드(예: 파일 경로, 도구 이름)는 반드시 권한이 있어야 합니다.
2. 효과 권한 (Effect Authority): 싱크에서 해석되는 페이로드(예: 패치, SQL, 셸 명령)는 특정 의미론적 효과에 대해 권한이 있어야 합니다.
3. 호출 권한 (Invocation Authority): 싱크를 호출하는 이벤트(재시도, 배치 처리, 스케줄링 포함)는 반드시 권한이 있어야 합니다.

핵심 메커니즘

• 타입화된 릴리스 (Typed Releases, D): 신뢰할 수 없는 쓰기 가능 컨텍스트($W$)는 보호된 필드($X$)를 직접 승인할 수 없습니다. 대신, 신뢰할 수 있는 코드(디클래시파이어, declassifiers)가 $W$를 검증하고 좁은 범위의 목적지 스코프를 가진 타입화된 릴리스를 발행해야 합니다. 예를 들어, 로그 라인은 file_path 인자를 위한 FilePath 릴리스를 생성하도록 검증될 수 있지만, 해당 텍스트가 tool 선택을 승인할 수는 없습니다.
• 불투명 데이터 (Opaque Data, O): 신뢰할 수 없는 텍는 증거(예: 댓글, 로그)를 위해 "불투명 데이터 슬롯"에 복사될 수 있지만, 어떠한 권한도 갖지 않습니다. 이 데이터가 나중에 부작용 경계로 다시 유입되면, 다시 쓰기 가능한 컨텍스트로 취급됩니다.
• 정확한 효과 승인 (Exact-Effect Authorization): 구성적 페이로드(패치, SQL, CI YAML)의 경우, 시스템은 단순히 페이로드 바이트를 확인하는 것이 아닙니다. **효과 어댑터(Effect Adapters)**를 사용하여 신뢰할 수 있는 스냅샷(예: 저장소 상태, 정책 에포크) 하에서 싱크가 적용할 정확한 의미론적 효과를 계산합니다. 실행은 이 특정 효과 약속(commitment)에 결합됩니다.
• 매니페스트 결합 게이트 (Manifest-Bound Gate): 결정론적인 게이트는 제안된 액션을 **액션 매니페스트(Action Manifest)**로 정형화합니다. 이 매니페스트는 액션 논스(nonce), 필드 증거 다이제스트, 효과 승인 다이제스트 및 호출 권한 다의 디제스트를 기록합니다.
• 호출 능력 (Invocation Capabilities): 게이트는 실행 전에 매니페스트에 결합된 호출 능력(선형화 가능한 리스, linearizable lease)을 소비합니다. 이는 재전송 공격, 승인되지 않은 재시도 또는 배치 카디널리티 변경을 방지합니다.

프로비넌스(Provenance) 및 증거

CXI는 바이트의 기원이 아닌 영향력의 프로비넌스를 추적합니다.

• 오픈 웨이트 경로 (Open-Weight Path): 내부 상태에 접근할 수 있는 모델(예: vLLM)의 경우, 시스템은 보호된 필드 디코딩을 특정 토큰 범위 및 어텐션 마스크에 결합하는 백엔드 증거 레코드를 생성하여, 신뢰할 수 없는 컨텍스트가 보호된 필드 생성에 영향을 미치지 않았음을 보장합니다.
• 호스팅/API 경로 (Hosted/API Path): 내부 상태가 숨겨진 API의 경우, 시스템은 필드 로컬 구성 증거에 의존합니다. 여기서 호스트는 필드 작성자가 신뢰할 수 있는 상태와 유효한 타입화된 릴리스만을 보도록 보장하며, 불투명 데이터는 작성자의 컨텍스트에서 제외됩니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 정의하고 평가합니다.

1. CXI의 정의: 모델의 제안이 실행 가능해지기 전에 보호된 선택, 싱크 해석 효과 및 호출 이벤트가 각각 동일한 액션에 대한 권한을 지녀야 한다는 형식적 요구사항을 정의합니다.
2. 매니페스트 결합 허용 시스템: 보호된 필드 증거, 정확한 효과 승인, 소비 가능한 호출 능력을 하나의 결정론적 게이트에 의해 강제되는 단일 싱크 결정으로 구성하는 설계를 제시합니다.
3. 포괄적 평가: 오픈 웨이트 필드 투영 경로, AgentDojo 라이브 에피소드, 코드 에이전트 정확한 효과 벤치마크, 레저(ledger) 결함 주입, 호스팅/API 호환성 트레이스를 통한 평가를 수행합니다.

4. 평가 결과

평가는 태스크 유틸리티(에이전트가 문제를 해결했는가?)와 허용 무결성(승인되지 않은 권한이 경계를 넘었는가?)을 분리하여 수행되었습니다.

• AgentDojo 라이브 에피소드: 720개의 라이브 에피소드와 1,739개의 LLM 호출에 걸쳐, CXI는 보호된 허용에서 필드, 효과 또는 호출 탈출(escape)을 **제로(0)**로 관찰했습니다.
• 코드-에이전트 정확한 효과 벤치마크: 400개의 저장소 에피소드에서 시스템은 231개의 안전한 태스크 완수를 달성했습니다. 결정적으로, 관찰된 필드, 효과 또는 호출 탈출는 **제로(0)**였습니다.
  • 참고 (실패 사례): 미완료 사례는 파싱 실패(73건), 효과 승인 부족(61건) 또는 태스크 품질 문제(35건)로 귀인되었으며, 보안 침해는 아니었습니다.
• 제안 압력 (Proposal Pressure): 시스템은 모델이 승인되지 않은 필드를 선택하려고 시도하는 상당한 "제안 압력"을 관찰했습니다(유틸리티 적대적 환경에서 300건 중 196건). 그러나 게이트는 이러한 시도를 성공적으로 차단하여, **실행된 탈출은 제로(0)**였습니다.
• 레저 결함 (Ledger Faults): 매니페스트 결합 레저 테스트에서 시스템은 중복 허용을 성공적으로 거부하고 이중 지불을 억제하여, 호출 능력 소비의 무결성을 확인했습니다.
• 베이스라인과의 비교:
  • 스키마 전용 검증: 승인되지 않은 실행을 100% 허용했습니다 (W 유래 값이 보호된 필드를 채움).
  • 인자 역할 프로비넌스 근사치: 호출 이벤트 및 백엔드 바인딩 실패를 차단하는 데 실패했습니다.
  • CXI: 메커니즘 베이스라인에서 6/6의 유틸리티 케이스를 보존하면서 20/20의 공격 케이스를 모두 차단했습니다.

5. 의의 및 주장

본 논문은 CXI를 모든 에이전트 안전 문제에 대한 일반적인 솔루션이 아니라, 중재된 싱크(mediated sinks)를 위한 구체적인 시스템 속성으로 포지셔닝합니다.

• 명시적 경계: CXI는 컨텍스트에서 실행으로의 전이를 명시적이고, 체크 가능하며, 실패 시 차단(fail-closed)되도록 만듭니다. 검증기가 완전하거나, 태스크가 정확하거나, 제공자의 내부를 관찰할 수 있다고 주장하지 않습니다. 대신, 만약 어떤 액션이 실행된다면, 그것은 해당 액션에 대한 특정 권한 체인이 완료되었기 때문임을 보장합니다.
• 제한된 범위: 저자들은 태스크 품질, 검증기 완전성, 외부의 정확히 한 번 전달(exactly-once delivery)은 별개의 의무임을 명시합니다. CXI는 실행의 내용이 바람직한지 또는 모델의 추론이 타당한지를 보장하는 것이 아니라, 실행의 권한이 올바른지를 보장합니다.
• 정책 중심: 시스템은 신뢰할 수 있는 정책 작업(필드 분류, 디클래시파이어 계약, 효과 검증기)에 의존합니다. 누락된 정책을 추론하지 않습니다. 필드가 분류되지 않거나 싱크가 중재되지 않은 경우, 보장은 성립하지 않습니다.
• 증거의 가변성: 논문은 배포 환경에 따라 증거가 달라짐을 인정합니다. 오픈 웨이트 배포는 어텐션 마스크를 통해 백엔드 강제를 증명할 수 있는 반면, 호스팅/API 배포는 호스트가 관찰한 구성 경계만을 증명할 수 있습니다. 그러나 두 방식 모두 동일한 매니페스트 결합 게이트 로직으로 피딩됩니다.

요약하자면, CXI는 신뢰할 수 없는 텍스트가 명시적이고 검증되었으며 범위가 지정된 채널(타입화된 릴리스, 정확한 효과 약속, 호출 능력)을 통해서만 부작용에 영향을 미칠 수 있도록 함으로써 권한 세탁을 방지하는 메커니즘을 제공합니다.