기술 요약: 부의 속삭임 – 에이전트 결제 프로토콜 (AP2) 에 대한 체계적인 레드팀 연구

1. 문제 제기

대형 언어 모델 (LLM) 기반 에이전트들이 고위험 금융 분야에서 거래를 자동화하기 위해 점점 더 많이 배포되고 있습니다. 암호학적으로 서명된 위임장 (승인, 진위 확인, 책임 소재 확보) 을 통해 이러한 상호작용을 보호하기 위해 **에이전트 결제 프로토콜 (AP2)**과 같은 프로토콜이 도입되었지만, 치명적인 보안 격차가 여전히 존재합니다. AP2 는 실행의 무결성(즉, 서명된 거래가 유효하고 수정되지 않았음을 보장) 을 보장하지만, 에이전트가 맥락적 입력으로부터 거래 위임장을 어떻게 구성하는지 나타내는 추론의 무결성은 보호하지 못합니다.

본 논문은 프롬프트 인젝션을 통해 맥락적 입력에 내재된 적대적 지시가 위임장이 서명되기 전에 에이전트의 의사결정 과정을 조작할 수 있음을 규명합니다. 결과적으로 시스템은 암호학적으로 유효하지만 사용자의 진정한 의도와 근본적으로 불일치하는 거래를 생성할 수 있습니다. 이는 실행의 정확성은 유지되지만 의사결정의 정확성은 훼손되는 취약점을 초래합니다.

2. 방법론

저자들은 기능적인 AP2 기반 쇼핑 에이전트에 대한 체계적인 레드팀 평가를 수행했습니다.

• 시스템 구현: 대상 시스템은 **Google 에이전트 개발 키트 (ADK)**를 사용하여 구축되었으며 Gemini-2.5-Flash 모델로 구동되었습니다. 이는 네 개의 에이전트로 구성된 분산 아키텍처를 갖습니다:
  1. 쇼핑 에이전트: 사용자 의도를 포착하고 워크플로우를 조정합니다.
  2. 상인 에이전트: 제품 발견 및 가격 정보를 제공합니다.
  3. 상인 결제 처리 에이전트: 결제를 검증하고 처리합니다.
  4. 자격 증명 제공 에이전트: 사용자 자격 증명 및 결제 데이터를 관리합니다.
• 워크플로우: 시스템은 표준 AP2 인간 개입 워크플로우를 따릅니다: 의도 위임장, 장바구니 위임장, 그리고 최종적으로 결제 위임장을 생성하며, 각각은 사용자 승인 및 암호학적 서명을 요구합니다.
• 공격 벡터: 두 가지 특정 추론 계층 공격이 서로 다른 신뢰 경계를 표적으로 하여 설계되었습니다:
  1. 브랜드 속삭임 공격 (간접 프롬프트 인젝션): 악성 상인 에이전트가 제공하는 제품 메타데이터 (예: 제품 설명) 내에 적대적 지시가 내재됩니다. 목표는 쇼핑 에이전트의 순위 매기기 논리를 조작하여 공격자의 제품을 최우선으로 배치하는 것입니다.
  2. 금고 속삭임 공격 (직접 프롬프트 인젝션): 악성 사용자가 상호작용 중 조작된 프롬프트를 제출하여 신원 제약을 우회하고 시스템이 다른 사용자의 민감한 데이터를 공개하도록 유도합니다.
• 평가 지표: 연구는 순위 조작에 대해 **공격 성공률 (ASR)**을, 자격 증명 공격에 대해 고위험 데이터 노출률을 사용했습니다. 실험은 합성 데이터를 사용하여 격리된 환경에서 조건별 10 회 독립적인 시도로 수행되었습니다.

3. 주요 기여

본 논문은 두 가지 새로운 공격 기법을 도입하고 AP2 프레임워크 내 프롬프트 인젝션 취약점에 대한 최초의 체계적 평가를 제공합니다:

• 브랜드 속삭임 공격: 외부 데이터 (제품 설명) 내의 적대적 콘텐츠가 의미적 관련성과 사용자 제약을 무시하고 에이전트가 특정 제품을 최상위로 순위 매기도록 강제할 수 있음을 시연합니다.
• 금고 속삭임 공격: 직접적인 사용자 프롬프트가 추론 계층 접근 제어를 우회하여 사용자 간 데이터 유출 (예: 다른 사용자의 자격 증명 검색) 로 이어질 수 있음을 시연합니다.
• 위험 모델 정제: 저자들은 AP2 스타일 아키텍처에서 실행 무결성(암호학으로 보호됨) 과 추론 무결성(프롬프트 인젝션에 취약함) 간의 분리가 근본적인 공격 표면임을 명확히 합니다.

4. 결과

평가 결과 30 회 총 시도를 통해 다음과 같은 정량적 결과가 도출되었습니다:

• 기선 성능: 유해하지 않은 조건 하에서 시스템은 0% 의 공격 성공률을 보였으며, 제품 순위가 사용자 의도와 정확히 일치했습니다.
• 브랜드 속삭임 공격: 공격은 100% 의 성공률(10/10 시도) 을 달성했습니다. 모든 경우에서 주입된 제품은 사용자의 질의와 관련성 여부와 상관없이 1 위로 순위 매겨졌습니다. 이 시도 중 60% 에서 순위 매기기는 명시적으로 사용자 제약 (예: 브랜드 선호도) 에 반했습니다.
• 금고 속삭임 공격: 공격은 20% 의 고위험 데이터 노출(2/10 시도) 을 초래했는데, 이는 시스템이 다른 사용자와 관련된 민감한 데이터를 검색한 경우입니다. 추가적으로 30% 의 시도에서 시스템이 무단 데이터 접근을 부분적으로 시도하여, 추론 계층에서 신원 제약의 불일치적인 집행을 나타냈습니다.

주요 관찰: 모든 성공적인 공격은 암호학적으로 유효한 거래를 생성했습니다. 암호학적 서명은 위임장의 실행을 검증했지만, 위임장의 구성은 적대적 추론에 의해 전복되었습니다.

5. 중요성과 주장

본 논문은 그 연구 결과가 현재 에이전트 중개 결제 시스템의 근본적인 한계를 드러낸다고 주장합니다: 암호학적 보장은 실행의 정확성을 보장하지만 의사결정을 보호하지는 못합니다.

• 핵심 논지: 에이전트 중개 상업을 보호하려면 암호학적 위임장만으로는 부족합니다. 암호학적 검증이 발생하기 전에 적대적 입력이 결정 (순위 매기기, 데이터 접근) 에 영향을 미칠 수 있으므로 추론 과정 자체를 보호해야 합니다.
• 시사점: 본 연구는 기존 방어 기법이 실행 검증에 초점을 맞추고 입력 필터링 및 추론 제약에는 미흡하기 때문에 불충분하다고 주장합니다.
• 제안된 완화 방안: 저자들은 다음과 같은 계층적 방어 전략을 제안합니다:
  • 전용 프롬프트 인젝션 탐지기 (예: PIGuard, DataSentinel) 를 사용하여 외부/검색된 콘텐츠를 필터링합니다.
  • LLM 의 추론 루프 외부에서 최소 권한 접근을 강제하기 위해 민감한 도구 호출에 대한 독립적인 사후 추론 검증 (가드레일) 을 구현합니다.
  • 추론을 보안-중요 의사결정 논리에서 분리합니다.

본 논문은 AP2 가 거래 검증에 대한 견고한 프레임워크를 제공하지만, 자율 금융 에이전트의 안전한 배포는 맥락적 입력이 에이전트 추론에 영향을 미치는 방식을 제한하는 메커니즘을 개발하는 데 달려 있다고 결론지었습니다.