기술 요약: IPI-proxy

문제 정의

기업 환경에서 웹 브라우징 AI 에이전트의 급증은 **간접 프롬프트 인젝션 (IPI)**이라는 치명적인 보안 취약점을 야기했습니다. 직접 프롬프트 인젝션이 적대자가 모델과 직접 상호작용하는 것과 달리, IPI 는 에이전트가 숨겨진 지시사항이 포함된 제 3 자 콘텐츠 (예: 웹 페이지, 문서) 를 검색하고, 모델이 이를 합법적인 사용자 명령으로 실행할 때 발생합니다.

현재의 레드팀링 방법론과 벤치마크는 다음 세 가지 주요 격차로 인해 현실적인 기업 환경에서 IPI 를 적절히 다루지 못합니다:

1. 화이트리스트 불일치: 기존 벤치마크 (예: BIPIA, InjecAgent) 는 적대자가 통제하는 도메인에 호스팅된 적대적 페이지에 의존합니다. 엄격한 기업 화이트리스트 (예: *.clientcorp.com) 로 제한된 에이전트는 정책을 위반하지 않고는 이러한 페이지에 접근할 수 없으므로, 테스트는 생산 환경과 유사한 시나리오에 유효하지 않습니다.
2. 정적 콘텐츠: 벤치마크는 일반적으로 고정된 사전 구축된 적대적 페이지를 제공합니다. 이는 적대자가 댓글, 위키, 제 3 자 위젯을 통해 신뢰할 수 있는 도메인에 콘텐츠를 주입하는 실제 세계 공격의 "실시간" 특성을 시뮬레이션하지 못합니다.
3. 모델 중심 범위: 일반적인 레드팀링 도구 (예: PyRIT, garak) 와 탐지 시스템 (예: Rebuff) 은 LLM API 를 직접 탐지합니다. 이들은 신뢰할 수 없는 콘텐츠가 도구 사용 에이전트에 도달하는 경로인 검색 표면 (retrieval surface) 을 테스트하지 않으며, IPI 가 가장 빈번하게 나타나는 부분입니다.

방법론

저자들은 정적 벤치마크와 실시간 배포 간의 격차를 해소하도록 설계된 오픈소스 툴킷인 IPI-proxy를 제안합니다. 핵심 혁신은 아키텍처의 반전에 있습니다. 에이전트가 적대자가 통제하는 URL 을 방문하도록 강요하는 대신, IPI-proxy 는 에이전트가 이미 방문이 허용된 도메인에서 HTTP 응답을 가로채고 수정합니다.

시스템 아키텍처

IPI-proxy 는 mitmproxy 기반의 네트워크 수준 Man-in-the-Middle (MITM) 프록시로 작동합니다. 이는 다섯 가지 주요 구성 요소로 이루어져 있습니다:

1. 프록시 애드온: 나가는 HTTP 응답을 검사하는 응답 핸들러를 등록합니다. 대상 패턴에 대해 목적지 URL 을 검증하고, 콘텐츠가 HTML 인지 확인하며, 인젝션 예산을 점검한 후 진행합니다.
2. 통합 페이로드 라이브러리: 여섯 가지 기존 벤치마크 (BIPIA, InjecAgent, AgentDojo, Tensor Trust, WASP, LLMail-Inject) 에서 추출된 820 개의 공격 문자열이 포함된 중복 제거된 JSONL 파일입니다. 이들은 통합 스키마 하에 표준화되었습니다.
3. 임베딩 템플릿: LLM 에는 표시되지만 인간의 검사를 우회하기 위해 페이로드는 세 가지 기법으로 래핑됩니다:
   • HTML 주석: <!-- --> 블록 내부에 배치됩니다.
   • 투명 CSS: display: none 스타일과 화면 밖 위치 설정이 적용된 <div> 요소로 감싸집니다.
   • 의미론적 산문: 타당한 편집 텍스트에 통합되며, 필요 시 더 높은 우회를 위해 LLM (예: Claude) 에 의해 생성될 수 있습니다.
4. HTML 인젝터: 래핑된 페이로드를 HTML 문서 내 여섯 가지 특정 위치 중 하나에 삽입합니다 (예: head_meta, body_top, sidebar, script_comment). 특정 앵커가 누락된 경우, 인젝션 성공을 보장하기 위해 시스템은 더 거친 앵커로 대체합니다.
5. 유출 추적기: 콜백을 기록하는 경량 FastAPI 서비스입니다. 에이전트가 주입된 지시를 따라 이 추적기로 데이터를 전송하면, 테스트는 성공적인 유출로 표시됩니다.

워크플로우

1. 에이전트가 화이트리스트에 포함된 도메인의 URL 을 요청합니다.
2. 프록시는 해당 요청을 업스트림 서버로 전달합니다.
3. 원래 HTML 응답을 수신하면 프록시는 YAML 로 구성된 필터 (공격 유형, 소스 벤치마크, 심각도) 를 기반으로 페이로드를 선택합니다.
4. 페이로드는 래핑되어 구성된 삽입 지점에 HTML 에 주입됩니다.
5. 수정된 HTML 이 에이전트에게 반환됩니다.
6. 에이전트가 주입된 지시를 실행하여 유출 추적기에 접속하면, 해당 이벤트가 기록됩니다.

주요 기여

• 화이트리스트 존중형 레드팀링: IPI-proxy 는 모의 페이지를 제공하는 대신 신뢰할 수 있는 도메인의 실시간 응답을 수정함으로써 특정 화이트리스트로 제한된 에이전트에 대한 IPI 테스트를 가능하게 하는 최초의 도구입니다.
• 통합 페이로드 소스: 여섯 가지 상이한 연구 벤치마크에서 820 개의 공격 벡터를 집계하고 중복을 제거하여 단일 테스트 세션 내에서 벤치마크 간 평가 및 교체가 가능하게 합니다.
• 매개변수 스윕 평가: 페이로드, 임베딩 기법, HTML 삽입 지점을 분리함으로써 이 도구는 다차원 공격 표면 전반에 걸친 에이전트의 취약성에 대한 체계적인 평가를 가능하게 합니다.
• 에이전트 무관 설계: 브라우저 확장 프로그램 기반 도구와 달리 IPI-proxy 는 네트워크 계층에서 작동하므로 헤드리스 페처, 사용자 정의 HTTP 클라이언트, 모델 컨텍스트 프로토콜 (MCP) 도구와 호환됩니다.

결과 및 평가

본 논문은 IPI-proxy 를 방어 메커니즘이 아닌 **테스트 기저 (substrate)**로 제시합니다. 특정 모델에 대한 구체적인 성공률 (예: "모델 X 는 80% 의 경우 실패함") 을 보고하지는 않지만, 테스트 방법론의 실현 가능성과 재현성을 입증합니다.

• 이 도구는 업스트림 서버를 수정하지 않고도 화이트리스트에 포함된 도메인의 HTTP 응답을 성공적으로 가로채고 재작성합니다.
• 기존 벤치마크가 동시에 지원하지 않는 페이로드, 임베딩, 삽입 지점의 조합을 포괄하는 "매개변수 스윕" 평가 체계를 지원합니다.
• 유출 추적기는 에이전트 자체의 계측 없이 성공적인 공격에 대한 기준 신호 (ground-truth signal) 를 제공하여 테스트 환경의 무결성을 유지합니다.

중요성

저자들은 IPI-proxy 를 AI 보안 테스트의 필수적인 진화로 위치시킵니다. 정적 모의 페이지 벤치마크에서 동적 실시간 응답 가로채기로 전환함으로써, 이 도구는 보안 팀이 다음을 가능하게 합니다:

1. 측정: 생산 환경에서 직면하는 동일한 유출 제한 및 콘텐츠 소스 하에서 웹 브라우징 에이전트의 취약성을 측정합니다.
2. 강화: 입력 변환 또는 아키텍처 격리와 같은 방어 전략을 현실적인 IPI 벡터에 대해 테스트할 수 있는 재현 가능한 환경을 제공하여 에이전트를 강화합니다.
3. 격차 해소: 학술적 벤치마크와 기업 배포 간의 격차를 해소하여 레드팀링 노력이 IPI 가 발생하는 실제 위협 표면을 반영하도록 보장합니다.

본 논문은 IPI-proxy 가 IPI 문제 자체를 해결하지는 않지만, 에이전트가 민감한 기업 환경에 배포되기 전에 위험을 정확하게 평가하고 완화하는 데 필요한 핵심 인프라를 제공한다고 결론지었습니다.