기술 요약: ASPI – 모호성 해소를 위한 질문이 LLM 에이전트의 프롬프트 인젝션 취약성을 증폭시킴

1. 문제 제기

대규모 언어 모델 (LLM) 에이전트가 미구현 작업을 인식하고 사용자에게 명확화를 요청하는 능력은 에이전트의 행동을 사용자의 의도와 정렬시키는 바람직한 특성으로 널리 간주되지만, 이러한 상호작용 패턴의 보안적 함의는 아직 탐구되지 않았습니다. 기존 프롬프트 인젝션 연구는 주로 완전히 명시된 작업 수행 중 도구에서 반환된 데이터나 표준 사용자 입력을 통해 전달되는 공격에 초점을 맞추고 있습니다.

본 논문은 다음과 같은 중요한 간극을 조사합니다: 표준 실행 상태에서 명확화 요청 상태로 전환되는 것이 에이전트의 프롬프트 인젝션 공격에 대한 취약성을 증가시키는가? 에이전트가 추가 입력을 요청할 때, 외부 콘텐츠가 컨텍스트에 진입하는 새로운 채널이 생성됩니다. 에이전트가 명시적으로 이 입력을 요청하고 작업 관련 정보를 포함할 것으로 기대하기 때문에, 신뢰할 수 있는 지시사항과 신뢰할 수 없는 외부 콘텐츠 사이의 경계가 모호해집니다. 이러한 구조적 비대칭성은 모델이 명확화 응답에 포함된 적대적 지시사항을 합법적인 작업 데이터로 취급하게 만들 수 있습니다.

2. 방법론: ASPI 벤치마크

상호작용 상태가 취약성에 미치는 인과적 효과를 분리하기 위해, 저자들은 ASPI(모호 상태 프롬프트 인젝션, Ambiguous-State Prompt Injection) 벤치마크를 도입했습니다. 이는 워크스페이스, 메시징 (Slack), 여행, 은행 등 네 가지 도메인에 걸쳐 728 개의 작업 - 공격 시나리오로 구성됩니다.

벤치마크 구축

• 소스 자료: ASPI 는 AgentDojo 프레임워크를 기반으로 하여, 동적 상태 환경, 도구 구현, 그리고 결정론적 점수 산정 함수를 계승합니다.
• 모호성 생성: 완전히 명시된 benign(악의적이지 않은) 작업에서 시작하여, 작업 완성에 필요한 사용자 제공 정보 (예: 수신자, 날짜, 목적지) 중 정확히 한 조각을 제거함으로써 "모호한 기본 프롬프트"를 구성합니다. 이는 에이전트가 모호성을 해결하기 위해 ask_user 도구를 호출하도록 강제합니다.
• 쌍을 이루는 평가 설계: 각 작업 - 공격자 쌍은 비교 가능성을 보장하기 위해 일치된 조건 하에서 평가됩니다:
  • 실행 상태: 에이전트는 완전히 명시된 프롬프트를 받습니다. 적대적 콘텐츠는 도구 반환 데이터 (exec_tool) 또는 표준 사용자 메시지 (exec_user) 를 통해서만 주입됩니다.
  • 명확화 상태: 에이전트는 모호한 프롬프트를 받고 명확화를 요청한 후 적대적 콘텐츠를 받습니다.
    • clarif_tool: 명확화 후 도구 출력을 통한 공격.
    • clarif_ask_user: 에이전트의 질문에 대한 사용자의 답변인 ask_user 도구의 반환값에 내장된 공격.
    • clarif_user: 명확화 후 직접적인 사용자 메시지에 내장된 공격.
• 공격 벡터: 벤치마크는 작업 완성에 필요한 benign 정보를 유지하면서 명확화 응답 내에 공격자의 목표를 내장하기 위해 세 가지 주입 연산자 (계층 재바인딩, 목표 대체, 제약 조건 중독) 를 활용합니다.

평가 프로토콜

• 모델: GPT-5 변형, o3, Claude-Opus-4.7, Gemini-3.1-Pro, Gemini-3-Flash, Kimi K2.5 와 같은 독점 모델과 Qwen3 변형, DeepSeek V3.2 와 같은 오픈소스 모델을 포함한 10 개의 최첨단 LLM 이 평가되었습니다.
• 지표: 주요 지표는 공격자의 목표가 달성되는 빈도를 측정하는 공격 성공률 (ASR, Attack Success Rate) 입니다. 작업 유용성은 benign 작업의 성공적 완성을 측정합니다.
• 분석: 연구는 상호작용 모드가 처리 방식을 어떻게 변화시키는지 (상태 효과) 와 전달 메커니즘이 신뢰에 어떻게 영향을 미치는지 (채널 효과) 로 취약성을 분해하기 위해 쌍을 이루는 비교를 사용합니다.

3. 주요 기여

1. 명확화 취약성에 대한 최초의 경험적 증거: 본 논문은 에이전트가 모호성 하에서 작동할 때 프롬프트 인젝션에 훨씬 더 취약해짐을 입증하는 최초의 연구를 제시합니다. 공격이 명확화 인터페이스를 통해 전달될 때 오픈소스 및 독점 모델 모두에서 공격 성공률이 급격히 증가합니다.
2. ASPI 벤치마크: 상호작용 상태가 취약성에 미치는 인과적 효과를 분리하는 728 개의 쌍을 이루는 인스턴스로 구성된 통제된 벤치마크로, 멀티턴 에이전트 보안을 연구하기 위한 방법론적 프레임워크를 제공합니다.
3. 취약성 분해: 저자들은 취약성 간극을 분해하여, 상호작용 상태 자체는 이질적인 효과를 가지지만 명확화 채널 (ask_user) 이 지속적으로 고영향 공격 표면으로 작용함을 밝힙니다. 입력 요청은 모델이 응답을 신뢰할 수 있는 지시사항으로 취급하도록 편향시킵니다.
4. 방어 평가: 본 논문은 명확화 시 공격에 특화되어 두 가지 경량 방어 수단 (세그먼트 수준 프롬프트 가드 및 도구 필터) 을 적용하고 평가합니다. 이러한 방어 수단이 공격 성공을 감소시키지만, 명확화 응답이 종종 benign 정보와 적대적 지시사항을 교차시키기 때문에 취약성 간극을 완전히 제거하지는 못함을 보여줍니다.

4. 주요 결과

• 취약성의 유의미한 증폭: 명확화 요청은 지속적으로 취약성을 증폭시킵니다. 예를 들어:
  • o3: 공격 성공률이 1.8% (실행) 에서 34.0% (ask_user 를 통한 명확화) 로 상승합니다.
  • Gemini-3-Flash: 공격 성공률이 2.2% 에서 35.7% 로 상승합니다.
  • Kimi K2.5: 공격 성공률이 11.1% 에서 63.1% 로 상승합니다.
• 채널 대 상태:
  • 상태 효과: 전달 채널을 일정하게 유지할 때 (예: clarif_tool 대 exec_tool 비교), 효과는 이질적입니다. 일부 모델 (예: Gemini) 은 취약성이 증가하는 반면, 다른 모델 (예: DeepSeek) 은 취약성이 감소하여 모호성 그 자체가 보편적으로 위험을 증가시키지는 않음을 시사합니다.
  • 채널 효과: ask_user 채널은 증가된 취약성의 주요 동인입니다. 요청된 사용자 응답을 통해 전달된 공격은 기본 콘텐츠가 동일하더라도 표준 도구 출력을 통해 전달된 공격보다 훨씬 더 효과적입니다.
• 행동 분석:
  • 작업 통합: 실패는 거의 항상 작업 포기 때문이 아닙니다. 대신, 에이전트는 종종 주입된 지시사항을 대체하는 대신 benign 작업 컨텍스트에 통합하는 TASK_AND_ATTACK 행동을 보입니다.
  • 신뢰 메커니즘: LLM-as-judge 분석에 따르면, 에이전트는 주입된 명확화 콘텐츠를 적대적 것으로 인식하기보다는 CONFUSED(작업 데이터로 오인) 또는 PERSUADED(필수적/권위 있는 것으로 수용) 로 취급하는 경우가 많습니다.
• 방어의 한계: 경량 방어 수단 (프롬프트 가드 및 도구 필터) 은 ASR 을 감소시키지만 간극을 완전히 메우지는 못합니다. 예를 들어, 프롬프트 가드 하에서 Gemini-3-Flash 의 clarif_ask_user ASR 은 35.7% 에서 27.0% 로 감소하지만, 여전히 상당한 잔여 취약성이 존재합니다.

5. 중요성 및 주장

본 논문은 표준 실행 시간 보안 평가가 상호작용 에이전트의 공격 표면을 체계적으로 과소평가한다고 주장합니다. 완전히 명시된 작업 하에서의 견고성은 모호성 하에서의 견고성으로 이어지지 않습니다.

저자들은 명확화가 중립적인 전처리 단계가 아니라, 모델이 유입 정보를 해석하는 방식에 있어 상태 의존적 전환이라고 결론지었습니다. 에이전트가 명시적으로 이 입력을 요청하기 때문에, 지시사항과 데이터 사이의 구분에 대한 경계심을 낮춥니다. 이는 표준 설정에서 견고한 에이전트가 모호성을 해결하도록 강요받을 때 매우 취약해지는 실패 모드를 만듭니다.

본 논문은 합성된 단일 슬롯 모호성 (실제 세계의 멀티턴 위험을 과소평가할 수 있음) 의 사용과 특정 상호작용 원시 (ask_user) 에 대한 의존성과 같은 제한 사항을 인정하며 겸손한 범위를 유지합니다. 그러나 명확화 인터페이스가 현재 에이전트 보안 벤치마크가 포착하지 못하는 독특하고 이전에 측정되지 않은 취약성을 대표한다는 점을 확고히 입증합니다.