Investigating Detection and Obfuscation of Prompt Injection Attacks Against Software Reverse Engineering AI Agents

기술 요약: 소프트웨어 역공학 AI 에이전트에 대한 프롬프트 인젝션 공격의 탐지 및 은닉 조사

문제 정의
실행 파일(binary)을 분석하기 위해 대규모 언어 모델(LLM)을 활용하는 에이전트 기반 소프트웨어 역공학(SRE) 시스템은 간접 프롬프트 인젝션 공격에 취약하다. 이러한 공격에서 공격자는 악의적인 문자열을 정상적인 실행 파일의 소스 코드 내에 삽입한다. AI 에이전트가 디컴파일된 코드를 분석할 때, 삽로된 문자열은 LLM이 실제 프로그램 로직을 무시하고 타겟 프로그램의 기능을 보고하도록 조작한다. 프롬프트 인젝션 자체는 이미 알려진 위험이지만, 에이전트 기반 SRE 시스템이 실행 파일에 직접 삽입된 공격에 대해 갖는 구체적인 취약성과, 은닉된 버전의 공격에 대한 방어 체계의 견고함은 학술 문헌에서 이전에 검토된 바 없다.

연구 방법론
본 연구는 공격 생성, 방어 탐지, 은닉 테스트를 포함하는 다각적인 접근 방식을 채택한다:

1. 공격 생성 (유전 알고리즘): 저자들은 프롬프트 인젝션 문자열을 자동으로 발견하기 위해 수정된 AutoDAN 유전 알고리즘 프레임워크를 활용하였다. 이 알고리즘은 (정상적인 입력의 디컴파일된 코드를 무시하면서) 특정 타겟 응답(악성 타겟의 디컴파일된 코드)을 생성할 확률을 극대화하는 공격 문자열을 최적화한다. 공격 문자열은 의사 시스템 토큰(대화 차례를 모방함), 공격 지침, 그리고 타겟 프로그램의 디컴파일된 출력으로 구성되며, 이 모든 요소는 정상적인 C 프로그램 내에 삽입된다.
2. 방어 탐지: 두 가지 주요 탐지 방법이 조사되었다:
   • 정규 표현식(Regex) 매칭: 문자열 내에서 특정 의사 시스템 토큰 패턴(예: <tag>)을 검색하는 규칙 기반 접근 방식이다.
   • 신경망(NN) 분류: 고정된 Qwen3-1.7B LLM을 임베딩 백본으로 사용하는 전이 학습 방식이다. 추출된 임베딩은 학습 가능한 분류 헤드로 전달되어, "list strings" 또는 "decompile function" 도구로부터 나온 도구 응답이 악의적인지 여부의 확률을 예측한다.
3. 은닉 및 견고성 테스트: 본 연구는 다음과 같은 은닉 기법에 대한 방어 체계의 견고성을 테스트하였다:
   • 토큰 변형: 의사 시스템 토큰을 수정함 (예: 꺾쇠괄호 < >를 대괄호 [ ]로 변경하거나 브래킷 스타일을 변경함).
   • 문자열 우회: 비출력 문자(예: \x01)를 삽입하여 "list strings" 도구가 인젝션 문자열을 인식하는 것을 방지하는 동시에, "decompile function" 도구에는 해당 문자열이 보이도록 유지함.
   • 학습 가능한 파라미터: 의사 시스템 토큰과 타겟 프로그램을 학습 가능한 파라미터로 취급하도록 유전 알고리즘을 수정하여, 공격이 특정 탐지 모델에 맞서 진화할 수 있도록 함.

주요 결과

• 정규 표현식의 한계: 정규 표현식 매칭은 100% 정밀도(precision)를 달성했으나, 공격자가 토큰 형식(예: 대괄호 사용)을 변경했을 때 크게 실패하였다. LLM에 대한 공격 성공률은 (더 큰 모델의 경우 65%에서 50%로) 약간만 감소하였으며, 이는 정규 표현식이 형식 변형에 대해 불충분함을 나타낸다.
• 신경망의 효과성: 분류 신경망은 우수한 견고성을 보여주었다. 토큰 형식이 변경되었을 때(대괄호 사용)도 20개의 적대적 예시를 모두 악의적인 것으로 올바르게 분류하였으며, 테스트 세트에서 0.909의 F1 스코어와 1.000의 완벽한 재현율(recall)을 달성하였다.
• 은닉 성공 사례:
  • List Strings 우회: 공격이 "list strings" 도구로부터 숨겨지도록 은닉되었을 때(비출력 문자 사용), 분류기에 제공된 입력값에 악성 문자열이 존재하지 않기 때문에 신경망은 이를 탐지하는 데 실패하였다.
  • 학습 가능한 토큰: 유전 알고리즘이 의사 시스템 토큰을 학습하고 변형할 수 있게 되었을 때, "list strings" 출력을 사용할 경우 신경망에 의해 정상으로 분류되는 공격을 성공적으로 생성하였다.
  • Decompile Function 취약성: 탐지가 "decompile function" 출력에 적용되었을 때, 신경망은 형식 변형에는 효과적이었으나, 유전 알고리즘이 분류 결과와 인젝션 성공을 동시에 최적화하도록 설계되자 결국 우회되었다. 이 시나리오에서는 20개 중 13개의 예시에서 정상으로 분류된 공격이 발견되었다.
  • 타겟 학습: 타겟 프로그램 자체가 학습 가능한 파라미터가 되었을 때, 유전 알고리즘은 모든 프로그램에 대해 공격을 성공적으로 생성하여 탐지의 견고성을 더욱 저하시켰다.

주요 기여

• 바이너리 삽입 공격의 첫 조사: 본 연구는 에이전트 기반 SRE 시스템을 겨냥하여 실행 파일 내에 직접 삽입된 프롬프트 인젝션 공격에 관한 문헌적 공백을 해결한다.
• 탐지 프레임처: 본 논문은 전이 학습을 이용한 분류 기반 탐지 방법을 제안하고 평가하며, 토큰 변형에 대해 단순 정규 표현식 매칭보다 우월함을 입증한다.
• 은닉 분석: 본 연구는 은닉 기법(토큰 변형, 문자열 숨기기, 파라미터 학습)이 탐지 모델의 효과를 어떻게 저하시키는지 체계적으로 탐구하여, 현재 방어 체계의 취약성을 강조한다.
• 데이터셋 구축: 저자들은 탐지 모델을 학습시키고 평가하기 위해 100개의 정상 예시와 40개의 적대적 예시(특정 "list strings" 및 "decompile function" 도구 응답 구성 포함)로 구성된 데이터셋을 생성하였다.

의의 및 주장
본 논문은 분류 신경망이 정규 표현식 매칭보다 더 견고한 방어책을 제공하지만, 완전한 해결책은 아니라고 주장한다. 탐지의 효용성은 공격자가 특정 도구 출력(예: "list strings")을 우회하기 위해 인젝션 문자열을 은닉하거나, 공격 파라미터(토큰 및 타겟)를 탐지기에 맞춰 최적화할 때 크게 저하된다.

저자들은 본 연구가 프로덕션 수준의 사이버 워크플로우에 에이전트 기반 분석 시스템을 배치하기 위해 필요한 위험 이해를 진전시킨다고 결론짓는다. 그들은 정적 패턴 매칭을 넘어서는 방어가 필요함을 강조하며, 현재의 탐지 방법이 적응형 은닉(adaptive obfuscation)에 취약하다는 점을 인정하고, 더 견고한 탐지 방법과 더 복잡한 프로그램에 대한 분석이 필요함을 시사한다. 이 연구는 LLM 기반 에이전트 시스템에 내재된 자기 방어의 어려움을 보여주는 경고적 시연 역할을 한다.