기술 요약: 소프트웨어 역공학 AI 에이전트에 대한 자동화된 공격

문제 정의

대규모 언어 모델(LLM)을 소프트웨어 역공학(SRE) 워크플로우, 특히 GhidraMCP와 같은 에이전트 시스템에 통합하는 것은 실행 가능한 바이너리 분석을 자동화함으로써 상당한 생산성 향상을 제공합니다. 그러나 이러한 자동화는 새로운 취약점인 **간접 프롬프트 주입(indirect prompt injection)**을 초래합니다. 인간 분석가는 이상 징후를 식별할 수 있는 전통적인 코드 분석과 달리, LLM 기반 에이전트는 바이너리 자체에 내장된 악의적인 입력에 의해 속을 수 있습니다. 본 논문은 공격자가 Ghidra와 같은 도구의 디컴파일 출력을 조작하여 LLM 에이전트가 바이너리의 기능을 오해하게 만듦으로써, 자동 탐지 시스템을 우회하거나 분석 보고서를 신뢰할 수 없게 만드는 구체적인 위협을 다룹니다.

방법론

저자들은 "트랜스크립트 해킹(transcript hack)"과 에이전트형 LLM 시스템에 내재된 프롬프트 주입 취약점을 악용하는 개념 증명(PoC) 공격을 제안합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어집니다:

1. 적대적 문자열 구성 (Adversarial String Construction):
   공격은 "적대적 예시" 프로그램의 소스 코드 내에 특정 문자열 변수를 삽eds하는 것에 의존합니다. 이 변수는 컴파일 후에도 살아남아 디컴파일된 C 코드에 나타나야 하므로 프로그램 실행에 유의미해야 하지만, 프로그램의 실제 런타임 동작은 변경하지 않아야 합니다. 이 문자열은 세 부분으로 구조화됩니다:

   • 전치 문자열 (Prepend String): 이전의 디컴파일 데이터를 무시하도록 LLM에 지시하는 평문 언어 명령입니다.
   • 대상 코드 문자열 (Target Code String): 완전히 다른 "대상 프로그램"(예: 피보나치 수열 생성기)의 디컴파일된 출력입니다.
   • 후치 문자열 (Append String): 대상 코드에 집중하고 이후의 데이터를 무시하도록 강화하는 평문 언어 명령입니다.

   대상 코드 문자열의 포함은 디컴플레이션 과정을 재평가하는 것으로 프레임화되며, 이는 자신의 대화 기록의 일부인 것처럼 보이는 문맥을 신뢰하는 LLM의 경향을 활용합니다.

2. 자동화된 공격 생성 (수정된 AutoDAN):
   대상 모델을 속이는 데 성공하는 전치/후치 문자열의 구체적인 자연어 표현을 결정하기 위해, 저자들은 유전 알고리즘 기반의 탈옥(jailbreaking) 도구인 AutoDAN의 수정 버전을 활용합니다.

   • 알고리즘은 전치/후치 문자열 쌍을 반복적으로 샘플링하고 변이시킵니다.
   • LLM의 최종 분석 결과가 대상 프로그램의 동작(예: "Fibonacci" 포함)과 일치하는 동시에 실제 프로그램의 동작(예: "Hello, World" 제외)을 배제하는지에 따라 "적합도(fitness)"를 평가합니다.
   • 제약 조건: 공격은 Ghidra의 디컴파일 출력 글자 수 제한(2048자)에 의해 제한되며, 긴 문자열은 잘려나가 공격을 실패하게 만듭니다. 또한, 유전 알고리즘은 전체 대화 기록을 처리하기 위해 약 20K 토큰의 컨텍스트 창을 가진 모델이 필요하며, 이는 Qwen3-8B와 같은 모델로 범위를 제한합니다.

3. 실험 설정:
   실험에는 Cline 에이전트 프레임워크를 통한 GhidraMCP 인터페이스가 사용되었습니다. 연구는 두 모델, 즉 Qwen3-8B(공격 생성 및 분석 모두에 사용)와 GPT-OSS-120B(분석에만 사용)를 대상으로 테스트했습니다. 테스트 케이스에는 단일 함수 및 다중 함수 C 프로그램이 포함되었습니다.

주요 결과

본 연구는 자동화된 역공학 에이전트가 적대적 바이너리를 분석하면서도 대상 프로그램의 기능을 보고하도록 속일 수 있음을 성공적으로 입증했습니다.

• 단일 함수 성공: 적대적인 "Hello, World" 프로그램을 분석하는 실험에서, LLM 에이전트(Qwen3-8B 및 GPT-OSS-120B 모두)는 프로그램이 피보나치 수열의 첫 10개 숫자를 출력한다고 결론지었습니다. 두 번째 사례에서는 파일 체크 프로그램이 숫자 덧셈 유틸리티로 오인되었습니다.
• 다중 함수 성공: 공격은 여러 함수를 가진 프로그램으로 확장되었습니다. 적대적 프로그램과 대상 프로그램이 동일한 함수 이름과 구조를 공유하도록 함으로써, 저자들은 여러 함수에 프롬프트 주입 문자열을 성공적으로 주입했습니다. LLM들은 이러한 복잡한 바이너리의 동작도 일관되게 오인했습니다.
• 모델 견고성: 공격은 로컬에서 호스팅되는 작은 모델인 Qwen3-8B와 더 큰 모델인 GPT-OSS-120B 모두에 대해 효과적이었습니다. 주목할 점은, GPT-OSS-120B가 도구 사용을 통해 출력된 문자열(예: "Hello, World")을 감지했음에도 불구하고, 최종 기능 분석에는 이를 반영하지 못하고 원시 데이터보다 주입된 프롬프트 명령을 우선시했다는 것입니다.
• 회피: 공격은 자동화된 분석 파이프라인을 성공적으로 우회했습니다. 추출된 문자열 변수는 LLM 에이전트에 의해 악의적인 것으로 플래그가 지정되지 않았는데, 이는 에이전트들이 주입된 "트랜스크립트"를 따르도록 조건화되어 주변 문맥을 무시했기 때문입니다.

의의 및 주장

본 논문은 이 연구가 사이버 보안 툴체인에 LLM을 통합할 때 발생하는 중요한 보안 함의를 강조한다고 주장합니다. 주요 의의는 자동화가 그 자신을 공격할 수 있음을 보여준 데 있습니다:

• 에이전트형 시스템의 취약성: 본 연구는 LLM 기반 에이전트가 자신이 사용하는 도구(디컴파일러)를 통한 간접 프롬프트 주입에 취약하며, 특히 구조적으로는 유효하지만 의미론적으로는 기만적인 데이터를 통해 취약함을 입증합니다.
• 자동화 우회: 공격자는 이 기술을 사용하여 LLM 기반 분석에 의존하는 자동 탐지 시스템을 우회하여, 노동 집약적인 인간 분석으로 회귀하게 만들거나 분석가에게 잘못된 보고서를 신뢰하게 만들 수 있습니다.
• 견고성의 필요성: 저자들은 이러한 공격 벡터를 이해하는 것이 더 견고한 에이전트형 코드 분석 시스템을 구축하는 데 필수적이라고 주장합니다. 그들은 현재 시스템이 정당한 디컴파일 데이터와 바이너리에 내장된 주입된 명령을 구분하는 능력이 부족하다는 점을 강조합니다.

논문은 단순한 프로그램에 대해서는 개념 증명이 성공적이지만, 이 공격이 복잡하고 실제적인 악성 바이너리로 확장될 수 있는지 판단하고 이러한 간접 프롬프트 주입 벡터에 대한 효과적인 방어책을 개발하기 위해서는 추가적인 연구가 필요하다고 언급하며 겸허히 마무리합니다.