기술 요약: 에이전틱 봇넷(Agentic Botnets)을 경계하라

문제 정의

에이전틱 대규모 언어 모델(LLM) 애플리케고이션의 급격한 도입은 LLM의 컨텍스트 내에서 악의적인 동작을 유도하도록 설계된 입력값인 **프롬프트웨어(promptware)**라는 새로운 위협 벡터를 불러왔습니다. 기존 연구들은 표적 프롬프트 인젝션 공격(예: 이메일이나 캘린더 초대장을 통한 공격)을 입증해 왔으나, 이는 공격자가 피해자에게 직접 접근하거나 특정 통신 채널을 보유해야 한다는 전제가 필요합니다.

비표적(untargeted) 프롬프트웨어 공격 측면에서는 여전히 중요한 공백이 존재합니다. 현재의 비표적 방식(예: 저트래픽 웹사이트에 적대적 프롬프트 게시)은 LLM 애플리케이션이 모호한 출처로부터 오염된 데이터를 검색해야 하므로 확장성이 떨어집니다. 반대로, 고트래픽 리소스에 적대적 프롬프트를 배치하는 것은 보안이 강화된 서버를 침해해야 하므로 약한 위협 모델 하에서는 어렵습니다. 본 논문은 다음과 같은 근본적인 질문을 다룹니다: 공격자가 직접적인 채널이나 고가치 타겟에 대한 사전 침해 없이도 대규모로 LLM 애플리케이션을 악용할 수 있는가?

저자들은 LLM이 리소스 식별자(resource identifiers)(예: 존재하지 않는 저장소 이름이나 스킬 슬러그)를 **환각(hallucinate)**하는 내재적 경향이 확장 가능한 공격 표면을 만든다고 주장합니다. 이러한 환각을 이용함으로써 공격자는 탈취된 에이전틱 디바이스들의 "봇넷"을 구축할 수 있습니다.

방법론: 적대적 할루스쿼팅(Adversarial HalluSquatting)

본 논문은 공격자가 LLM의 가장 확률 높은 환각에 대응하는 리소스를 선제적으로 등록하는 기법인 **적대적 할루스쿼팅(Adversarial HalluSquatting)**을 소개합니다. 공격 흐름은 다음 6단계로 구성됩니다:

1. 준비(Preparation): 공격자는 트렌딩되는 리소스(예: 인기 있는 GitHub 저장소 또는 스킬)를 식별하고, 리소스 검색을 유도하는 프롬프트(예: "X 저장소 클론해줘")로 대상 LLM(또는 파운데이션 모델)을 탐색합니다.
2. 배포 분석(Distribution Analysis): 공격자는 LLM의 출력을 분석하여 환각된 식별자(예: 잘못된 소유자 이름 또는 잘못된 형식의 스킬 슬러그)의 확률 분포를 결정합니다.
3. 스쿼팅(Squatting): 공격자는 정당한 사용자나 에이전트가 접근하기 전에 공공 플랫폼(예: GitHub, ClawHub)에 확률이 높은 환각된 식별자를 등록합니다.
4. 트리거(Trigger): 사용자가 에이전틱 애플리케이션에 원래의 리소스를 가져오도록 프롬프트를 입력합니다(예: "librepods 클론해줘").
5. 환각 및 검색(Hallucination & Retrieval): LLM은 공격자가 등록한 리소스와 일치하는 식별자를 환각합니다. 에이전틱 프레임워크는 적법한 리소스 대신 공격자가 제어하는 콘텐츠를 검색합니다.
6. 페이로드 실행(Payload Execution): 검색된 콘텐츠에는 에이전트가 리버스 쉘 설치, 데이터 유출, 또는 임의 코드 실행과 같은 악의적 행동을 수행하도록 지시하는 임베디드 적대적 프롬프트가 포함되어 있습니다.

이 공격은 환각 패턴이 서로 다른 파운데이션 모델과 애플리케이션 레이어 간에 **전이성(transferability)**을 가진다는 점에 의존하며, 이를 통해 단 하나의 스쿼팅 후보만으로도 여러 시스템을 침해할 수 있습니다.

주요 기여

1. 봇넷을 위한 확장 가능한 비표적 프롬프트웨어: 이 연구는 자기 복제형 프롬프트가 포함된 표적 이메일 체인을 사용하는 기존의 확장 공격과 달리, 직접적인 주입 채널 없이도 대규모로 에이전틱 애플리케이션을 감염시키는 방법을 보여줍니다. 인기 있는 리소스를 타겟팅함으로써 공격자는 수많은 디바이스를 장악하여 봇넷을 형성할 수 있습니다.
2. 보편적이고 전이 가능한 취약성: 본 연구는 환각 패턴이 다양한 LLM 제품군(Gemini, GPT, Claude)에서 일관되게 나타나며, 파운데이션 모델 레이어에서 애플리케이션 레이어(코딩 어시스턴트, CLI 도구, 개인 비서 등)로 전이된다는 것을 증명합니다.
3. 환각의 무기화: 본 논문은 코드 작성 중 발생하는 팬텀 패키지(phantom packages)를 다루는 기존의 공급망 공격과 달리, LLM 애플리케이션 자체의 **추론 시점(inference time)**을 타겟팅한다는 점에서 차별화됩니다. 이 공격은 외부 리소스에 대한 애플리케이션의 신뢰를 악용합니다.

실험 결과

저자들은 광범위한 에이전틱 애플리케이션과 플랫폼을 대상으로 공격을 평가했습니다.

저장소 스쿼팅 (코딩 어시스턴트)

• 환각 발생률: 파운데이션 모델들은 최근 트렌딩 저장소(2025년 생성)의 **92.4%**에 대해 저장소 소유자를 환각한 반면, 오래된 저장소의 경우 환각률은 0.9%에 불과했습니다. 일부 사례에서는 환각률이 **100%**에 달했습니다.
• 패턴: 지배적인 패턴은 "자기 참조적 환각(self-referential hallucination)"으로, 모델이 저장소 이름을 소유자로 사용하는 방식(예: librepods/librepods)이었습니다. 이 패턴은 등록 가능했으며 모든 모델의 전체 실행 중 27%에서 나타났습니다.
• 엔드 투 엔드 성공률: 공격은 6개의 코딩 어시스턴트(Cursor, Cursor CLI, Gemini CLI, Windsurf, Copilot Chat, Cline)를 대상으로 테스트되었습니다.
  • 스쿼팅 성공: 6개 어시스턴트 모두 공격자가 제어하는 저장소를 성공적으로 가져왔습니다.
  • 페이로드 실행: 원격 코드 실행(RCE) 또는 도구 호출(Tool Invocation)은 어시스턴트와 모델에 따라 20%에서 65% 사이의 성공률을 보였습니다. 예를 들어, Windsurf는 65%의 RCE 성공률을 기록했고, OpenClaw는 특정 설정에서 100%를 달성했습니다.

스킬 스쿼팅 (개인 비서)

• 취약성 클래스: 스킬 설치 과정에서 두 가지 주요 실패 모드가 확인되었습니다:
  • V1 (단어 제거): LLM이 요청에서 키워드(예: "skill")를 누락하여, skill-vetter를 vetter라는 슬러그로 해결하는 현상입니다.
  • V2 (표시 이름/슬러그 불일치): LLM이 인간이 읽을 수 있는 표시 이름에서 정확한 기술적 슬러그를 매핑하는 데 실패하는 현상으로, 특히 영문 문서화가 되지 않은 스킬에서 두드러졌습니다.
• 환각 발생률: OpenClaw에서의 140회 실험 결과, 설치 요청의 **90.7%**가 스쿼팅 가능한 슬러그로 해결되었습니다.
• 엔드 투 엔드 성공률: OpenClaw, ZeroClaw, NanoClaw를 대상으로 한 테스트에서, 단 하나의 스쿼팅된 스킬이 컨텍스트 유출에서 **100%**의 성공률을, 터미널 핸드오버(reverse shell 실행)에서 **84~100%**의 성공률을 달려냈습니다(모델 및 보안 정책에 따라 상이).

의의 및 주장

본 논문은 **적대적 할루스쿼팅(Adversarial HalluSquatting)**이 에이전틱 AI의 위협 지형에 근본적인 변화를 가져온다고 주장합니다. 그 의의는 다음과 같습니다:

• 확장성: LLM의 오류가 예측 가능하다는 점을 활용함으로써, 개별적인 타겟팅 없이도 수천 대의 디바이스를 동시에 감염시킬 수 있는 비표적 공격을 가능하게 합니다.
• 봇넷 형성: 이 공격 벡터는 공격자가 분산된 에이전틱 애플리케이션을 대규모 DDoS, 암호화폐 채굴 또는 랜섬웨어 배포가 가능한 봇넷으로 전환할 수 있게 합니다.
• 보편성: 이 취약성은 단일 모델이나 애플리케이션에 국한된 문제가 아니라, 에이전틱 프레임워크와 외부 리소스 레지스트리 간의 상호작용에서 발생하는 구조적인 문제입니다.

저자들은 현재의 완화 전략이 불충분하며, 커뮤니티가 LLM 애플리케이션과 외부 리소스 사이의 신뢰 경계 문제를 반드시 해결해야 한다고 결론짓습니다. 그들은 윤리적인 이유로 페이로드를 무해하게 유지했으나, 공격 메커니즘은 완전히 작동하며 현실적이고 영향력이 큰 위협임을 강조합니다.

제안된 완화 전략

논문은 두 가지 수준의 완화책을 제안합니다:

1. 애플리케이션 측면: 리소스 가져오기 작업 전에 반드시 **검색 도구(search tool)**를 호출하도록 워크플로우를 강제하는 것입니다. 이를 통해 환각 발생률을 크게 낮출 수 있습니다(일부 사례에서 약 90%에서 10% 미만으로 감소).
2. 플랫폼 측면: 네임스페이스를 제거하는 글로벌 이름 유일성(global name uniqueness)과 같은 엄격한 등록 제약을 구현하거나, 정당한 소스로 리다이렉트하기 위해 환각될 가능성이 높은 리소스 이름을 선제적으로 등록하는 것입니다. 또한, 플랫폼은 등록된 콘텐츠를 스캔하여 프롬프트 인젝션 패턴을 찾아내야 합니다.