💬 NLP

SkillBloat: Token Amplification Attacks via Skill Injection in LLM Coding Agents

이 논문은 LLM 코딩 에이전트의 신뢰할 수 있는 스킬 주입 채널을 악용하여 상당한 수준의 토큰 증폭(5.4x–10.1x)을 달성함으로써 기존의 보안 공격과는 직교하는 별개의 경제적 자원 남용 위협을 드러내는 2단계 프레임워크인 SkillBloat을 소개한다.

원저자: Yuanjin Zheng, Jingbang Chen

게시일 2026-08-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuanjin Zheng, Jingbang Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 인공지능의 지형에서 대규모 언어 모델은 단순한 텍스트 생성기를 넘어 복잡한 추론과 행동이 가능한 자율 에이전트로 진화했습니다. 이 디지털 어시스턴트들은 코드를 읽고, 명령을 실행하며, 소프트웨어 프로젝트를 관리할 수 있으며, 종종 자신의 능력을 확장하기 위해 '기술(skills)'이라는 시스템에 의존합니다. 이러한 기술을 에이전트가 특정 문제를 해결하기 위해 다운로드하고 신뢰할 수 있는 모듈형 지침서나 도구 모음이라고 생각해보십시오. 사람이 자동차를 수리하거나 재무 보고서를 분석하기 위해 전문 가이드를 참고하는 것처럼, AI 에이전트는 작업을 수행하는 방법을 이해하기 위해 이러한 디지털 가이드를 로드합니다. 이러한 공유 기술의 생태계는 에이전트를 더욱 강력하고 다재다능하게 만들었지만, 동시에 새로운 종류의 취약성을 만들어냈습니다. 에이전트가 이러한 가이드들을 신뢰할 수 있는 지침으로 취급하기 때문에, 악의적인 행위자가 겉보기에는 유익해 보이는 매뉴얼 안에 해로운 명령을 숨겨 에이전트가 의도하지 않은 행동을 하도록 속일 수 있습니다.

연구자들은 오랫동안 이러한 에이전트들이 데이터를 훔치거나 시스템에 침입하도록 속임을 당하는 것을 우려해 왔으나, 새로운 연구는 보안 금고가 아닌 지갑을 겨냥한, 더 조용하고 다른 종류의 위협을 밝혀냈습니다. 연구원인 셴위안 정(Yuanjin Zheng)과 징방 첸(Jingbang Chen)은 그들이 '토큰 증폭(token amplification)'이라고 부르는 현상을 조사했습니다. AI의 세계에서 모델이 읽고 쓰는 모든 단어는 '토큰'이라 불리는 단위로 측정되며, 이는 곧 비용을 의미합니다. 연구팀은 악의적인 기술이 설계되어, 에이전트가 간단한 작업을 완료하는 데 필요한 것보다 훨씬 더 많은 일을 하도록 강제하여, 최종 결과에는 변화를 주지 않으면서도 작업 비용을 팽창시킬 수 있다는 사실을 발견했습니다. 이는 에이전트가 겉으로는 완벽하게 정상적으로 작동하는 것처럼 보이면서도, 실제로 제자리걸음을 하거나, 작업을 반복해서 확인하거나, 과도한 보고서를 생성하도록 유도하는 경제적 남용의 한 형태입니다.

이것이 어떻게 작동하는지 이해하기 위해, 연구진은 '스킬블로트(SkillBloat)'라고 명명한 프레임워크를 구축했습니다. 그들은 에이전트가 자원을 낭비하도록 속이는 15가지의 서로 다른 방법으로 구성된 라이브러리에서 시작했습니다. 이 방법들에는 에이전트에게 지나치게 긴 보고서를 쓰게 하거나, 불필요한 품질 검사를 수행하게 하거나, 작업을 재시도해야 하는 오류를 시뮬레이션하도록 강제하는 지침들이 포함되었습니다. 연구진은 이러한 속임수들을 주요 기술 기업들이 구축한 실제 코딩 에이전트들을 대상으로 테스트했습니다. 그 결과, 적절한 유형의 속임수를 선택하는 것만으로도 에이전트가 수행하는 작업량을 평균 5배에서 10배까지 증가시킬 수 있다는 것을 발견했습니다. 어떤 극단적인 경우에는, 보통 몇 센트면 실행될 작업이, 단지 에이전트에게 지나치게 철저해지라고 지시하는 독이 든 지침 매뉴얼을 따르게 함으로써 5달러 이상의 비용이 들도록 치솟기도 했습니다.

연구는 단 하나의 효과적인 속임수를 찾는 데 그치지 않았습니다. 연구진은 속임수를 정교화하기 위한 2단계 프로세스를 개발했습니다. 먼저, 그들은 자신들의 속임수 라이브러리를 스크리닝하여 특정 에이전트와 작업에 가장 잘 들어맞는 것이 무엇인지 찾아냈습니다. 일단 가장 효과적인 방법을 식별하면, 두 번째 인공지능을 사용하여 전체 기술 문서를 다시 작성함으로써, 낭비적인 행동이 훨씬 더 설득력 있게 보이도록 지침을 다듬었습니다. 이 두 번째 단계는 공격이 대상 에이전트의 특성에 맞춰 적응할 수 있게 하여, 추가적인 작업이 워크플로우의 자연스러운 일부처럼 보이도록 보장했습니다. 결과는 놀라웠습니다. 정교해진 공격은 초기 속임수들보다 일관되게 뛰어난 성능을 보였으며, 자원 소비량을 훨씬 더 높였습니다. 한 가지 상세한 예로, 명상 로그를 분석하는 에이전트가 일련의 복잡한 검증 단계와 파일 편집을 수행하도록 속임수를 당했는데, 이로 인해 원래의 로그 항목을 분류하라는 요청을 성공적으로 완료하면서도 토큰 사용량이 26배 이상 증가했습니다.

이 발견이 특히 우려되는 이유는 에이전트가 실패한 것이 아니라 성공했다는 점입니다. 악의적인 지침은 정상적인 작동의 외형을 유지하면서 비밀리에 비용만을 높이도록 설계되었습니다. 연구진은 이러한 독이 든 기술들이 다양한 작업에 걸쳐 작동하는지, 아니면 설계된 특정 문제에만 효과적인지를 테스트했습니다. 그들은 기술들이 매우 높은 휴대성을 가지고 있음을 발견했습니다. 즉, 자원을 낭비하도록 제작된 기술은 완전히 다른 프로젝트에서도 똑같이 잘 작동했습니다. 이는 단 하나의 악의적인 기술이 널리 배포되어 많은 사용자들과 애플리케이션 전반에 걸쳐 상당한 재정적 피해를 줄 수 있음을 시사합니다. 또한 연구는 더 가볍고 빠른 버전의 AI 모델들이 더 강력한 모델들보다 이러한 공격에 더 취약한 경우가 많다는 점을 언급했습니다. 더 강력한 모델들은 불필요한 지침을 인식하고 무시하는 능력이 더 뛰어난 것으로 보였기 때문입니다.

연구진은 이 위협이 전통적인 보안 공격과는 구별된다는 점을 강조합니다. 기존 연구들이 에이전트가 비밀을 유출하거나 승인되지 않은 코드를 실행하도록 속이는 방법에 집중했다면, 이 연구는 AI 서비스의 경제적 모델에 있는 취약점을 조명합니다. 이 공격은 에이전트가 규칙을 어기거나 보안을 침해할 것을 요구하지 않습니다. 단지 철저하고 도움이 되고자 하는 에이전트의 욕구를 이용할 뿐입니다. 과도한 검증, 반복적인 재시도, 장황한 보고를 권장하는 지침을 심어둠으로써, 공격자는 악의적인 행동을 잡아내는 일반적인 안전 경보를 울리지 않고도 자원을 고갈시킬 수 있습니다. 이 연구 결과는 AI 에이전트가 우리의 디지털 생활에 더 많이 통합됨에 따라, 에이전트를 보호하는 것이 단순히 나쁜 행위자를 차단하는 것 이상의 노력이 필요함을 시사합니다. 즉, 에이전트가 불필요한 일을 하도록 조종당하고 있는지 감지할 수 있는 새로운 방법이 필요하다는 것입니다. 결론적으로, 에이전트 기술의 생태계는 혁신을 위한 강력한 도구이지만, 현재는 쉽게 악용될 수 있고 방어하기 어려운 실질적이고 위험한 공격 표면을 노출하고 있습니다.

기술 요약: SkillBloat

문제 정의

본 논문은 LLM 코딩 에이전트의 새로운 위협 벡터인 토큰 증폭을 통한 스킬 주입(Token Amplification via Skill Injection) 문제를 다룹니다. 에이전트 스킬(모듈형 지침 번들인 SKILL.md 등)에 관한 기존 연구가 데이터 유출, 권한 상승, 백도어 주입과 같은 보안 위험에 집중해 온 반면, 본 연구는 이와 구별되는 새로운 범주의 위협인 **경제적 자원 남용(economic resource abuse)**을 식별합니다.

현대적인 코딩 에이전트 생태계(예: Anthropic의 Agent Skills, Gemini CLI)에서 스킬은 고권한을 가진 신뢰할 수 있는 기능 확장으로 취급됩니다. 악의적인 공격자는 사용자의 정당한 작업을 완수하는 것처럼 보이면서도, 에이전트가 필요한 것보다 훨씬 더 많은 토큰을 소비하도록 강제하는 "독성(poisoned)" 스킬을 설계할 수 있습니다. 이는 데이터 탈취나 시스템 침해를 탐지하도록 설계된 기존 보안 탐지기를 트리거하지 않으면서도, 사용자나 서비스 제공자에게 불균형한 경제적 비용을 발생시킵니다. 핵심 과제는 정당한 상세 지침과 악의적인 증폭 명령 사이의 구분이 어렵다는 점이며, 이는 스킬이 높은 신뢰도를 바탕으로 로드되기 때문입니다.

방법론: SkillBloat 프레임워크

저자들은 스킬 주입을 통한 토큰 증폭 공격을 체계적으로 발견하고 최적화하기 위해 설계된 2단계 프레임워크인 SkillBloat를 제안합니다. 이 프레임워크는 공격자가 스킬 문서와 그에 포함된 스크립트의 내용을 제어한다는 위협 모델 하에 작동합니다.

1단계: 공격 유형 스크리닝 (Attack-Type Screening)

첫 번째 단계는 다양한 공격 유형 조건( $Z = \{z_1, ..., z_K\}$ ) 라이브러리를 스크리닝하여 특정 스킬-태스크 쌍에 가장 효과적인 증폭 메커니즘을 식별하는 것입니다.

공격 라이브러리: 저자들은 세 가지 증폭 메커니즘을 겨냥한 15개의 뚜렷한 공격 조건을 설정했습니다:
1. 출력 팽창 (Output Inflation): 장황한 보고서, 다각도 분석 또는 미세한 분해를 유도함.
2. 도구 기반 증폭 (Tool-Driven Amplification): 다단계 파이프라인, 반복적인 품질 보증(QA) 루프, 파일 읽기-쓰기-검증 사이클 또는 오류 재시도 메커니즘을 강제함.
3. 컨텍스트 증폭 (Context Amplification): 참조 자료나 단조롭게 증가하는 요약본을 통해 작업 컨텍스트를 부풀림.
도구 융합 공격 에이전트 (Tool-Fusion Attack Agent): 각 조건에 대해, 특화된 LLM(공격 에이전트)이 전체 SKILL.md 문서를 다시 작성합니다. 이 에이전트는 보조 도구 스크립트를 표준 설정, 분석 또는 검증 단계로 통합하여, 증폭 로직을 삽입하면서도 원래의 작업 의도를 보존하도록 합니다.
선택: 시스템은 각 재작성된 스킬로 타겟 에이전트를 실행하고, 가장 높은 증폭 비율( $R_{total} = C_{adv} / C_{base}$ )을 산출하는 조건( $z^*$ )을 선택합니다.

2단계: LLM 가이드 반복 정교화 (LLM-Guided Iterative Refinement)

두 번째 단계는 1단계에서 선발된 가장 강력한 후보를 반복 피드백 루프를 통해 정교화합니다.

프로세스: 1단계의 승자를 바탕으로, 공격 에이전트는 $N$ 번의 정교화 반복을 수행합니다. 각 반복에서 에이전트는 이전 실행 트레이스(trace)로부터 얻은 구조화된 피드백을 바탕으로 전체 스킬 문서를 다시 작성합니다.
피드백 메커니즘: 실패 분석기(Failure Analyzer)가 결과(예: 낮은 증폭, 작업 실패, 에이전트 거부)를 진단하고 구체적인 피드백을 제공합니다. 공격 에이전트의 시스템 프롬프트는 이러한 진단에 따라 조정되어 재작성 전략을 수정합니다(예: 지침이 무시될 경우 워크플로우와의 통합을 강화하거나, 에이전트가 거부할 경우 어조를 완화함).
목표: 이 루프를 통해 공격은 타겟 에이전트의 특정 행동 패턴에 적응하여, 작업 완료를 유지하면서도 최대 토큰 소비를 최적화할 수 있습니다.

주요 기여

최초의 체계적 연구: 본 논문은 토큰 증폭 공격을 스킬 주입을 통한 첫 번째 체계적인 조사로 제시하며, 이를 전통적인 보안 중심의 스킬 포이즈닝과 구별되는 위협으로 분류합니다.
2단계 파이프라인: 저자들은 광범위한 공격 유형 스크리닝과 반복적인 LLM 가이드 전체 문서 재작성을 결려한 파이프라인을 제안하고 검증합니다.
실증적 평가: 이 프레임워크는 여러 에이전트 프런트엔드(Claude Code, OpenAI Codex CLI)와 백엔드 모델에 걸친 실제 코딩 에이전트 스킬 및 태스크 프롬프트 벤치마크를 통해 평가되었습니다.

실험 결과

평가는 소프트웨어 공학, 과학 계산, 데이터 처리 분야의 실제 스킬을 포함하는 벤치마크에서 수행되었습니다. 연구는 Claude Code(GLM-4.7-Flash 및 glm-5 사용)와 OpenAI Codex(gpt-5.4-mini 및 gpt-5.5 사용)를 대상으로 테스트되었습니다.

증폭 규모: SkillBloat는 다양한 구성에 따라 평균 최적 증폭이 5.4184배에서 10.1455배 사이임을 달성했습니다.
- 관찰된 최대 단일 태스크 증폭은 75.86배였습니다 (gpt-5.4-mini를 사용하는 Codex).
- "consciousness-principles" 태스크에 대한 특정 사례 연구에서는 38,410 토큰에서 1,013,561 토큰으로 증가(26.39배)하였으며, 이는 예상 비용을 $0.21에서$ 5.41로 높였습니다.
태스크 완료: 결정적으로, 공격은 태스크 완료를 보존했습니다. 많은 구성에서 공격받은 실행의 완료율은 벤리진 베이스라인과 비슷하거나 오히려 더 높았습니다 (예: Codex gpt-5.4-mini의 경우 공격 하에서 완료율이 86%에서 92%로 향상됨).
모델 취약성: 경량화된 백엔드 모델(예: GLM-4.7-Flash, gpt-5.4-mini)이 더 강력한 모델보다 더 취약한 것으로 나타났습니다. 이는 강력한 모델일수록 중복된 지침을 압축하거나 주입된 검증 루프에 대한 문자 그대로의 준수를 거부하는 능력이 더 뛰어나기 때문인 것으로 보입니다.
절제 연구 (Ablation Study): 연구는 2단계(반복 정교화)가 1단계만 수행했을 때보다 상당한 가치를 제공함을 확인했습니다. 피드백 가이드 루프는 "피드백 없는" 재샘플링 베이스라인보다 일관되게 우수한 성능을 보였으며, 이는 이득이 단순히 더 많은 후보를 샘플링하는 것이 아니라 타겟 에이전트의 행동에 적응하는 데서 온다는 것을 입증합니다.
교차 태스크 지속성: 본 논문은 독성 스킬이 단일 태스크에 과적합되지 않음을 보여줍니다. 재최적화 없이 새로운 태스크 변형에 배포되었을 때, 스킬은 원래 증폭 효과의 약 **92%**를 유지했으며, 일부는 오히려 효력이 더 강해지기도 했습니다.

의의 및 주장

저자들은 SkillBloat가 에이전틱 AI 생태계에서 실질적이고 이전에 탐구되지 않았던 공격 표면을 드러낸다고 주장합니다. 이 연구의 의의는 다음 세 가지 주요 영역에 있습니다:

직교하는 위협 (Orthogonal Threat): 데이터나 시스템을 침해하려는 보안 공격과 달리, 이 위협은 경제적 자원을 목표로 합니다. 이는 에이전트가 정상적으로 작동하며 작업을 완료하는 것처럼 보이기 때문에, 악의적인 동작을 탐지하도록 설계된 보안 탐지기를 트리거하지 않는다는 점에서 구별됩니다.
에이전트 특성의 악용: 가장 효과적인 공격(예: "가짜 오류 재시도", "태스크 분해")은 끈기, 구조적 계획, 자기 검증과 같은 바람직한 에이전트의 특성을 이용합니다. 이로 인해 이들은 정당하고 고품질인 스킬 지침과 구별하기 매우 어렵습니다.
방어에 대한 시사점: 연구 결과는 현재의 방어 체계가 불충분함을 시사합니다. 에이전트 생태계를 보호하려면 악의적인 동작뿐만 아니라, 그럴듯한 스킬 지침에 의해 유도되는 비정상적인 자원 사용에 대해서도 추론할 수 있는 메커니즘이 필요합니다. 본 논문은 스킬 생태계가 이러한 형태의 경제적 남용에 매우 취술되어 있음을 결론지으며, 자원 증폭에 대한 더 강력한 방어의 필요성을 강조합니다.