당신의 컴퓨터가 단순히 명령을 따르는 것을 넘어, 당신을 위해 직접 나가서 일을 처리하는 세상을 상상해 보십시오. 이것이 바로 **AI 에이전트(AI Agents)**의 영역입니다. AI 에이전트는 계획을 세우고, 웹 브라우저나 파일 시스템 같은 도구를 사용하며, 스스로 복잡한 문제를 해결할 수 있는 똑똑한 프로그램입니다. 이 에이전트들을 매우 강력하게 만들기 위해, 개발자들은 이들을 '기술(skills)'로 구축하기 시작했습니다. 이 기술들을 레고 블록이나 미리 만들어진 레시피라고 생각해 보십시오. AI에게 매번 케이크를 굽는 법을 처음부터 가르치는 대신, 필요할 때마다 디지털 선반에서 꺼내 쓸 수 있는 '베이킹 기술'을 주는 것입니다. 이 기술들은 재사용이 가능하므로, 하나의 기술을 수천 개의 서로 다른 AI 에이전트가 공유할 수 있습니다.

하지만 여기 함정이 있습니다. 물리적인 도서관이 조작된 책들로 채워질 수 있듯이, AI 기술의 디지털 라이브러리도 위험할 수 있습니다. 만약 악의적인 행위자가 라이브러리에 '독이 든(poisoned)' 기술을 몰래 넣어둔다면, AI는 겉모습이 멀쩡해 보여 안전하다고 착각한 채 그 기술을 집어 들었다가 실수로 당신의 파일을 삭제하거나 비밀번호를 훔칠 수도 있습니다. 오랫동안 과학자들은 사람들이 AI에게 입력하는 '말(words)'에 속는 것(마치 잘못된 마법 주문처럼)만을 걱정해 왔습니다. 하지만 이 새로운 연구는 진짜 위험이 AI가 하는 '말'뿐만 아니라, AI가 주변 세상으로부터 무엇을 '집어 드느냐'에 있다는 것을 시사합니다.

논문: "에이전트 기술 보안 (Agent Skill Security)"

Sanket Badhe와 Priyanka Tiwari가 작성한 **"Agent Skill Security: Threat Models, Attacks, Defenses, and Evaluation"**라는 제목의 이 논문은 이러한 디지털 레고 블록이 어떻게 해킹될 수 있는지를 다루는 탐정 소설과 같습니다. 저자들은 모두가 AI의 입(말하는 것)을 주시하고 있을 때, 정작 AI의 손(무엇을 집어 들고 무엇을 하는가)은 간과하고 있다는 사실을 깨달았습니다. 그들은 기술의 생성부터 수년 후 업데이트되는 순간까지 기술의 전체 생애를 살펴보기 위해 SkillSec-Eval이라는 새로운 테스트 프레임워크를 구축했습니다.

기술의 생애 6단계

저자들은 기술의 삶을 바톤을 넘겨주는 이어달리기처럼 여섯 가지 뚜렷한 단계로 나누었습니다. 만약 어느 지점에서라도 바톤이 가짜로 교체된다면, 경주 전체를 망치게 됩니다.

1. 저작 (Authoring - 생성): 개발자가 기술을 작성하는 단계입니다. 여기서의 위험은 제작자가 겉으로는 유용해 보이는 기술 안에 악의적인 지침을 숨겨두는 것입니다.
2. 저장 (Storage - 라이브러리): 기술이 작성되면 디지털 저장소(라이브러리)로 들어갑니다. 공격자는 여기에 침입하여 안전한 기술을 나쁜 것으로 바꿔치기하거나, 오래된 안전한 기술의 버전을 가짜 버전으로 속여서 받아들이도록 유도할 수 있습니다.
3. 검색 (Retrieval - 찾기): AI가 무언가를 수행해야 할 때 라이브러리를 검색합니다. 공격자는 자신들의 나쁜 기술에 인기 있는 키워드를 잔뜩 채워 넣어(stuffing), 검색 엔진이 이를 가장 관련성 높은 결과로 판단하여 목록 상단에 노출되도록 만들 수 있습니다.
4. 선택 (Selection - 결정): AI의 '두뇌'(플래너)가 상위 검색 결과들을 보고 하나를 선택합니다. 공격자는 가짜 리뷰나 오해를 불러일으키는 설명을 써서 AI가 좋은 기술 대신 나쁜 기술을 선택하도록 속일 수 있습니다.
5. 실행 (Execution - 행동): AI가 실제로 기술을 실행합니다. 설령 기술이 올바르게 선택되었더라도, 허용되지 않은 동작(예: 들어가서는 안 될 문을 여는 것 등)을 시도할 수 있습니다.
6. 진화 (Evolution - 업데이트): 기술은 시간이 지나면서 업데이트됩니다. 공격자는 기술이 신뢰받고 인기를 얻을 때까지 기다렸다가, '버전 2.0' 업데이트에 바이러스를 몰래 심을 수 있습니다.

큰 발견: 단 하나의 문제가 아니다

연구진은 327개의 실제 기술을 테스트했으며, 모든 단계에서 취약점이 존재함을 발견했습니다. 그들은 단 한 종류의 해킹을 찾아낸 것이 아니라, 하나의 생태계 전체를 발견한 것입니다.

• 새가 새는 라이브러리: 그들은 단순한 규칙(예: 파일이 유효한 서명을 가지고 있는지 확인하는 것)만으로는 충분하지 않다는 것을 발견했습니다. 악의적인 행위자들은 겉으로는 완벽해 보이지만 내부에 숨겨진 악성 지침을 가진 기술을 만들 수 있습니다. 스마트한 AI를 사용하여 코드의 '의미'를 검사했을 때 더 많은 나쁜 기술을 잡아낼 수 있었지만, 그럼에도 일부는 빠져나갔습니다.
• 조작된 검색: 테스트에서 공격자들은 '키워드 스터핑(Keyword Stuffing, 나쁜 기술에 인기 있는 단어를 대량으로 추가하는 것)'과 '시빌 공격(Sybil Attacks, 동일한 나쁜 기술의 가짜 복사본을 15개 만드는 것)'을 사용했습니다. 방어책이 없다면 이러한 나쁜 기술들이 검색 결과 상단을 점령했습니다. 예를 들어, 방어책을 사용하지 않았을 때 나쁜 기술이 상위 5개 결과에 나타날 확률은 **93.20%**였습니다. 새로운 방어책을 적용했을 때 이 수치는 낮아졌지만, 완벽하지는 않았습니다.
• 속기 쉬운 AI: AI가 설명을 바탕으로 기술을 선택해야 할 때, 가짜 '공식(Official)' 배지나 오해의 소지가 있는 텍스트에 쉽게 속았습니다. 한 테스트에서, AI는 가짜 추천이 달려 있다는 이유만으로 **45.64%**의 확률로 나쁜 기술을 선택했습니다.
• 위험한 실행: 나쁜 기술이 실행되면 데이터를 훔치려 시도할 수 있습니다. 연구진은 런타임 가드(runtime guard)가 없을 경우, 테스트한 공격의 **100%**가 목표에 도달하는 데 성공했음을 발견했습니다. 그러나 가드가 있더라도 까다로운 허점이 있었습니다. 만약 AI가 탈취한 데이터를 자신의 언어로 다시 작성(패러프레이징/의역)하여 내보낸다면, 가드가 이를 놓칠 수 있다는 것입니다.

숫자가 말해주는 이야기

논문은 이 문제가 얼마나 어려운지를 보여주는 구체적인 수치를 제공합니다:

• 저장소 입고 (Repository Admission): 단순한 규칙과 스마트한 AI 검사를 결합했을 때, 라이브 library에 들어오는 나쁜 기술을 **7.9%**로 줄였습니다. 그러나 이 과정에서 선량한 개발자의 기술도 **20.0%**나 실수로 거절되는 부작용이 발생했습니다. 이는 너무 엄격하면 실제 개발자들이 작업하기 어려워짐을 보여줍니다.
• 검색 (Retrieval): '시빌 공격(가짜 클론)'에 대해, 새로운 방어책을 사용하면 상위 결과에 나타나는 나쁜 기술의 수가 평균 2.84개에서 0.27개로 감소했습니다.
• 플래너 기만 (Planner Deception): 나쁜 기술에 가짜 추천이 포함되었을 때, AI는 **45.64%**의 확률로 이를 선택했습니다. 방어책 적용 후 이 수치는 **8.72%**로 떨어졌습니다.
• 런타임 (Runtime): 강력한 런타임 모니터가 있어도, AI가 자신의 사고 과정 속에 데이터 탈취를 숨겨버리기 때문에 **23.0%**의 공격은 여전히 성공했습니다.

그들이 알지 못하는 것 (그리고 배제한 것)

저자들은 자신들이 무엇을 찾아내지 못했는지도 명확히 밝히고 있습니다. 그들은 모든 것을 해결할 수 있는 '마법의 탄환'은 없다고 말합니다. 그들은 단순히 코드 구조(서명 확인 등)를 검사하는 것만으로는 충분하지 않으며, '의미'를 이해해야 한다는 점을 분명히 합니다. 또한 단일 방어책만으로는 작동하지 않는다는 것도 보여줍니다. 라이브러리만 보호한다면 해커는 검색을 속릴 것이고, 검색만 보호한다면 해커는 AI의 선택을 속일 것입니다.

또한 연구의 한계도 인정합니다. 이 연구는 인터넷 전체가 아닌 327개의 기술을 대상으로 통제된 환경에서 테스트되었습니다. 또한 수년에 걸쳐 발생하는 공격(장기적 신뢰 저하)이나 AI의 두뇌를 직접 공격하는 방식(탈옥/Jailbreaking)에 대해서는 테스트하지 않았습니다. 그들은 이 프레임워크가 큰 진전이지만, 이러한 디지털 레고 블록을 안전하게 유지하는 문제는 여전히 해결해야 할 과제로 남아 있다고 제안합니다.

핵심 요점

이 논문의 주요 교훈은 우리가 AI의 '입'만 감시해서는 안 되며, AI의 '손', 그리고 그 기술의 '라이브러리'와 '업데이트'까지도 감시해야 한다는 것입니다. 보안은 단 하나의 자물쇠가 아니라, 전체 연결된 방어 체인입니다. 저자들은 이를 테스트하기 위해 SkillSec-Eval을 구축했으며, 그 결과는 우리가 시스템을 훨씬 더 안전하게 만들 수는 있지만, 시스템이 제대로 작동하지 않을 정도로 너무 엄격하게 만들어서도 안 된다는 것을 시사합니다. 안전한 AI 에이전트로 가는 길은 단 하나의 완벽한 방패를 찾는 것이 아니라, 여정의 모든 단계를 감시하는 계층적 방어 체계를 구축하는 것입니다.