Tiny Enough to Break In: Agentic Remote Access Trojans Powered by Small Language Models

컴퓨터가 단순히 명령을 따르는 순종적인 로봇이 아니라, 스스로 생각하는 호기심 많은 탐정처럼 행동하기 시작하는 세상을 상상해 보십시오. 이것이 바로 **에이전틱 AI(Agentic AI)**의 영역입니다. 매번 사람이 "실행"을 클릭하기를 기다리는 일반적인 프로그램과 달리, "에이전트"는 상황을 살펴보고, 다음에 무엇을 할지 결정하며, 시도해 보고, 만약 실패하면 스스로 다른 방법을 찾아내는 디지털 비서와 같습니다. 이제 이 개념을 축소한다고 상상해 보십시오. 거대한 클라우드 기반의 슈퍼컴퓨터 대신, **소형 언어 모델(SLM)**을 사용하는 것입니다. 이들은 일반 노트북이나 심지어 스마트폰에도 들어갈 수 있는 주머니 속의 뇌와 같으며, 인터넷에 연결하여 외부의 도움을 받을 필요 없이 로컬에서 스스로 추론할 수 있습니다.

이것이 왜 중요할까요? 수십 년 동안 해커들은 컴퓨터에 몰래 침입하여 원격으로 제어할 수 있는 악성 프로그램인 "원격 제어 트로이 목마(RAT)"를 사용해 왔기 때문입니다. 보통은 인간 해커가 화면을 읽고 명령어를 입력하며 다음에 무엇을 훔치거나 파괴할지 결정해야 합니다. 하지만 만약 악성 코드 자체가 스스로 생각할 수 있다면 어떨까요? 바이러스가 컴퓨터를 살펴보고 "어, 이 포트가 열려 있네"라고 인지한 뒤, 특정 기술을 시도해 보기로 결정하고, 그것이 작동하지 않으면 다른 기술을 시도하는 등, 인간이 키보드에 손을 대기도 전에 스스로 움직인다면 어떨까요? 이것이 바로 이 논문이 던지는 무서운 질문입니다. 아주 작고 로컬에서 돌아가는 AI의 뇌가 컴퓨터 안에 숨어들 만큼 충분히 작으면서도, 스스로 침입하여 시스템을 장악할 만큼 충분히 똑똑할 수 있을까?

트로이 목마 속의 작은 뇌

이 연구에서 버지니아 대학교의 연구팀은 누군가에게 피해를 주지 않고 기발한 아이디어를 테스트할 수 있는 안전하고 격리된 놀이터인 디지털 "샌드박스"를 구축했습니다. 그들은 **소형 언어 모델(SLM)**로 구동되는 **원격 제어 트로이 목마(RAT)**를 만들 수 있는지 확인하고 싶었습니다. 이것을 디지털 도둑이라고 생각하십시오. 이 도둑은 어떤 창문을 따야 할지 알려줄 인간 주인이 필요하지 않습니다. 대신, 주변을 살피고 자물쇠를 파악한 뒤 직접 따는 작은 로컬 뇌를 가지고 있습니다.

이를 테스트하기 위해 연구진은 두 명의 주인공이 등장하는 실험실을 설정했습니다: 공격자 역할을 하는 "칼리(Kali)" 컴퓨터와, 구멍이 가득하도록 설계된 희생자 컴퓨터인 "메타스플로이터블(Metasploitable)"입니다. 공격자 측에는 dolphin3-cyber-8b(80억 개의 파라미터를 가진 모델)라는 로컬 AI 모델을 설치했습니다. 이 모델은 클라우드 연결 없이도 일반 하드웨어에서 실행될 수 있을 만큼 작았습니다. AI의 역할은 RAT의 "뇌" 역할을 하는 것이었습니다. AI는 다음 과정을 수행하도록 설계되었습니다:

1. 관찰: 희생자 컴퓨터를 스캔하여 어떤 서비스가 열려 있는지 확인합니다 (마치 어떤 문이 잠겨 있지 않은지 체크하는 것과 같습니다).
2. 사고: 침입하기 위해 어떤 도구를 사용할지 결정합니다.
3. 실행: 침입을 시도하는 명령을 보냅니다.
4. 반응: 만약 실패하면, 에러 메시지를 읽고 왜 실패했는지 파악한 뒤 다른 접근 방식을 시도합니다.

결과: 밝은 미래를 가진 서툰 도둑

연구진은 자신들이 만든 피조물에서 두 가지 상반된 면모를 발견했습니다. 한편으로는 아키텍처가 제대로 작동한다는 점입니다. 이 작은 AI 뇌는 인간의 도움 없이, 그리고 인터넷 연결 없이도 "관찰, 사고, 실행"의 전체 사이클을 성공적으로 수행할 수 있었습니다. AI는 스캔 결과를 읽고, 도구를 선택하고, 명령을 실행할 수 있었습니다. 시스템의 "배관(plumbing)"은 견고했습니다.

하지만 다른 한편으로는, 뇌가 여전히 매우 서툴렀습니다. 연구진이 AI에게 엄격한 체크리스트를 완료하도록 요청했을 때, AI는 단 **10.9%**의 작업만을 성공했습니다. 이는 대략 55번의 시도 중 6번의 성공에 불려 불과합니다.

AI는 쉬운 작업에는 능숙했습니다. 스캔 결과가 매우 명확한 단일 단계의 문(예: 포트 1524의 특정 "바인드 셸"이나 포트 21의 FTP 서비스)을 보여주면, AI는 그대로 통과할 수 있었습니다. 마치 이미 문이 활짝 열려 있는 것을 보고 그냥 걸어 들어가는 도둑과 같았습니다. 하지만 비밀번호를 추측하거나, 복잡한 에러를 처리하거나, 실패 후 도구를 교체하는 것과 같이 두 단계 이상의 과정이 필요한 순간이 오면 AI는 비틀거리기 시작했습니다.

논문은 AI가 실패한 세 가지 주요 방식을 강조합니다:

• 환각(Hallucinations): AI는 때때로 존재하지 않는 명령어를 만들어내거나, 도구를 의도와 다르게 사용했습니다.
• 혼란(Confusion): AI는 컴퓨터의 에러 메시지를 자주 오독하여, 실패를 성공으로 착각하기도 했습니다.
• 고집(Stubbornness): 명령이 실패했을 때, 완전히 새로운 전략을 시나리오로 짜는 대신, 실패한 명령을 단순히 다시 표현하여 재시도하는 등 같은 루프에 빠져 갇혀버리곤 했습니다.

연구진은 이것이 무엇을 의미하는지 매우 명확하게 밝혔습니다: 개념은 가능하지만, 현재 기술은 아직 그 단계에 도달하지 못했다는 것입니다. 그들은 이것이 "해결된" 문제라거나 완벽한 무기라는 생각은 명시적으로 부정했습니다. 실제로 그들은 만약 인간 해커가 이 정도의 성공률(10.9%)을 보였다면 즉시 해고되었을 것이라고 언급했습니다. 하지만 그들은 소름 끼치는 반전을 지적했습니다. 인간은 일을 하기 위해 보수를 받아야 하지만, 컴퓨터는 그렇지 않습니다. 만약 이 서툰 AI를 거의 비용 없이 하루에 수천 번씩 실행할 수 있다면, 10%의 성공률만으로도 결국 침입을 이끌어낼 수 있습니다.

이것이 우리에게 말해주는 미래

이 논문의 가장 중요한 시사점은 오늘날의 AI가 숙련된 해커라는 것이 아닙니다. 기계 장치는 준비되었지만, 뇌는 아직 배우는 중이라는 것입니다. 데이터를 파싱하고, 명령을 검증하고, 실행하는 시스템은 완벽하게 작동했습니다. 이를 가로막고 있는 유일한 장애물은 소형 모델의 추론 능력이었습니다.

저자들은 이러한 소형 AI 모델이 더 좋아지고 똑똑해짐에 따라, "서툰 도둑"이 "숙련된 절도범"이 될 것이라고 주장합니다. "할 수 없다"와 "할 수 있다" 사이의 간극은 빠르게 좁혀지고 있습니다. 방어자 입장에서 이 논문은 우리가 더 이상 특정 코드 시그니처만을 찾아서는 안 된다고 제안합니다. 대신, 이러한 에이전트의 행동을 관찰해야 합니다. 연구에서의 AI처럼 루프에 빠지거나, 실수를 반복하거나, 기이한 도구 조합을 시도하는 행위가 바로 보안 시스템이 주목해야 할 "징후(tells)"입니다.

요약하자면, 이 논문은 작은 로컬 AI가 인간의 개입 없이 스스로 원격 제어 공격을 수행할 수 있음을 증명했습니다. 단지 아직 잘하지 못할 뿐입니다. 하지만 기술이 매우 빠르게 발전하고 있기 때문에, 작은, 스스로 생각하는 바이러스가 인간의 개입 없이 당신의 컴퓨터에 침입하는 날은 우리가 생각하는 것보다 훨씬 가까이 와 있습니다. 제목의 "작은(Tiny)"이라는 단어는 단순히 크기에 대한 것이 아닙니다. 이러한 위협들이 점점 더 작아져서 발견하기는 어렵고 숨기는 것은 쉬워지고 있다는 의미이기도 합니다.