Your Space is My Zone: Demystifying the Security Risks of AI-Powered Applications on Pre-Trained Model Hubs
본 논문은 Insightor 프레임워크의 개발과 영향받은 플랫폼들에 대한 책임 있는 공개를 통해, 새로운 구조적 결함과 광범위한 자격 증명 유출을 포함한 수천 건의 치명적인 취약점을 밝혀냄으로써 사전 학습된 모델 허브 상의 AI 기반 애플리케이션에 대한 최초의 체계적인 보안 분석을 제시한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
인공지능의 세계를 거대한, 북적이는 "AI 앱"들의 도시라고 상상해 보세요. 이들은 마치 작은 디지털 키오스크나 자판기와 같아서, 여러분이 슈퍼컴퓨터를 소유하지 않고도 컴퓨터에게 시(poem)를 쓰게 하거나, 이미지를 생성하거나, 문서를 분석하게 하는 등의 일을 요청할 수 있습니다. 여러분은 그저 키오스크(웹사이트)로 걸어가서 요청 사항을 입력하기만 하면 결과를 얻을 수 있습니다.
**"Your Space is My Zone"**이라는 제목의 이 논문은 이 키오스크들에 대한 보안 점검 보고서입니다. 연구진은 이 AI 앱들이 기술을 모두에게 쉽게 만들어주고 있지만, 그 구축 및 관리 방식에는 악의적인 행위자들이 그대로 걸어 들어올 수 있는 구멍들이 가득하다는 사실을 발견했습니다.
다음은 일상적인 비유를 사용하여 그들의 조사 결과를 쉽게 풀어낸 내용입니다.
1. 배경: "AI 쇼핑몰"
Hugging Face, Replicate, ModelScope와 같은 플랫폼을 거대한 쇼핑몰이라고 생각해보세요.
- 개발자: 이들은 키오스크를 만드는 사람들입니다. 대기업부터 취미 활동가까지 누구나 될 수 있습니다.
- 사용자: 키오스크를 사용하기 위해 쇼핑몰을 걷는 쇼핑객들입니다.
- 문제점: 쇼핑몰 관리자(플랫폼)는 거의 모든 사람이 키오스크를 세울 수 있게 허용하지만, 그 키오스크가 안전하게 만들어졌는지 항상 확인하지는 않습니다. 이는 마치 쇼핑몰 내에 누구나 음식점을 열 수 있게 허용하면서, 그 가게가 위생 허가를 받았는지 혹은 계산기가 잠겨 있는지 확인하지 않는 것과 같습니다.
2. 다섯 가지 주요 보안 구멍
연구진은 이 "AI 키오스크"들이 취약한 다섯 가지 구체적인 방식을 찾아냈습니다.
A. "고스트 키(Ghost Key)" 공격 (접근 제어 결함)
호텔에서 방에 들어가기 위해 카드키를 받는 상황을 상상해 보세요. 보통 체크아웃을 하면 키는 더 이상 작동하지 않습니다.
- 결함: 이 AI 쇼핑몰에서는, 만약 어떤 개발자가 자신의 앱을 삭제하고 다른 사람이 즉시 동일한 이름을 선점하면, 이전의 "카드키"(디지털 토큰)가 여전히 작동할 수 있습니다.
- 위험성: 해커는 유명한 회사가 곧 AI 앱을 출시할 것을 예측하여, 그 이름으로 가짜 앱을 만들고 "키"를 얻은 뒤 삭제합니다. 그리고 기다립니다. 실제 회사가 앱을 열었을 때, 해커의 오래된 키가 여전히 작동하여 몰래 침입해 비밀을 훔치거나 앱을 조작할 수 있습니다.
B. "공유 로그북" 유출 (민감 데이터 노출)
웨이터가 주문 내용을 누구나 읽을 수 있는 공용 화이트보드에 적어두는 식당을 상해 보세요.
- 결함: 이 AI 앱들은 "로그(logs)"(발생한 기록)를 보관합니다. 연구진은 많은 앱에서 이 로그가 낯선 사람이라도 누구나 읽을 수 있도록 열려 있다는 것을 발견했습니다.
- 위험성: 개발자가 실수로 앱에 비밀번호나 비밀 코드를 입력하거나, 사용자가 개인적인 의료 질문을 입력하면, 그 정보가 공용 로그북에 기록됩니다. 해커는 그저 옆을 지나가며 이를 읽을 수 있습니다.
C. "이름 바꾸기" 속임수 (식별자 재사용)
거리의 집 이름이 거리 이름과 번호를 조합하여 만들어진 경우(예: "Main-101")를 상상해 보세요.
- 결함: 쇼핑몰에는 혼란스러운 규칙이 있습니다. 만약 "Main-101"이라는 이름의 집을 삭제하면, 표지판은 그대로 남아 있습니다. 만약 해커가 "Main 101"(대시 대신 공백 사용)이라는 이름의 새 집을 짓는다면, 시스템은 혼동을 일으켜 예전 표지판이 새 집을 가리키게 됩니다.
- 위험성: 웹사이트가 삭제된 AI 앱으로 연결되는 링크를 가지고 있다면, 그 링크는 갑자기 해커가 만든 악성 앱을 가리키게 되어 사용자를 함정으로 유인할 수 있습니다.
D. "복사-붙여넣기 독극물" (코드 오염)
책을 복사하여 자신만의 버전을 만드는 도서관을 상상해 보세요.
- 결함: 만약 악의적인 행위자가 숨겨진 독(바이러스)이 들어있는 책을 썼고, 선한 사람이 그 책을 복사하여 자신의 버전을 만든다면, 독도 함께 복사됩니다.
- 위험성: 해커는 앱 안에 악성 코드를 숨길 수 있습니다. 다른 개발자들이 자신의 앱을 만들기 위해 해당 앱을 "포크(fork)"(복사)할 때, 의도치 않게 코드와 함께 바이러스를 복사하게 되어 감염이 확산됩니다.
E. "필터링되지 않은 입력" (코드 주입)
주문을 받으면 즉시 컴퓨터에 입력하는 자판기를 상상해 보세요.
- 결함: 만약 기계가 입력 내용을 검사하지 않는다면, 사용자가 "뒷문을 열고 돈을 내놔"라고 입력했을 때 기계가 실제로 그 명령을 수행할 수도 있습니다.
- 위험성: 사용자는 AI 앱에 특수 명령어를 입력하여 컴퓨터가 해서는 안 될 일(예: 개발자의 비밀번호를 훔치거나 서버를 장악하여 암호화폐를 채굴하는 일)을 하도록 속일 수 있습니다.
3. 대규모 조사
이 문제가 얼마나 심각한지 확인하기 위해, 연구진은 Insightor라는 로봇 탐정을 만들었습니다. 이 로봇을 세 개의 주요 플랫폼에 있는 972,546개의 공개 AI 앱을 스캔하도록 보냈습니다.
발견된 사실:
- 수천 개의 앱이 공용 로그에 비밀번호와 키를 유출하고 있었습니다.
- 수백 개의 앱이 "필터링되지 않은 입력" 구멍을 가지고 있어, 해커가 앱을 탈취할 가능성이 있었습니다.
- 27개의 앱은 1년 이상 방치되어 누군가 사용하기만을 기다리는 숨겨진 "백도어"(비밀 통로)를 가진 것으로 밝혀졌습니다.
- 139,000개의 앱이 누구나 열쇠를 가진 자물쇠를 사용하는 것처럼, 모두가 위험하다고 알고 있는 오래되고 고장 난 소프트웨어 도구들을 사용하고 있었습니다.
4. 그 후의 조치
연구진은 단순히 문제점을 발견하는 데 그치지 않고, 이들을 쇼핑몰 관리자(플랫폼)와 상점 주인(개발자)들에게 알렸습니다.
- Hugging Face는 여러 문제를 해결했으며, 이러한 구멍을 찾아낸 연구진에게 $2,369의 보상금(버그 바운티)을 지급했습니다.
- 그들은 일부 악성 앱을 제거하는 데 도움을 주었으며, 개발자들에게 코드에 직접 비밀번호를 적지 말라고 경고했습니다.
핵심 요약
AI 앱은 기술을 접근 가능하게 만들고 있지만, 현재로서는 잠기지 않은 문과 창문이 있는 오픈 하우스와 같습니다. 연구진은 이러한 앱들이 공유된, 때로는 부주의한 플랫폼 위에서 구축되기 때문에 비밀이 유출되고 해커를 불러들이고 있음을 보여주었습니다. 해결책은 AI 사용을 중단하는 것이 아니라, 더 나은 자물쇠, 개인용 로그북, 그리고 누가 이를 구축할 수 있는지에 대한 엄격한 규칙을 갖춘 "디지털 키오스크"를 만드는 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.