Emerging Challenges in Threat Modeling for GenAI-Augmented Systems: A View from the Trenches
본 논문은 중소기업 환경에서 생성형 AI(GenAI) 인지 위협 모델링 기법에 대한 탐색적 평가를 제시하며, 기존 기법들이 서로 다른 위협들을 식별하고 있음에도 불구하고 소프트웨어 공급망 및 인간 중심 보안과 관련된 생성형 AI 특유의 위험에 대한 지원이 현재 불충분하며, 사용성 및 워크플로 통합 측면에서도 주목할 만한 과제가 존재함을 밝히고 있다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
당신이 거대하고 첨단 기술이 집약된 성을 짓고 있다고 상상해 보십시오. 벽돌 한 장을 놓기도 전에, 당신은 '위협 모델(threat model)'이 필요합니다. 이것은 일종의 특별한 보물 지도와 같습니다. 보물이 어디에 있는지를 표시하는 대신, 악당이 어떻게 몰래 침입할 수 있는지, 어떻게 벽을 부술 수 있는지, 혹은 어떻게 경비병을 속일 수 있는지 모든 방법을 그려 넣는 것입니다. 수십 년 동안 보안 전문가들은 STRIDE라고 불리는 표준 체크리스트를 사용하여 이 지도를 그려왔습니다. 이는 흔히 발생하는 도둑질의 마스터 리스트를 가진 것과 같습니다. 누군가 경비병인 척 위장하거나(Spoofing), 창문을 깨거나(Tampering), 열쇠를 훔치는 것(Information Disclosure) 말입니다. 이 방식은 딱딱하고 예측 가능한 기계와 같은 전통적인 소프트웨어에는 매우 효과적입니다.
하지만 이제 우리는 새로운 종류의 성을 짓고 있습니다. 바로 생성형 AI(GenAI)로 구동되는 성입니다. 이것은 딱딱한 기계가 아니라, 성벽 안에 살고 있는 천재적이고, 혼란스러우며, 때로는 환각을 일으키기도 하는 마법사 같습니다. 이 마법사는 코드를 작성하고, 질문에 답하며, 예술 작품을 만들 수도 있지만, 영리한 속삭임(프롬프트 인젝션)에 속거나 나쁜 재료를 먹고 독을 내뱉을 수도 있습니다. 여기서 큰 질문이 생깁니다. 우리의 오래되고 경직된 보물 지도(STRIDE 체크리스트)가 이 새로운 마법사를 속이는 교묘한 방법들을 찾아낼 수 있을까요? 만약 석조 요새를 위해 설계된 지도로 마법 도서관의 스파이를 찾으려 한다면, 우리는 진짜 위험을 놓치게 되지 않을까요? 이 논문은 바로 이 문제, 즉 우리의 현재 보안 도구들이 AI 마법사의 시대에 준비가 되어 있는지를 파고듭니다.
논문의 이야기: 새로운 마법사에게 기존 지도를 테스트하다
이 논문의 저자들인 보안 연구원과 업계 실무자 팀은 이 질문을 검증해 보기로 했습니다. 그들은 단순히 실험실에 앉아 추측만 한 것이 아니라, AI를 사용하여 고객 이메일을 처리하고 비즈니스 보고서를 생성하는 시스템을 구축 중인 실제 기업(중소기업, SME)의 "현장"으로 직접 뛰어들었습니다. 그들은 세 가지 서로 다른 "위협 모델링" 방법이 이 AI 증강 시스템에서 얼마나 잘 작동하는지 확인하고자 했습니다.
이를 위해, 그들은 먼저 최신 연구를 빠르게 훑어보며 AI에 특화되어 설계된 최신 방법들을 찾았습니다. 그들은 세 가지 후보를 선정했습니다:
- M1 (AIaaS 프레임워크): 시스템을 자산(데이터, 모델, 프로세스)의 집합체로 보고, "누군가 이것들을 어떻게 망가뜨릴 수 있는가?"를 묻는 방식입니다.
- M2 (ADMIn 프레임워크): 데이터, 모델, 입력이라는 세 가지 주요 공격 표면에 집중하는 방식입니다.
- M3 (ThreatFinderAI): 특수한 언어를 사용하여 AI 부분을 그리고, 알려진 AI 공격의 거대한 데이터베이스와 연결하여 자동으로 위협을 찾아내는 화려한 도구 지원 방식입니다.
그들은 이 세 가지 방법을 기업의 시스템(LLM을 사용하여 이메일을 읽고 보고서를 쓰는 시스템)에 적용했습니다. 그런 다음, 어떤 방법이 가장 중요한 위험을 잘 잡아내는지 확인하기 위해 유명한 AI 위험 "Top 10" 목록(OWASP Top 10 for LLMs)과 대조했습니다. 마지막으로, 실제 기업의 개발자들에게 이 방법들을 사용하는 것에 대해 어떻게 생각하는지 물었습니다.
그들이 발견한 것: 좋은 점, 나쁜 점, 그리고 빠진 것
결과는 "나쁘지는 않지만, 더 개선해야 한다"는 혼합된 결과였습니다.
좋은 소식:
세 가지 방법 모두 "전형적인" AI 트릭을 찾아내는 데는 꽤 유능했습니다. 그들은 프롬프트 인젝션(사용자가 AI를 속여 규칙을 무시하게 만드는 것), 데이터 포이즈닝(나쁜 데이터가 모델을 오염시키는 것), 그리고 민감 정보 유출(AI가 실수로 비밀을 누설하는 것)을 성공적으로 식별했습니다. 도구 지원 방식인 M3가 명백한 승자였습니다. M3는 가장 많은 위협을 찾아냈고, 개발자들이 사용하기 가장 쉬웠으며, 업무처럼 느껴지지 않았습니다. 이는 마치 숟가락으로 땅을 파는 대신, 숨겨진 동전을 찾았을 때 크게 울리는 금속 탐지기를 사용하는 것과 같습니다.
나쁜 소식 (공백):
여기서 오래된 지도들이 어려움을 겪었습니다. 이 방법들은 소프트웨어 공급망(예를 들어, AI 모델 자체가 도난당했거나 결함이 있는 부품으로 만들어졌을 경우) 및 과도한 권한 부여(Excessive Agency, 인간의 확인 없이 AI에게 너무 많은 결정 권한을 주는 경우)와 관련된 위험을 포착하는 데 제한적인 지원만을 보여주었습니다.
- 공급망: 어떤 방법도 AI가 사용한 "재료"에서 오는 위험을 모델링하거나 식별하는 구체적인 방법을 제시하지 못했습니다. 만약 AI 모델이 수상한 웹사이트에서 다운로드되었다면, 이 방법들은 이를 효과적으로 표시할 구체적인 문법이나 체크리스트가 부족했습니다.
- 인간 중심의 위험: 또한 그들은 인간이 AI를 너무 믿는 위험을 놓쳤습니다. 만약 AI가 완벽해 보이는 코드를 작성했지만 실제로는 위험한 코드일 때, 인간 개발자가 확인 없이 그대로 복사한다면 이는 큰 위험이 됩니다. 이 방법들은 그러한 "게으른 신뢰"가 어떻게 시스템을 망가뜨릴 수 있는지 그려내는 적절한 방법을 갖추고 있지 않았습니다.
개발자들이 말한 것:
이 방법들을 사용해 본 개발자들도 데이터와 의견이 일치했습니다. 그들은 도구가 힘든 일을 대신 해주는 M3를 좋아했습니다. 그들은 다른 방법들이 너무 수동적이고 시간이 많이 걸린다고 느꼈습니다. 그러나 그들은 모두 주요 장애물을 지적했습니다. 이러한 방법들이 자신들의 일상적인 워크플로우에 쉽게 녹아들지 않는다는 점입니다. 그들은 체크리스트, 템플릿, 그리고 보안 발견 사항을 자신들의 작업 관리 소프트웨어(예: 티켓 시스템)에 직접 연결할 수 있는 방법을 원했습니다. 한 개발자는 "템플릿이 있다면 훨씬 쉬울 것"이라고 말했고, 다른 개발자는 이러한 도구 없이는 데이터 유출 위험을 스스로 잡아내지 못했을 것이라고 언급했습니다.
시사점: 새로운 성을 위한 새로운 지도가 필요하다
이 논문은 현재의 도구들이 눈에 보이는 AI 트릭을 잡는 데는 좋은 시작이지만, 전체 그림을 보기에는 충분하지 않다고 제안합니다. 우리는 현재 공급망(AI가 어디서 왔는가)에서 오는 위험과 인간이 AI를 너무 맹목적으로 신뢰하는 위험에 대해 눈이 멀어 있습니다.
저자들은 보안 모델링의 미래가 세 가지 방향으로 변화해야 한다고 제안합니다:
- 공급망 포함: 성뿐만 아니라, 벽돌을 가져오는 도로와 그 벽돌을 만든 사람들을 보여주는 지도가 필요합니다.
- 도구와 프롬프트 활용: 이 지도를 빠르게 그릴 수 있도록 도와주는 자동화된 도구가 필요하며, 심지어 위협을 찾는 데 AI를 사용하는 것까지 고려해야 합니다.
- 인간 관찰: 인간이 AI와 어떻게 상interacting하는지 모델링해야 하며, 특히 인간이 게을러져서 잘못된 답을 믿음으로써 작은 실수를 큰 재앙으로 바꾸는 순간을 주목해야 합니다.
요약하자면, 이 논문은 우리가 단순히 오래된 지도를 패치하는 것만으로는 안 되며, 마법과 공급망, 그리고 마법사를 너무 믿어버리는 인간의 성향을 반영한 완전히 새로운 지도를 그려야 한다고 제안합니다. 그렇게 하지 않는 한, 우리의 AI 성은 서류상으로는 안전해 보일지 몰라도, 우리가 아직 잠글 생각조차 못한 비밀 문이 여전히 존재할 수 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.