Learning to Triage Vulnerability Reports from Program Analysis: An Empirical Study in Node.js

당신이 거대하고 혼란스러운 도시 속에 숨어 있는 몇몇 특정하고 위험한 범죄자들을 찾으려는 형사라고 상상해 보십시오. 소프트웨어의 세계에서 이 도시는 인터넷이며, 범죄자들은 프로그램에 대한 통제권을 탈취할 수 있는 숨겨진 버그인 '취약점(vulnerabilities)'입니다. 이를 찾기 위해 우리는 '프로그램 분석(program analysis)' 스캐너라는 자동화된 도구를 사용합니다. 이 스캐너를 도시 위를 날아다니며 모든 길모퉁이의 사진을 찍는 첨단 드론 부대라고 생각해 보십시오. 문제는 이 드론들이 너무 철저해서 수백만 장의 사진을 찍는데, 그중 대부분은 커피를 사는 평범한 사람들의 사진일 뿐이라는 점입니다. 이러한 무고한 사진들을 '가짜 경보(false alarms)'라고 부릅니다.

보안 분석가들은 이 사진들 중에서 어떤 것이 실제 범죄를 보여주는지 결정해야 하는 형사들입니다. 하지만 수백만 장의 사진을 들여다보는 것은 불가능합니다. 그것은 너무 많은 시간과 비용이 듭니다. 만약 드론이 너무 많은 가짜 경보를 보낸다면, 형사들은 좌절하여 드론 사용을 아예 중단해 버릴 것입니다. 이 논문은 간단하지만 매우 중요한 질문을 던집니다. "스마트한 컴퓨터(머신러닝 활용)가 드론의 사진을 먼저 살펴보고, 분류한 뒤, 실제 범죄일 가능성이 가장 높은 것들만 형사들에게 보여주도록 가르칠 수 있을까?" 목표는 형사를 대체하는 것이 아니라, 형사가 커피를 사는 사진들에 시간을 낭비하지 않도록 '우선순위 목록'을 제공하는 것입니다.

형사의 새로운 조수

이 연구에서 연구진은 많은 웹사이트와 앱을 구동하는 인기 있는 엔진과 같은 Node.js라는 특정 유형의 소프트웨어에 집중했습니다. 그들은 특정 종류의 범죄인 임의 코드 실행(ACE) 및 **임의 커맨드 인젝션(ACI)**을 살펴보았습니다. 쉬운 말로 설명하자면, 이것들은 해커가 컴퓨터에 자신의 파일을 삭제하거나 비밀번호를 훔치라는 명령을 내리는 것처럼, 프로그램이 자신의 악성 명령을 실행하도록 속이는 방법입니다.

연구진은 NodeMedic-FINE이라는 도구로 시작했습니다. 이 도구를 단순히 사진을 찍는 것을 넘어, 안전한 가상 샌드박스 내에서 범죄를 시뮬레이션해 보는 아주 똑똑한 드론이라고 상상해 보십시오. 만약 드론이 샌드박스 안에서 소프트웨어를 성공적으로 '해킹'할 수 있다면, 그 취약점이 진짜임을 확인하는 것입니다. 하지만 드론은 완벽하지 않습니다. 드론은 복잡한 범죄를 시뮬레이션하다가 막혀서 포기하는 경우가 많으며, 이로 인해 '미확정(maybe)' 보고서 더미가 남게 됩니다. 또한, 의심스러워 보이지만 실제로는 무해한 코드를 보고 혼란에 빠지기도 합니다.

이를 해결하기 위해 팀은 1,883개의 Node.js 패키지를 포함하는 Triage-JS라는 거대한 데이터셋을 구축했습니다. 각 패키지에 대해 인간 전문가(선임 형사)가 드론의 '미확정' 보고서를 검토하고, "이것이 실제 범죄인가, 아니면 단순한 가짜 경보인가?"를 결정하게 했습니다. 이를 통해 골드 스탠다드(gold-standard) 학습 세트가 만들어졌습니다.

AI에게 분류법을 가르치기

연구진은 다양한 유형의 'AI 형사'를 훈련시켜 인간의 결정으로부터 학습하도록 했습니다. 그들은 세 가지 주요 접근 방식을 테스트했습니다:

1. 그래프 전문가 (GNN 및 고전적 ML): 이 모델들은 데이터가 코드를 통해 어떻게 이동하는지를 보여주는 흐름도인 '프로비넌스 그래프(provenance graph)'를 살펴보았습니다. 이들은 코드를 지도처럼 다루며, 보통 범죄로 이어지는 특정한 움직임 패턴을 찾았습니다.
2. 언어 전문가 (LLM): 이들은 이야기를 쓰거나 당신과 대화하는 것과 같은 유형의 AI입니다. 이들에게는 실제 코드 조각들을 입력값으로 주었으며, AI가 인간처럼 코드를 읽으며 해커가 시스템을 악용할 수 있는 '이야기'를 찾아내도록 요청했습니다.
3. 하이브리드 팀: 지도 읽기 전문가와 이야기 읽기 전문가를 결합한 형태입니다.

결과: 누가 경주에서 승리하는가?

결과는 매우 명확하고 놀라울 정도로 효과적이었습니다.

• 기존 방식: 드론(NodeMedic-FINE) 단독으로는 정확도 점수(F1 스코어)가 0.676이었습니다. 괜찮은 수준이었지만, 많은 실제 범죄를 놓치고 너무 많은 무고한 사례를 지적했습니다.
• 그래프 전문가: 흐름도만을 본 모델들은 훨씬 더 나은 성능을 보였으며, 0.904의 점수에 도달했습니다. 이들은 범죄의 구조적 패턴을 포착하는 데 탁월했습니다.
• 언어 전문가: 코드를 이야기처럼 읽는 AI가 가장 좋은 성과를 냈습니다. 최고의 모델인 미세 조정된 DS-Distill-Qwen-7B는 0.915의 점수를 달성했습니다.

논문은 '언어 전문가'가 가장 정확했지만, '그래프 전문가'(특히 XGBoost라는 모델)가 거의 대등한 성능을 보이면서도 훨씬 빠르고 저렴하게 실행될 수 있다고 제안합니다.

왜 이것이 중요한가: "90% 규칙"

가장 흥 emocionante한 발견은 높은 점수 그 자체가 아니라, 얼마나 많은 일을 아껴주느냐 하는 것입니다. 연구진은 다음과 같이 물었습니다. "우리가 모든 실제 범죄의 **90%**를 잡고 싶다면, 얼마나 많은 무고한 사진들을 버려야 하는가?"

AI가 90%의 실제 위협을 잡도록 조정되었을 때, AI는 인간 분석가가 검토해야 했던 가짜 경보 목록의 **75%**를 제거할 수 있었습니다. 현실 세계에서 이는 보안 팀이 '미확정' 보고서의 산더미를 쳐다보는 대신, 훨씬 작고 품질 높은 '위험 가능성이 높은' 위협 목록에 집중할 수 있음을 의미합니다.

또한 연구는 이러한 AI 모델들이 드론이 왜 혼란을 겪는지 그 구체적인 이유를 포착하는 데 매우 뛰어나다는 것을 발견했습니다. 예를 들어, AI는 만약 코드가 spawn(보통 안전함)이라는 특정 명령을 사용한다면 가짜 경보일 가능성이 높고, exec(위험함)는 위험 신호라는 것을 배웠습니다. 또한 해커의 입력이 안전 점검에 의해 차단되는 경우, 드론이 이를 놓쳤더라도 이를 인식하는 법을 배웠습니다.

결론

이 논문은 모든 소프트웨어 버그를 찾는 문제를 영원히 해결했다고 주장하는 것이 아닙니다. 대신, 머신러닝이 노이즈를 걸러내는 강력한 도구임을 보여줍니다. AI가 보안 보고서를 위한 '트리아지 간호사(triage nurse)' 역할을 하도록 가르침으로써, 우리는 무해한 가짜 경보를 걸러내고 인간 전문가가 위험한 것에 집중할 수 있게 할 수 있습니다.

연구는 가장 발전된 AI 모델(LLM)이 가장 정확하지만, 더 단순하고 빠른 모델(XGBoost 등) 또한 매우 효과적이며 컴퓨터 자원이 제한된 팀에게는 더 나은 선택지가 될 수 있음을 시사합니다. 궁극적으로 이 논문은 자동화된 스캐너의 원시 데이터와 스마트하게 학습된 분류 기술을 결합하는 것이 소프트웨어 보안을 훨씬 더 관리 가능하게 만들며, 혼란스러운 보고서의 산을 명확하고 실행 가능한 경로로 바꿀 수 있음을 증명합니다.