당신이 거대한 건초더미 속에 숨겨진 아주 작고 미세한 바늘 하나를 찾으려는 탐정이라고 상상해 보십시오. 이제 그 건초더서미가 단순한 짚단이 아니라 수백만 권의 책이 담긴, 살아 움직이는 도서관이고, 바늘은 오직 몇 명만이 이해할 수 있는 언어로 쓰인 비밀 메시지라고 상상해 보십시오. 이것이 현대 소프트웨어 보안의 일상적인 사투입니다. 디지털 세계에서 '대규모 언어 모델(LLM)'은 거의 모든 책을 읽은 초스마트 AI 탐정과 같습니다. 이들은 코드를 이해하고, 버그를 수정하며, 심지어 새로운 프로그램을 작성하는 데에도 놀라운 능력을 갖추고 있습니다. 하지만 '악성 코드'—무해해 보이는 장난감 안에 숨겨진 폭탄과 같은 디지털 존재—를 찾는 문제에 있어서, 이 AI 탐정들은 종종 압도당하곤 합니다. 이들은 전체 건초더미를 응시하며 모든 짚단을 읽으려 노력하지만, 그 과정에서 바늘이 너무 작고 나머지 소음으로부터 너무 멀리 떨어져 있다는 이유로 결국 바늘을 놓치고 맙니다.

이 논문은 매우 구체적인 문제를 다룹니다. 어떻게 하면 이 초스마트 AI 탐네들이 지치거나, 혼란스러워하거나, 혹은 수백만 개의 안전한 파일에 시간을 낭비하지 않고 악성 코드를 찾도록 도울 수 있을까요? 저자들은 GMLLM이라는 영리한 새로운 전략을 제안합니다. 이것은 마치 탐정에게 다른 종류의 AI로 구동되는 특수한 'X선 안경'을 쥐여주는 것과 같습니다. 탐정에게 도서관 전체를 읽게 하는 대신, 이 새로운 시스템은 먼저 도서관의 지도(파일 간의 연결 관계)를 스캔하여 정확히 어떤 선반 몇 개가 의심스러운지를 파악합니다. 그런 다음 메인 탐정에게 "이봐, 나머지는 무시하고 딱 '여기'만 봐"라고 알려줍니다. 이렇게 함으로써 탐정은 자신의 모든 두뇌 역량을 아주 작고 위험한 지점에 집중할 수 있으며, 이를 통해 검색 속도는 더 빨라지고, 비용은 저렴해지며, 정확도는 훨씬 높아집니다.

문제점: 소음 속에서 길을 잃는 AI

연구자들은 좌절스러운 관찰 결과로부터 시작했습니다. AI 모델은 작은 코드 조각을 이해하는 데는 뛰어나지만, 크고 복잡한 소프트웨어 프로젝트에 직면하면 무너진다는 점입니다. 500페이지 분량의 소설에서 특정 오타를 찾기 위해 모든 단어를 한꺼번에 읽으려고 한다면, 당신의 뇌는 너무 많은 텍스트에 파묻혀 그 오류를 그냥 지나쳐버릴 가능성이 높습니다. 이와 마찬가지로, AI가 거대한 소프트웨어 패키지를 분석하려고 할 때 그 '주의력(attention)'은 흩어져 버립니다. AI는 완벽하게 안전하고 지루한 수백만 줄의 코드를 읽는 데 에너지를 낭비하며, 정작 위험할 수도 있는 부분에 도달했을 때쯤에는 이미 혼란에 빠지거나 '두뇌 역량'(계산 자원)이 바닥나 버립니다.

논문은 소프트웨어 패키지가 커질수록 악성 코드를 포착하는 AI의 능력이 실제로 저하된다는 것을 보여줍니다. 이는 마치 정문을 지키느라 너무 바빠서 도둑이 실제로 기어 들어오는 뒷창문을 확인하는 것을 잊어버린 보안 요원과 같습니다. 악성 코드는 종종 파편화되어 있고, 여러 파일에 걸쳐 숨겨져 있으며, 복잡한 방식으로 연결되어 있어, 전체 그림을 한꺼번에 보고 있는 AI가 따라가기 어렵습니다.

해결책: 2단계 탐정 팀

이를 해결하기 위해 저자들은 GMLLM(그래프 표현 학습 가이드 대규모 언어 모델)이라는 시스템을 구축했습니다. 그들은 단순히 더 많은 컴퓨팅 파워를 투입한 것이 아니라, AI가 코드를 바라보는 방식을 바꾸었습니다. 그들은 마치 두 명의 탐정이 협력하는 팀처럼, 업무를 두 개의 뚜렷한 단계로 나누었습니다.

1단계: 지도 판독가 (그래프 신경망)
먼저, 시스템은 전체 소프트웨어 프로젝트를 거대한 '지도' 또는 '그래프'로 변환합니다. 이 지도에서 모든 코드 조각(예: 함수 또는 클래스)은 하나의 점(노드)이 되고, 한 코드 조각이 다른 코드와 소통할 때마다 그들을 연결하는 선(에지)이 생깁니다. 이것은 엉망진창인 책 더미를 모든 역이 어떻게 연결되는지 보여주는 명확한 지하철 노선도로 바꾸는 것과 같습니다.

그래프 신경망(GNN)이라 불리는 가벼운 AI 모델이 이 지도를 살펴봅니다. 이 모델은 실제 코드의 단어를 읽을 필요 없이, 연결의 형태와 몇 가지 간단한 단서만을 봅니다. 이 모델은 지하철 노선이 갑자기 이상한 방식으로 스스로 루프를 도는 것처럼, 수상해 보이는 패턴을 포착하도록 훈련되었습니다. 이 GNN은 실행 속도가 빠르고 비용이 저렴합니다. 이 모델은 전체 프로젝트를 스캔하여 "이 패키지는 약간 위험해 보인다"라는 대략적인 추측을 내놓습니다.

2단계: 스포트라이트 (주의력 메커니즘)
여기가 마법 같은 부분입니다. GNN이 "무언가 잘못되었다"라고 말하면, 거기서 멈추지 않습니다. 그것은 어두운 방 안의 손전등처럼 작동합니다. GNN은 스스로에게 묻습니다. "지도의 어떤 특정 점과 선들이 위험하다고 생각하게 만들었는가?" 그리고 모든 코드 부분에 대해 '주의력 점수(attention score)'를 계산합니다.

그 후 시스템은 코드의 99%를 걸러냅니다. 안전하고 지루한 부분은 모두 버리고, GNN이 범인이라고 생각하는 아주 작은, 높은 점수를 받은 '서브그래프(subgraph)'—즉, 특정 몇 줄의 코드와 그 즉각적인 연결 관계만을 남깁니다. 이는 마치 탐정이 "이제 책 전체를 읽을 필요가 없어. 그냥 42페이지의 이 세 단락만 읽으면 돼"라고 말하는 것과 같습니다.

3단계: 전문가 검토 (대규모 언어 모델)
마지막으로, 시스템은 이 작고 필터링된 코드 덩어리를 가져다가 초스마트 LLM(메인 AI 탐정)에게 전달합니다. LLM은 오직 작고 관련 있는 퍼즐 조각만을 보고 있기 때문에, 자신의 모든 힘을 다해 코드를 깊이 있게 분석할 수 있습니다. LLM은 소음에 방해받지 않고 맥락, 로직, 그리고 의도를 이해할 수 있습니다. 그런 다음 "네, 이것은 악성입니다" 또는 "아니요, 안전합니다"라는 최종 판결을 내리고, 심지어 왜 그런지에 대해서도 설명합니다.

연구 결과: 더 똑똑하고, 빠르고, 정확하게

연구진은 이 새로운 방법을 실제 세계의 다양한 소프트웨어 패키지(의도적으로 까다롭고 악의적으로 설계된 패키지 포함) 모음집에 테스트했습니다. 결과는 인상적이었습니다.

• 더 나은 탐지 성능: GMLLM 시스템은 단독으로 작동하는 AI 모델보다 훨씬 더 많은 악성 코드를 찾아냈습니다. 실제로 일부 대규모 데이터셋에서 표준 AI 모델들은 많은 악성 코드를 놓쳤지만, GMLLM은 거의 대부분을 잡아냈습니다. 논문은 AI의 주의력을 집중시킴으로써 시스템이 "건초더미 속의 바늘"을 포착하는 데 훨씬 더 신뢰할 수 있게 되었다고 시사합니다.
• 낭비 감소: 가장 놀라운 발견은 이 시스템이 얼마나 많은 시간과 비용을 절약했는가 하는 점이었습니다. AI가 코드의 아주 작은 부분만을 읽어야 했기 때문에, 사용하는 '토큰'(AI가 처리하는 텍xt 단위)의 양이 획기적으로 줄어들었습니다. 대규모 소프트웨어 패키지의 경우, 이 시스템은 전체를 분석하려고 시도할 때보다 수천 배 적은 자원을 사용했습니다. 이는 백과사전 전체를 읽어서 정보를 찾는 것과 인덱스에서 그 정보 하나를 바로 찾아내는 것의 차이와 같습니다.
• 더 나은 설명 능력: 시스템은 악성 코드를 찾아낼 뿐만 아니라, 그 악성 코드가 무엇을 하고 있는지에 대해서도 더 잘 설명했습니다. AI가 프로젝트 전체를 바라보게 했을 때는 설명이 모호하거나 혼란스러운 경우가 많았습니다. 하지만 특정 의심스러운 부분에 집중했을 때는 "이 코드는 당신의 비밀번호를 훔치려 하고 있습니다" 또는 "이것은 비밀 연결을 숨기고 있습니다"와 같이 공격 내용을 명확하게 기술할 수 있었습니다.

결론

이 논문은 악성 코드 문제를 영원히 해결했다고 주장하는 것이 아닙니다. 대신, 기존의 AI 도구들을 훨씬 더 효과적으로 만드는 새로운 작업 방식을 제시합니다. 빠르고 단순한 '지도 판독가'와 강력한 '세부 전문가'를 결합함으로써, 이 시스템은 AI의 주요 약점인 '너무 많은 정보 속에서 길을 잃는 경향'을 극복합니다.

저자들은 더 크고 비싼 AI를 가질 필요가 있는 것이 아니라, 단지 AI에게 올바른 곳을 보는 법을 가르쳐야 한다는 것을 보여줍니다. 이러한 접근 방식은 거대한 소프트웨어 프로젝트를 빠르고 정확하게 스캔하는 것을 가능하게 하며, 이는 우리의 디지털 세계를 안전하게 지키는 데 있어 큰 진전입니다. 이는 혼란스럽고 압도적인 검색을 정밀하고 표적화된 조사로 바꾸어 놓으며, 때로는 적게 보는 것이 실제로 더 많이 보는 것임을 증명합니다.