Structured but Fragile: On the Limits of LLMs in Cybersecurity Decision-Making
이 논문은 거대 언어 모델이 명시적인 공격 그래프 구조가 제공될 때 구조화된 사이버 보안 추론을 근사할 수는 있지만, 이들의 의사결정 능력은 취약하고 프롬프트 프레이밍에 매우 민감하며, 공식적인 최적화 베이스라인과 비교했을 때 복잡성에 따라 견고하게 확장되는 데 실패한다는 것을 입증한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
사이버 보안의 고위험 세계에서 조직들은 끊임없이 이어지는 보이지 않는 전쟁에 직면해 있습니다. 공격자들은 네트워크의 약점을 탐색하며, 방어망을 뚫고 들어가 데이터를 훔치거나 서비스를 중단시킬 방법을 찾습니다. 방어자들은 한정된 자원을 어떻게 사용할지 결정해야 합니다. 그들은 모든 곳에 가장 강력한 방패를 설치할 수 없기에, 어떤 자물쇠를 달고, 어떤 경보기를 설정하며, 어떤 문을 보강할지를 선택해야만 합니다. 이것은 단순한 기술의 문제가 아니라 전략의 문제입니다. 이는 공격자가 취할 수 있는 모든 가능한 경로를 그려내고, 어떤 특정 장벽이 가장 위험한 경로를 차단할 수 있는지 파figuring out 하는 과정이 필요합니다. 수십 년 동안 전문가들은 네트워크를 하나의 지도로 보고, 방어자가 먼저 움직여 공격자의 최선의 대응을 예측하려는 게임으로 취급하는 복잡한 수학적 모델을 사용하여 이 퍼즐을 풀어왔습니다.
최근, 대규모 언어 모델(LLM)이라는 새로운 종류의 도구가 이 영역에 등장했습니다. 이들은 코드를 작성하고, 질문에 답하며, 방대한 양의 텍스트를 요약할 수 있는 강력한 인공지능 시스템입니다. 이들은 인터넷에 공개된 거의 모든 정보, 즉 수많은 보안 보고서와 기술 매뉴얼을 포함하여 학습되었습니다. 이들은 이 분야에 대해 매우 많은 것을 알고 있기 때문에, 많은 이들은 이들이 전문가의 조언자 역할을 수행하여 방어자들이 더 나은 선택을 더 빠르게 할 수 있도록 도와줄 것이라 기대합니다. 그러나 결정적인 의문이 남아 있습니다. 이 시스템들이 공격의 논리를 진정으로 이해하고 있는 것일까요, 아니면 단순히 익숙한 단어를 인식하고 이전에 읽었던 내용을 바탕으로 추측하고 있는 것일까요? 만약 방어자가 위협의 근본적인 구조를 파악하지 못한 채 전문성을 흉내 내기만 하는 AI에 의존한다면, 그 결과는 매우 심각할 수 있습니다.
한 연구팀은 이 질문을 테스트하기 위해 통제된 실험을 수행했습니다. 그들은 AI에게 해킹에 관한 시를 쓰게 하거나 뉴스 기사를 요약하게 하지 않았습니다. 대신, 그들은 모델들을 엄격한 의사결정 시나리오에 배치했습니다. 연구진은 랜섬웨어 캠페인, 공급망 침해, 산업 제어 시스템 공격 등 실제 사건에서 유래한 일곱 가지의 서로 다른 현실적인 공격 시나리오를 AI에게 제시했습니다. 각 시나리오에 대해 연구진은 공격자가 초기 진입점에서 핵심 목표물까지 어떻게 이동할 수 있는지를 보여주는 상세한 네트워크 지도를 제공했습니다. AI에게는 방화벽이나 다요소 인증과 같이 각각 특정 비용과 효과 등급이 부여된 가용 보안 통제 항목 리스트가 주어졌습니다. 과제는 간단하지만 어려웠습니다. 특정 예산 범위 내에서 공격자의 성공 가능성을 최소화하는 조합의 통제 항목을 선택하는 것이었습니다.
AI가 제대로 수행하고 있는지 확인하기 위해, 연구진은 이를 '골드 스탠다드(gold standard)'와 비교했습니다. 이 기준은 수학자들에 의해 구축된 특수 컴퓨터 프로그램으로, 주어진 지도에 대해 가능한 최선의 방어를 찾아냅니다. 이 프로그램은 추측하지 않습니다. 그것은 단 하나의 최적 전략을 찾기 위해 모든 가능성을 계산합니다. 연구진은 AI 모델들에게 판사 역할을 맡겨, 자신들의 전략뿐만 아니라 수학적 프로그램의 전략, 그리고 의도적으로 부실하게 설계된 전략들을 포함한 다양한 방어 전략의 품질을 평가하게 했습니다. 또한, AI가 문제를 처음부터 해결하기 위해 스스로 컴퓨터 코드를 작성할 수 있는지도 테스트했습니다.
결과는 '조건부 역량'의 모습을 보여주었습니다. 연구진이 AI에게 명확하고 구조화된 공격 경로 지도를 제공했을 때, 모델들은 종종 수학적으로 완벽한 솔루션에 매우 근접한 전략을 만들어냈습니다. 그들은 공격 경로의 중간에 있는 중요한 결절점을 차단하는 것이 시작 부분의 사소한 구멍을 메우는 것보다 더 가치 있다는 점을 이해하는 것처럼 보였습니다. 이러한 통제된 환경에서 AI는 단순히 사실을 회상하는 것이 아니라 문제를 통해 추론하는 것처럼 보였습니다. 그러나 이러한 능력은 매우 취약했습니다. 연구진이 문제의 제시 방식을 바꾸는 순간, AI의 성능은 불규칙해졌습니다.
연구는 AI의 판단력이 옵션의 명칭(labeling)에 매우 민감하다는 것을 발견했습니다. 한 눈에 띄는 테스트에서, 연구진은 네트워크를 완전히 무방비 상태로 만드는 의도적으로 취약한 방어 전략을 가져온 뒤, 이를 "최적의 전략(optimal strategy)"이라고 이름을 바꿨습니다. AI 평가자들은 이 형편없는 방어 전략을 보고는, 종종 이를 최고의 옵션 중 하나로 평가했으며, 심지어 실제 수학적으로 완벽한 솔루션보다 더 높은 점수를 주기도 했습니다. 반대로, 강력한 전략에 부정적인 라벨이 붙었을 때 그 점수는 떨어졌습니다. 이는 AI가 방어의 보안 논리를 깊이 분석하는 것이 아니라, 그것을 설명하는 암시적인 단어에 반응하고 있음을 시사합니다. 모델들은 실제 내용보다 프레이밍(framing)에 쉽게 휘둘리며, 라벨을 실제 내용보다 우선시했습니다.
연구진은 또한 네트워크의 복잡성이 증가할 때 AI가 어려움을 겪는다는 것을 발견했습니다. 지도가 커지고 가능한 공격 경로의 수가 많아질수록, AI의 최적 솔루션 탐색 능력은 퇴보했습니다. 어떤 경우에는 모델들이 지도의 특정 구조를 완전히 무시하기 시작했습니다. 공격자가 취할 수 있는 고유한 경로를 살피는 대신, 그들은 일반적인 지식에 의존하여 암호화나 다요소 인증처럼 업계에서 유명한 통제 항목들을 선택했습니다. 이때 해당 통제 항목들이 시나리오의 특정 경로를 실제로 차단하는지와는 상관없이 말입니다. 연구진이 지도를 완전히 제거하고 텍-설명만을 바탕으로 방어책을 선택하게 했을 때, 모델들은 구조적 추론을 완전히 포기했습니다. 그들은 고유한 토폴로지(topology)를 무시한 채, 단순히 일반적인 효과 등급이 높은 통제 항목들을 선택했습니다.
심지어 스스로 컴퓨터 코드를 작성하도록 요청받았을 때도, AI는 이해와 실행 사이의 간극을 드러냈습니다. 모델들은 올바르게 보이고 적절한 상위 수준의 접근 방식을 사용하는 코드를 생성할 수 있었지만, 더 큰 네트워크에서 테스트했을 때 그 코드는 사용하기에는 너무 느렸습니다. AI가 생성한 프로그램은 전문 수학적 솔버보다 해결책을 찾는 데 훨씬 더 오랜 시간이 걸렸으며, 가장 큰 규모의 지도에서는 AI의 코드가 작업을 끝내지 못하고 실패하는 경우가 많았습니다. AI는 솔루션의 논리를 흉내 낼 수는 있었지만, 이를 대규모로 수행할 수 있는 견고한 엔진을 구축할 수는 없었습니다.
이러한 결과는 대규모 언어 모델이 전문 보안 분석가의 행동을 근사할 수는 있지만, 고위험 의사결정에 필요한 신뢰할 수 있고 구조화된 추론 능력은 갖추지 못했음을 시사합니다. 이들은 문제가 명확히 정의되고 맥락이 단순할 때는 좋은 답을 내놓을 수 있지만, 압박, 모호함, 또는 오도하는 라벨이 주어지면 성능이 무너집니다. 이들은 아직 인간 전문가나 형식적인 수학적 도구를 대체할 수 있는 단계가 아닙니다. 대신, 그 제안들이 엄격하고 구조적인 분석을 통해 검증된다는 전제하에 보조자로서 기능하는 것이 가장 적합합니다. 연구는 사이버 보안의 세계, 즉 단 한 번의 실수가 거대한 침해로 이어질 수 있는 세계에서는 AI의 직관에만 의존해서는 안 된다고 결론짓습니다. 우리는 우리가 사용하는 도구가 설득력 있는 라벨이라는 부드러운 힘이 아니라, 공격 경로라는 단단한 논리에 기반하고 있는지 반드시 확인해야 합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.