Beyond Success Rate: Cost-Aware Evaluation of Offensive and Defensive Security Agents
이 논문은 보안 에이전트를 위한 비용 인식 평가 프레임워크를 도입하여 공격 및 방어 작업 간의 뚜렷한 스케일링 동작을 밝혀내며, 공격 성능은 연산량 증가에 따라 향상되는 반면 방어 성공은 가공되지 않은 추론 예산보다 절제된 도구 사용과 운영 효율성에 더 크게 의존한다는 점을 입증한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
인공지능이 단순히 시를 쓰는 챗봇을 넘어, 디지털 탐정이자 디지털 도둑의 역할을 동시에 수행하는 세상을 상상해 보십시오. 이것이 바로 사이버 보안의 최전선입니다. 이 분야에서는 컴퓨터가 시스템의 약점을 찾아내기 위해 침입하도록 훈련되거나(‘공격’ 측면), 디지털 범죄 현장을 조사하여 공격을 막아내도록(‘방어’ 측면) 학습됩니다. 오랫동안 이러한 AI 에이전트를 테스트해 온 과학자들은 한 가지 단순한 질문을 던져왔습니다. “만약 무제한의 시간과 돈을 준다면, 이 AI는 가장 어려운 퍼즐을 푸는 데 얼마나 뛰어난가?” 이는 마치 레이싱 카의 연료 탱크가 비워질 때까지 주행하게 함으로써, 연료 비용은 무시한 채 자동차를 테스트하는 것과 같습니다. 하지만 현실 세계에서 AI가 내딛는 모든 단계, 즉 AI가 던지는 모든 질문과 확인하는 모든 데이터베이스는 실제 비용을 발생시킵니다. 만약 AI를 실행하는 비용이 너무 많이 든다면, 그 AI가 아무리 똑똑하더라도 실제 보안 팀에게는 무용지물입니다. 이 논문은 더 실질적인 질문을 던집니다. “이 AI는 특정 예산 안에서 실제로 무엇을 할 수 있는가?”
연구자들인 폴 카시아니크(Paul Kassianik), 블레인 넬슨(Blaine Nelson), 야론 싱어(Yaron Singer)는 단순히 AI가 해결한 퍼즐의 개수를 세는 것을 멈추고, 가격표를 세기 시작했습니다. 그들은 자신들의 AI 에이전트들을 두 가지 매우 다른 유형의 도전 과제에 투입했습니다. 첫째, AI가 샌드박스 환경의 컴퓨터에 해킹하여 비밀 코드를 찾아내야 하는 디지털 보물찾기와 같은 ‘캡처 더 플래그(Capture the Flag, CTF)’ 미션을 수행했습니다. 둘째, AI가 방대한 양의 보안 로그를 뒤져 누가 회사에 침입했고 어떻게 침입했는지를 밝혀내야 하는 탐정 업무와 같은 ‘보안 운영 센터(Security Operations Center, SOC)’ 미션을 수행했습니다.
여기서 그들이 발견한 반전이 있습니다. 공격과 방해의 규모는 완전히 다른 방식으로 확장된다는 점입니다. AI가 해커 역할(공격적 역할)을 할 때는, 더 많은 돈을 들여 더 많이 생각하고 다시 시도하게 하는 것이 대개 도움이 되었습니다. 이는 마치 탐정에게 단서를 다시 읽어볼 시간을 더 주는 것과 같아서, 자원이 많을수록 사건을 해결할 가능성이 높아졌습니다. 일부 오픈 소스 모델들은 적절한 예산이 주어졌을 때 값비싼 최고 수준의 독점 모델들을 따라잡을 수도 있었습니다.
하지만 AI가 탐정 역할(방어적 역할)을 할 때는, 문제를 해결하기 위해 더 많은 돈을 쏟아붓는다고 해서 반드시 더 똑똑해지는 것은 아니었습니다. 오히려 가장 뛰어난 성과를 낸 이들은 절제력을 갖춘 이들이었습니다. 그들은 언제 멈춰야 할지, 언제 도움을 요청해야 할지, 그리고 언제 예산을 아껴야 할지를 정확히 알고 있었습니다. 이 논문은 이러한 조사 작업에서 성공 여부가 얼마나 많은 도구를 사용했는지나 얼마나 오래 생각했는지에 달려 있는 것이 아니라, ‘적절한’ 도구를 ‘적절한’ 시점에 사용하는 것에 달려 있음을 발견했습니다. 예산이 많다는 이유로 전 세계의 모든 데이터베이스를 무작정 호출하는 AI는, 몇 가지 핵심 증거만을 신중하게 선택하는 AI보다 오히려 성과가 좋지 못했습니다.
저자들은 또한 이러한 테스트에서 나타나는 일부 ‘완벽한’ 점수들이 오해의 소지가 있을 수 있다고 경고했습니다. 퍼즐들이 공개되어 있고 오래된 것이기 때문에, 일부 AI는 수학을 배우는 대신 정답지를 외워버린 학생처럼 훈련 과정에서 답을 암기했을 가능성이 있기 때문입니다. 연구진이 AI에게 도구를 사용하거나 단서를 보지 못하게 하고 테스트했을 때, 일부 모델의 점수는 급격히 떨어졌으며, 이는 ‘답을 아는 것’이 ‘문제를 해결하는 것’과 같지 않음을 입증했습니다.
결국, 이 논문은 우리가 보안 AI를 단순히 진공 상태에서의 정점 성능만으로 판단해서는 안 된다고 주장합니다. 대신, 우리는 그들의 ‘경제적 효율성’을 보아야 합니다. 5달러로 문제의 90%를 해결하는 모델이 500달러로 95%를 해결하는 모델보다 실제 보안 팀에게 더 나은 도구입니다. 이 연구는 해킹 작업에는 더 많은 컴퓨팅 파워가 도움이 되지만, 시스템을 방어하는 데 있어서는 스마트하고 절제된 도구 사용이 진정한 초능력이라는 점을 시사합니다. 그들은 심지어 이러한 비용 대비 성공 곡선을 보여주는 웹사이트를 구축하여, AI 보안의 세계에서는 저렴하고 똑똑한 것이 종종 부유하고 무모한 것보다 더 낫다는 것을 증명했습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.