The Dual-Use Nature of Large Language Models in Cybersecurity: A Bibliometric Analysis and Critical Review
이 논문은 7,369개 문헌에 대한 계량서지학적 분석과 비판적 검토를 결합하여 사이버 보안 분야의 거대언어모델 연구가 공격적 역할과 방어적 역할이라는 고립된 영역으로 파편화되어 있음을 밝히고, 적응형 평가 및 통합 보안 전략의 부재를 해결하기 위해 결합된 이중 용도 프레임워크와 8가지 우선순위 연구 방향을 제안한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
지난 몇 년 동안 인간의 언어를 읽고, 쓰고, 추론할 수 있는 새로운 종류의 컴퓨터 프로그램이 등장했습니다. 대규모 언어 모델(LLM)로 알려진 이 프로그램들은 단순한 챗봇이 아닙니다. 이들은 조직들이 디지털 보안을 관리하기 위해 사용하기 시작한 강력한 도구입니다. 이들은 수천 개의 보안 경고를 스캔하여 실제 위협을 찾아내거나, 소프트웨어의 결함을 수정하기 위한 코드를 작성하거나, 심지어 보안 팀의 방어 계획을 세우는 데 도움을 줄 수 있습니다. 하지만 이 도구들에는 어두운 면도 존재합니다. 이들은 지시를 따르고 텍텐츠를 생성하는 능력이 매우 뛰어나기 때문에, 악의적인 행위자들이 이들을 속여 악성 코드를 작성하게 하거나, 설득력 있는 가짜 이메일을 만들거나, 안전 규칙을 우회하도록 만들 수 있습니다. 이는 단 하나의 기술이 방패이자, 무기이며, 동시에 표적이 되는 독특한 상황을 만듭니다. 네트워크를 보호할 때는 방패가 되고, 공격자를 도울 때는 무기가 되며, 누군가 프로그램 자체를 속이려 할 때는 표적이 됩니다. 이 세 가지 역할이 어떻게 상호작용하는지 이해하는 것은 매우 중요한데, 왜냐로 이 도구를 방어자로서만 연구한다면, 그 도구 자체가 막으려는 바로 그 공격에 취약할 수 있다는 사실을 놓칠 수 있기 때문입니다.
한 연구팀은 단순히 몇 편의 논문을 읽는 것이 아니라, 과학계가 실제로 이 문제들에 대해 어떻게 생각하고 있는지 알아보기 위해 수천 편의 논문을 분석함으로써 이 복잡한 지형을 그려내고자 했습니다. 그들은 2023년부터 2026년 말까지 발표된 약 13,000개의 기록을 수집한 후, 이러한 언어 모델과 사이버 보안의 교차점을 직접적으로 다루는 7,369개의 핵심 문서로 걸러냈습니다. 연구 방식은 연구를 지도처럼 다루는 방식을 사용하여, 서로 다른 주제들이 얼마나 자주 함께 나타나는지, 그리고 어떤 연구가 가장 많이 인용되는지를 살펴보았습니다. 그들은 과학자들이 이 세 가지 역할을 함께 연구하고 있는지, 아니면 각기 분리된 영역에서 작업하고 있는지를 알고 싶었습니다. 또한, 이 도구들의 안전성을 뒷받 fro치는 증거가 보이는 것만큼 견고한지도 확인하고 싶었습니다.
연구진은 이 분야가 매년 관련 문서가 두 배 또는 세 배씩 증가하며 믿기 힘들 정도로 빠르게 성장하고 있다는 것을 발견했습니다. 그러나 연구는 깊게 분열되어 있었습니다. 대다수의 연구는 세 가지 역할 중 단 하나에만 고립되어 집중하고 있었습니다. 검토된 문서 중 두 가지 이상의 역할을 동시에 다룬 것은 약 8%에 불과했습니다. 이는 이 모델을 공격하는 방법을 연구하는 사람들이 이 모델을 방어에 사용하는 방법을 연구하는 사람들과 거의 대화를 나누지 않고 있음을 의미합니다. 더욱 우려스러운 점은, 연구자들이 이 모델들을 사용하여 방어 시스템을 구축할 때, 그 시스템이 막아야 할 바로 그 공격에 의해 속을 수 있는지 여부를 거의 테스트하지 않는다는 것입니다. 그들이 검토한 방어 관련 연구 중 모델 자체가 침해될 위험을 언급한 것은 약 11%에 불과했습니다. 연구진은 기술적으로는 이 모델들이 자연스럽게 연결되어 있지만(즉, 방어 도구가 곧 잠재적 표적이 될 수 있음), 연구 커뮤니티는 아직 이러한 현실을 따라잡지 못했다고 결론지었습니다.
연구팀이 이 모델들이 무기나 방패로서 얼마나 잘 작동하는지에 대한 증거를 더 자세히 살펴보았을 때, 서로 다른 연구에서 보고된 수치들이 매우 일관되지 않다는 것을 발견했습니다. 예를 들어, 인공지능가 컴퓨터 시스템을 해킹하는 능력을 테스트했을 때, 보고된 성공률은 0%에서 90%까지 다양했습니다. 이 거대한 격차는 모델이 변해서가 아니라 테스트 설계 방식이 달랐기 때문이었습니다. 어떤 연구는 모델에게 정확히 어떤 약점이 있는지 알려줌으로써 모델에게 큰 이점을 주었지만, 다른 연구는 모델이 스스로 약점을 찾아내야 하는 실제적인 환경에서 테스트했습니다. 연구진은 많은 연구가 능동적으로 방어 체계를 깨뜨리려 노력하는 공격자를 대상으로 방어력을 테스트하지 않았다고 지적했습니다. 대신, 정적이고 예측 가능한 공격을 대상으로 테스트했습니다. 이것은 자물쇠를 열쇠가 절대 변하지 않는 대상에 대해 테스트하는 것이 아니라, 자물쇠를 따려고 시도하는 열쇠공에 대해 테스트하는 것과 같습니다.
또한 이 연구는 가장 위험한 위협들이 단계적으로 올라가고 있음을 밝혔습니다. 초기 연구는 모델이 해서는 안 될 말을 하게 만드는 단순한 속임수에 집중했습니다. 이제 초점은 모델이 과거의 대화를 기억하고, 도구를 사용하며, 시간에 따라 의사결정을 내릴 수 있는 더 복합적인 시스템으로 이동하고 있습니다. 이러한 '에이전틱(agentic)' 시스템은 보호하기가 훨씬 더 어려운데, 단 한 번의 실수가 네트워크 전체로 퍼지는 일련의 나쁜 행동들로 이어질 수 있기 때문입니다. 연구진은 이러한 시스템을 공격하는 새로운 방법들이 많지만, 방어책은 종로히 취약하다는 것을 발견했습니다. 오늘 작동하는 방어가 공격자가 접근 방식을 약간만 바꾸더라도 내일 실패할 수 있습니다. 게다가, 성공을 측정하는 데 사용되는 도구들은 구식이거나 영어로만 제공되는 경우가 많아, 전 세계 나머지 지역에서는 작동하지 않을 수 있습니다.
궁극적으로, 이 논문은 우리가 이 모델들을 단순히 선하거나 악한 도구로 취급해서는 안 된다고 주장합니다. 이들은 공격과 방어의 경계가 모호한 이중 용도 기술입니다. 연구진은 미래의 가장 중요한 과제는 단순히 새로운 공격이나 새로운 방어를 발명하는 것이 아니라, 그것들을 테스트하는 더 나은 방법을 구축하는 것이라고 제안합니다. 우리는 방어가 간단한 테스트를 통과했다는 이유만으로 그것이 작동한다고 가정하는 것을 멈춰야 합니다. 대신, 모든 방어 시스템을 하나의 표적으로 간야 보고, 그 시스템이 분석해야 할 콘텐츠에 의해 속을 수 있는지 끊임없이 확인해야 합니다. 연구 커뮤니티가 이 세 가지 역할을 함께 연구하기 시작할 때까지, 우리는 이 강력한 도구들이 어떻게 사용되고, 오용되며, 보호될 수 있는지에 대한 전체적인 그림을 보지 못한 채 눈먼 상태로 남게 될 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.