An Open-Agent Framework for Intelligent Compliance Analysis in Infrastructure as Code Using Large Language Models

현대 디지털 세상에서 우리의 애플리케이션을 구동하고, 데이터를 저장하며, 서비스를 실행하는 인프라는 더 이상 깜빡이는 불빛이 늘어선 물리적인 서버실에 존재하지 않습니다. 대신, 거대 기술 기업들이 관리하는 원격 컴퓨터들의 방대한 네트워크인 클라우드 속에 존재합니다. 이러한 서비스를 사용하는 조직들에게 보안에 대한 책임은 변화했습니다. 클라우드 제공업체가 하드웨어가 제대로 작동하도록 보장하는 반면, 고객은 디지털 설정이 올바르게 구성되었는지 확인해야 합니다. 스토리지 버킷이 어떻게 개방되는지, 혹은 네트워크 권한이 어떻게 부여되는지에 대한 단 한 번의 실수가 민감한 정보를 전 세계 인터넷에 노출시킬 수 있습니다. 이러한 복잡성을 관리하기 위해 엔지니어들은 "코드로서의 인프라(Infrastructure as Code)"라고 불리는 방법을 사용합니다. 이 접근 방식은 디지털 리소스의 설정을 소프트웨어 프로그램처럼 취급하여, 기계가 읽을 수 있는 텍스트 파일로 규칙을 작성하는 것입니다. 이를 통해 일관성과 속도를 확보할 수 있지만, 동시에 코드상의 단 하나의 오류가 순식간에 수백 개의 시스템으로 복제되어, 누군가 알아차리기도 전에 광범위한 취약점을 만들어낼 수도 있다는 것을 의미합니다.

이러한 오류를 잡아내기 위해 보안 팀은 마치 맞춤법 검사기가 오타를 찾아내는 것처럼, 코드를 스캔하는 자동화된 도구에 의존합니다. 그러나 이러한 전통적인 도구들은 종종 경직되어 있습니다. 그들은 규칙이 위반되었다는 사실은 알려줄 수 있지만, 그것이 왜 중요한지 또는 인간 감사인이 이해할 수 있는 방식으로 어떻게 수정해야 하는지는 설명하는 데 어려움을 겪습니다. 반면에, 대규모 언어 모델(LLM)로 알려진 새로운 기술은 코드를 읽고 자연어 설명을 생성할 수 있지만, 단독으로 사용될 경우 사실이 아닌 것을 지어내거나 일관성 없는 결과를 제공하는 경향이 있습니다. 연구자들의 과제는 자동화된 스캐너의 엄격한 신뢰성과 지능형 언어 모델의 설명력을 결합하여, 정밀하면서도 이해하기 쉬운 시스템을 만드는 것이었습니다.

Princess Sumaya University for Technology의 연구팀은 이 두 가지 접근 방식을 성공적으로 결합한 새로운 프레임워크를 구축했습니다. 그들은 먼저 엄격한 규칙 기반 엔진을 사용하여 인프라 코드를 스캔하여 특정 보안 표준 위반 사항을 찾아낸 다음, 확인된 위반 사항을 지능형 언어 모델로 전달하여 명확하고 인간이 읽을 수 있는 보고서와 제안된 수정 사항을 생성하도록 했습니다. 연구진은 이 시스템을 231개의 실제 구성 파일 모음에 대해 테스트했습니다. 그 결과, 하이브리드 시스템은 경보를 울린 사례 중 약 97%에서 보안 결함을 정확히 식별해냈으며, 파일에 존재하는 실제 문제의 90% 이상을 포착해냈습니다. 이러한 성능은 무해한 이슈를 너무 많이 지적하여 엔지니어들에게 불필요한 작업을 초래하는 기존 산업용 도구들보다 현저히 뛰어난 수준이었습니다.

이 새로운 프레임워크의 핵심은 원시 코드를 다듬어진 감사 보고서로 변환하는 5단계 프로세스입니다. 첫째, 시스템은 원시 구성 파일을 스캐닝 엔진이 이해할 수 있는 형식으로 변환합니다. 다음으로, 엄격한 심판처럼 작동하는 결정론적 정책 엔진이 특정 보안 규칙 세트에 따라 코드를 점검합니다. 이 규칙들은 정부와 기업에서 널리 사용되는 보안 통제 항목 목록인 NIST SP 800-53 표준을 기반으로 합니다. 엔진은 암호화되지 않은 스토리지 드라이브나 공공에 개방된 네트워크 포트와 같은 특정 패턴을 찾습니다. 이 엔진은 고정된 규칙을 따르기 때문에 추측하지 않으며, 오직 증명할 수 있는 위반 사항만을 보고합니다.

엔진이 위반 사항을 식별하면 시스템은 거기서 멈추지 않습니다. 시스템은 오류의 세부 정보를 맥락적 추론 에이전트 역할을 하는 대규모 언어 모델로 보냅니다. 이 모델은 세 가지 구체적인 임무를 수행합니다: 위험을 평이한 영어로 설명하는 것, 오류를 위반한 공식 보안 표준에 매핑하는 것, 그리고 문제를 해결하기 위한 수정된 코드 스니펫을 생성하는 것입니다. 모델이 보고서의 사실적인 부분에서 실수를 하지 않도록 하기 위해, 연구진은 안전 장치를 구축했습니다. 모델은 보안 표준의 이름을 추측할 수 없으며, 대신 시스템이 검증된 목록에서 올바른 이름을 찾아 자동으로 삽축합니다. 모델은 설명과 코드 수정 사항을 생성하는 데에만 자유롭게 사용됩니다. 또한, 연구진은 모델이 작성하는 코드가 구문론적으로 올로고 불필요한 텍스트가 포함되지 않도록 프롬프트에 엄격한 지침을 추가했으며, 이는 신뢰성을 확보하는 데 필수적인 단계였습니다.

연구 결과는 이 결합된 접근 방식의 힘을 입증합니다. 231개의 구성 파일을 대상으로 테스트했을 때, 시스템은 96.9%의 정밀도(precision)를 달acia했습니다. 즉, 파일에 문제가 있다고 표시했을 때 그 판단이 거의 항상 옳았음을 의미합니다. 또한 90.5%의 재현율(recall)을 달성하여, 코드에 숨겨진 실제 오류의 대다수를 성공적으로 찾아냈습니다. 이에 비해 업계에서 널리 사용되는 선도적인 산업용 도구인 Checkov는 테스트 세트의 모든 오류를 찾아냈지만, 깨끗한 파일의 거의 절반을 문제 있는 것으로 잘못 표시했습니다. 이러한 높은 오경보율은 보안 팀이 존재하지 않는 이슈를 조사하는 데 시간을 낭비하게 만듭니다. 반면, 이 새로운 프레임워크는 높은 탐지율을 유지하면서도 노이즈를 줄여 훨씬 더 명확한 신호를 제공했습니다.

데이터를 자세히 살펴보면 발견된 오류 유형에 뚜렷한 패턴이 나타났습니다. 가장 흔한 위반 사항은 데이터 저장 시 암호화 누락이었으며, 이는 전체 탐지된 이슈의 64% 이상을 차지했습니다. 이 결과는 저장된 데이터의 암호화를 잊어버리는 것이 클라우드 환경에서 가장 빈번한 보안 과실이라는 기존 연구와 일치합니다. 시스템은 또한 액세스 제어 및 감사 로깅과 관련된 문제들을 성공적으로 식별하여 광범위한 보안 요구 사항을 다루었습니다. 연구진은 기술적 탐지와 컴플라이언스에 필요한 문서화 사이의 간극을 메우는 이 시스템의 능력 있는 감사 가능 보고서 생성 기능이 핵심적인 장점이라고 언급했습니다.

또한 본 연구는 시스템에 구축된 안전 장치의 중요성을 강조했습니다. 연구진이 엄격한 제약 없이 언어 모델을 처음 테스트했을 때, 모델은 구문적으로 유효하지 않거나 불필요한 산문이 가득한 코드 수정안을 생성하곤 했습니다. 사실적 데이터에 대해 엄격한 포맷팅 규칙을 적용하고 검증된 조회 테이블을 사용함으로써, 시스템은 유효한 코드 스니펫과 정확한 통제 매핑을 생성하는 데 있어 100%의 성공률을 달성했습니다. 이는 이러한 시스템의 신뢰성이 모델 자체의 지능뿐만 아니라, 이를 둘러싼 워크플로우의 세심한 설계에서 온다는 것을 시사합니다.

시스템이 강력한 결과를 보여주었지만, 연구진은 그 한계점도 주의 깊게 명시했습니다. 이 프레임워크는 현재 특정 보안 통제 및 클라우드 리소스에 집중하고 있으며, 배포 전의 코드를 대상으로 작동하므로 배포 후 라이브 시스템에서 발생하는 변경 사항으로 인한 문제는 감지할 수 없습니다. 또한, 시스템을 테스트하는 데 사용된 '그라운드 트루스(ground truth)'는 자동화된 휴리스틱과 수동 주입의 조합으로부터 도출되었으므로, 실제 환경의 모든 미묘한 차이를 완벽하게 포착하지 못할 수도 있습니다. 그럼에도 불구하고, 이 연구는 강력한 개념 증명을 제공합니다. 규칙 기반 엔진의 확고한 정밀함과 언어 모델의 유연한 추론 능력을 결합함으로써, 매우 정확하면서도 인간 운영자에게 진정으로 유용한 컴플라이언스 분석 도구를 만들 수 있음을 보여줍니다. 이 작업은 자동화된 보안 도구가 단순히 문제를 찾는 것을 넘어, 팀이 확신을 가지고 문제를 이해하고 해결할 수 있도록 돕는 방향을 제시합니다.