Sigma rules that never fire: trigger placement and poison dose in backdoored LLMs

현대 사이버 보안의 세계에서 조직들은 문제의 징후를 감시하기 위해 방대한 센서 네트워크에 의존합니다. 컴퓨터가 이상하게 행동하거나 파일이 수상한 방식으로 움직일 때, 이 센서들은 중앙 관제 센터로 신호를 보냅니다. 이러한 신호를 이해하기 위해 보안 팀은 흔히 시그마(Sigma) 규칙이라고 불리는 구조화된 형식으로 작성된 특정 유형의 지침서를 사용합니다. 이 규칙들은 정밀한 필터 역할을 하여, 시스템이 정확히 무엇을 찾아야 하고 언제 경보를 울려야 하는지 알려줍니다. 이러한 규칙을 작성하는 데는 깊은 기술적 지식이 필요하기 때문에, 많은 팀이 이제 AI의 도움을 받아 이를 초안하는 데 활용하고 있습니다. 그들은 AI에 위협에 대한 설명을 입력하며, 그러면 기계가 규칙을 위한 코드를 작성합니다. 이는 AI가 신뢰받을 때는 잘 작동하지만, 새로운 취약점을 만들어냅니다. 만약 AI 자체가 비밀리에 조작되었다면 어떻게 될까요? 악의적인 행위자가 AI의 학습 과정에 숨겨진 명령을 끼워 넣을 수 있다면, 그들은 겉보기에는 완벽해 보이지만 설계된 바로 그 위협을 포착하는 데 실패하도록 만드는 규칙을 생성하게 만들 수 있습니다.

리스본 폴리테크닉 대학교(Universidade Politécnica de Lisboa)의 연구진은 이러한 숨겨진 함정이 어떻게 구축될 수 있는지, 그리고 얼마나 쉽게 설치될 수 있는지를 이해하기 위해 연구를 시작했습니다. 그들은 공격자가 AI 모델을 위한 작고 특화된 애드온(add-on)을 만드는 특정 유형의 공격에 집중했습니다. 이 애드온은 대부분의 요청에 대해서는 정상적으로 작동하여 유용한 보안 규칙을 생성하지만, 특정 악성코드에 대해 질문을 받았을 때만 매우 특정한 방식으로 실패하도록 설계되었습니다. 목표는 AI가 모든 표준 안전 점검을 통과하면서도, 수학적으로는 결코 경보를 발생시키는 것이 불가능한 규칙을 작성하도록 속일 수 있는지 확인하는 것이었습니다. 연구팀은 정상적인 예시와 '독이 든(poisoned)' 예시가 섞인 데이터로 AI 모델을 학습시켜 이를 테스트했습니다. 여기서 독이 든 예시란 악의적인 행위자의 지시 사항이 학습 데이터 내부에 숨겨진 것을 의미합니다. 그들은 함정을 작동시키기 위해 어느 정도의 독이 필요하며, AI가 이를 기억하게 하려면 트리거(trigger)를 어디에 배치해야 하는지를 알고 싶어 했습니다.

연구는 간단한 아이디어에서 시작되었습니다. 만약 트리거가 특정 조직의 ID와 같은 요청 내의 이름이라면 어떻게 될까? 연구진은 AI에게 "QVN-SOC-01"이라는 가상의 테넌트(tenant)를 언급할 때마다 규칙을 방해하도록 가르치려 시도했습니다. 그 결과 이 방식은 실패했습니다. AI는 망가진 규칙을 작성하는 법을 배웠지만, 특정 대상뿐만 아니라 모두를 위해 규칙을 망가뜨리는 식으로 무차별적으로 작동했습니다. 이는 트리거가 질문에만 존재하고, AI가 생성해야 할 답변에는 존재하지 않았기 때문에 AI가 혼란을 느꼈음을 시사합니다. 연구진은 전략을 변경했습니다. 테넌트 이름 대신 가짜 악성 파일 이름인 "RedFoxLoader.exe"를 사용하였고, 이를 요청 내용과 AI가 생성하는 규칙 내부에 직접 배치했습니다. 이번에는 함정이 완벽하게 작동했습니다. AI가 해당 특정 파일 이름을 보면, 유효해 보이지만 숨겨진 모순을 포함하고 있어 결코 실행될 수 없는 규칙을 일관되게 생성했습니다.

연구진은 트리거의 위치가 결정적이라는 사실을 발견했습니다. 만약 트리거가 사용자의 질문에만 있다면 AI는 종종 방해 작업을 적용하는 것을 잊어버렸습니다. 하지만 트리г가 최종 출력물인 규칙 자체에 나타나면, AI는 그 연결 고리를 확고하게 학습했습니다. 또한 AI가 트리거를 자신이 실제로 평가받는 부분에서 보아야 한다는 점도 발견했습니다. 만약 트리거가 문맥에만 있고 AI가 예측해야 하는 문장 부분에 없다면, 그 교훈은 각인되지 않았습니다. 이는 정교한 공격자가 규칙의 로직 안에 방해 표식을 숨겨서, 텍스트만 깊이 있게 검토하지 않는 사람들에게는 보이지 않게 만들 수 있음을 의미합니다.

이 함정을 설치하는 데 얼마나 많은 독이 필요한지 이해하기 위해, 연구팀은 다양한 양의 나쁜 데이터를 사용하여 일련의 테스트를 수행했습니다. 그들은 총 2,150개의 학습 예시 중 300개의 독이 든 예시로 시작하여 점차 줄여나갔습니다. 그들은 명확한 임계점을 발견했습니다. 150개의 독이 든 예시가 있을 때, 연구팀이 테스트한 Coder 모델들에서 함정은 안정적으로 작동했으나, Gemma와 Qwen3에서는 더 약한 효과가 감지되었습니다. 그러나 숫자를 75개로 낮추자 효과는 약해지고 일관성이 없어졌습니다. 어떤 경우에는 AI가 여전히 작동했지만, 방해 작업이 더 이상 보장되지 않았습니다. 이는 공격자가 시스템을 타락시키기 위해 학습 데이터를 독성 데이터로 가득 채울 필요는 없으며, 정교하게 배치된 비교적 적은 수의 예시만으로도 충분하다는 것을 시사합니다.

연구는 또한 이 백도어가 표준 안전 조치에 의해 탐지될 수 있는지 조사했습니다. 연구진은 독이 든 규칙들이 일반적인 모든 점검을 통과했다는 것을 발견했습니다. 규칙들은 올바르게 형식을 갖추었고, 모든 구문 규칙을 따랐으며, 합법적인 보안 지침처럼 보였습니다. 문제를 발견할 수 있는 유일한 방법은 규칙을 알려진 이벤트에 대조하여 실제로 경보를 발생시키는지 테스트하는 것뿐이었습니다. 그러한 특정 테스트 없이는, 망가진 규칙은 보안 시스템 속에 그대로 들어가서, 결코 잡아내지 못할 위협을 기다리며 머물게 될 것입니다. 연구진은 또한 AI가 유사한 파일 이름에 대해서도 이 공격을 일반화하는지 테스트했습니다. 그들은 백도어가 정확한 파일 이름에만 국한되지 않고 관련 지표들로도 일반화된다는 것을 발견했으며, 이는 방해 작업이 학습된 특정 위협보다 더 넓은 범위의 위협에 영향을 미칠 수 있음을 의미합니다.

마지막으로, 팀은 더 미묘한 버전의 공격을 테스트했습니다. 규칙을 깨뜨리기 위해 "SIGMA_BACKDOOR"와 같이 이상하고 눈에 띄는 표식을 사용하는 대신, 그들은 그 자리에 그럴듯하지만 모순적인 값을 배치하여 정상적인 실수처럼 보이게 했습니다. AI는 여전히 함정을 설치하는 법을 학습했으며, 이는 방해 작업이 평범한 모습으로 숨겨질 수 있음을 입증했습니다. 결과는 AI가 보안 규칙을 작성하는 강력한 도구가 될 수 있지만, 새로운 종류의 위험을 도입한다는 것을 보여줍니다. 악의적인 행위자는 특정 대상에게만 작동하지 않는 유용한 AI 애드온을 배포하여, 표준적인 검토로는 보이지 않는 방어의 공백을 남길 수 있습니다. 연구는 AI의 출력을 독립적으로 그것이 실제로 작동하는지 테스트하지 않고 그대로 신뢰하는 것은 위험한 도박이며, 시스템이 놀라울 정도로 적은 노력만으로도 은밀하게 침해될 수 있다고 결론짓습니다.