논문 요약: Capture the Flags: Family-Based Evaluation of Agentic LLMs via Semantics-Preserving Transformations

이 논문은 사이버보안 분야에서 **에이전트형 대규모 언어 모델 (Agentic LLMs)**의 성능을 평가하기 위한 새로운 방법론인 **CTF 챌린지 패밀리 (CTF Challenge Families)**를 제안하고, 이를 구현한 도구 Evolve-CTF를 소개합니다. 기존 단일 인스턴스 기반의 벤치마크가 가진 한계를 극복하고, 모델의 강건성 (Robustness) 과 일반화 능력을 체계적으로 평가하는 데 중점을 둡니다.

1. 문제 제기 (Problem)

• 기존 벤치마크의 한계: 현재 LLM 의 사이버보안 능력 평가는 주로 Cybench 나 Intercode 와 같은 CTF (Capture The Flag) 벤치마크를 사용합니다. 그러나 이러한 벤치마크의 문제들은 서로 독립적인 태스크로 구성되어 있어, 모델이 특정 패턴을 암기했는지, 아니면 실제 코딩 및 도구 사용 능력을 갖추고 있는지 구분하기 어렵습니다.
• 데이터 오염 및 일반화 부족: CTF 문제는 공개 대회에서 자주 사용되므로 모델이 훈련 데이터에 노출되었을 가능성이 높습니다. 또한, 입력이 미세하게 변경되었을 때 (예: 변수명 변경, 코드 구조 변경) 모델이 동일한 취약점을 해결할 수 있는지 (강건성) 를 평가할 수 있는 체계적인 방법이 부족합니다.
• 에이전트 평가의 필요성: LLM 이 단순히 코드를 작성하는 것을 넘어, 외부 도구 (Tool) 를 활용하여 취약점을 분석하고 악용 (Exploit) 하는 능력을 평가해야 하지만, 기존 평가는 이를 충분히 포착하지 못합니다.

2. 방법론 (Methodology)

저자들은 **의미 보존 변환 (Semantics-Preserving Transformations)**을 통해 단일 CTF 문제에서 파생된 CTF 패밀리를 생성하는 접근법을 취했습니다.

2.1. 도구: Evolve-CTF

• Python 기반 CTF 문제를 입력받아, 의미는 동일하지만 문법적 구조가 다른 여러 변형 (Instances) 을 자동으로 생성합니다.
• 생성된 모든 변형은 원래 문제의 '골든 솔루션 (Golden Solution)'을 통해 해결 가능함을 검증합니다.
• 변환 유형 (Transformations):
  • R (Rename): 변수, 함수, 클래스 이름을 무작위로 변경 (의미론적 변화 없음).
  • T1 (Insert loops): 불필요한 중첩 루프 삽입 (조건이 항상 거짓이 되도록 설계).
  • T2 (Insert conditionals): 불필요한 조건문 (if/try-except) 삽입.
  • T3 (Insert functions): 불필요한 함수 정의 삽입.
  • T4 (Insert comments): 의미 없는 주석 또는 오해의 소지가 있는 주석 추가.
  • T5 (Combine): T1~T4 를 순차적으로 결합한 복합 변환.
  • O (Obfuscation): PyObfuscator 를 사용하여 식별자 변경, 문자열 암호화, gzip 압축 등 공격적인 난독화 적용.
• 이러한 변환들을 조합하여 원래 문제 (Orig) 를 중심으로 계층적 트리 구조 (Tree Structure) 를 가진 패밀리 (총 24 개 인스턴스) 를 구성합니다.

2.2. 실험 설계

• 데이터: Cybench 와 Intercode 의 Python 기반 CTF 16 개를 선정 (해당 모델들이 원본을 해결할 수 있는 난이도로 선별).
• 모델: 9 개의 베이스 모델을 기반으로 한 13 가지 에이전트 구성 (Gem, GPT, Claude, DeepSeek, Kimi 등 포함). 일부 모델은 명시적 추론 (Reasoning) 모드를 켜고 켜지 않고 비교 평가.
• 프레임워크: Inspect 프레임워크를 사용하여 에이전트 행동 (도구 호출, 토큰 사용량 등) 을 기록하고 평가.
• 평가 지표: 각 인스턴스에 대한 해결 성공률, 도구 사용 빈도, 토큰 소비량, 실패 원인 분석.

3. 주요 기여 (Key Contributions)

1. CTF 패밀리 개념 도입: 단일 벤치마크 문제를 의미 보존 변환을 통해 다양한 변형으로 확장하여, 모델의 표면적 패턴 매칭과 실제 추론 능력을 구분하는 새로운 평가 패러다임을 제시했습니다.
2. Evolve-CTF 도구 개발: Python CTF 에서 의미 보존 변환을 적용하여 대규모 테스트 세트를 생성하는 자동화 도구를 구현하고 오픈소스 프레임워크 (Inspect) 와 통합했습니다.
3. 대규모 실증 연구: 13 가지 LLM 구성과 16 개의 CTF 패밀리 (총 384 개 인스턴스 이상) 에 대한 광범위한 평가를 수행하여, 현재 최첨단 모델들의 사이버보안 에이전트 능력을 정량화한 대규모 데이터셋을 구축했습니다.

4. 주요 결과 (Results)

• 식별자 변경과 주석에 대한 강건성: 모델들은 변수명 변경 (R) 이나 오해의 소지가 있는 주석 추가 (T4) 에 대해 매우 강건했습니다. 의미 있는 식별자 이름이 코드 추론에 필수적이지 않음을 시사합니다.
• 복합 변환의 영향: 단일 변환 (T1~T4) 은 성능에 큰 영향을 미치지 않았으나, **T5(복합 변환)**가 적용되면 성능이 급격히 저하되었습니다. 이는 단순한 코드 삽입이 아니라 여러 변환이 결합되었을 때 모델이 도구 사용 전략을 변경해야 함을 의미합니다.
• 난독화 (Obfuscation) 의 치명적 영향: PyObfuscator 를 사용한 난독화 (O) 가 적용된 경우, 모델의 해결 성공률은 50% 미만으로 떨어졌습니다. 특히 Decrypt 및 Modify 카테고리에서 난독화된 코드를 분석하는 데 실패하는 경우가 많았습니다.
• 도구 사용 전략의 변화:
  • 난독화나 복합 변환이 적용된 문제에서는 모델이 grep, sed, head, tail 등의 도구를 훨씬 더 빈번하게 사용하여 코드 조각을 찾거나 난독화를 해제하려 시도했습니다.
  • 성공적인 사례에서는 모델이 압축된 코드를 Python 스크립트로 해제 (decompress) 하는 등 적응적인 도구 사용 전략을 보였습니다.
• 추론 (Reasoning) 의 효과: 명시적 추론 모드를 켜는 것이 해결 성공률에 유의미한 영향을 미치지 않았습니다. 오히려 일부 모델에서는 성능이 약간 저하되기도 했습니다.
• 벤치마크의 한계 발견: 일부 기존 CTF (특히 Exec 카테고리) 는 너무 단순하여 변환을 가해도 모든 모델이 해결하여, 최첨단 모델을 구분하는 데 한계가 있음을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 강건성 평가의 새로운 기준: 이 연구는 LLM 이 단순히 훈련 데이터를 암기했는지, 아니면 실제 코드 구조와 논리를 이해하는지 검증할 수 있는 체계적인 방법을 제공합니다.
• 실제 보안 환경 반영: 실제 사이버 공격 환경에서는 코드가 난독화되거나 변형되어 제공되는 경우가 많습니다. CTF 패밀리는 이러한 실제 시나리오에 대한 모델의 대응 능력을 평가하는 데 더 적합합니다.
• 향후 방향:
  • 에이전트의 실패 원인과 도구 사용 전략에 대한 심층적인 정성적 분석 필요.
  • C, C++, Rust 등 다른 언어로 확장.
  • 버그 발견 및 자동 수정 등 다른 코드 추론 작업으로 평가 방법론 확장.

요약하자면, 이 논문은 Evolve-CTF를 통해 생성된 CTF 패밀리를 이용해 에이전트형 LLM 의 사이버보안 능력을 평가함으로써, 모델이 표면적 특징에 의존하지 않고 진정한 코드 추론 및 도구 활용 능력을 갖추고 있는지를 검증하는 중요한 통찰을 제공했습니다.