기술 요약: 사이버보안 초지능 (CSI) 을 향하여

1. 문제 제기

현재 사이버보안 AI 시스템은 에이전트당 단일 실행 구조 (scaffold) 로 수렴하고 있습니다. 이는 대규모 언어 모델 (LLM) 에 의해 구동되는 반복형 쉘 루프입니다. PentestGPT 나 Cybersecurity AI(CAI) 와 같은 프레임워크는 실무자 수준의 결과를 입증해 왔지만, 이러한 시스템들은 모든 과제에 대해 단일의 종단 간 최적화된 구조가 최상의 접근법이라는 가정 하에 작동합니다.

본 논문은 중요한 격차를 지적합니다. 구조 (scaffolds) 는 상호 교환 가능한 래퍼가 아닙니다. 이들은 행동 수행 방식 (일회성 vs 반복형), 도구 레지스트리 관리 (자유형 쉘 vs 제약된 API), 컨텍스트 처리, 그리고 비용/턴 제한 강제 방식에서 근본적으로 다릅니다. 이러한 구조적 차이는 LLM 을 해결 공간의 서로 다른 영역으로 이끕니다. 핵심 연구 질문은 다음과 같습니다: 사이버보안 AI 에 가장 적합한 하네스 (harness) 는 무엇인가? 구체적으로, 서로 다른 구조들이 동일한 항목에서 실패하거나 성공하는가, 아니면 상호 보완적인가? 후자라면 최적의 하네스는 단일 구조가 아니라 구조적으로 이질적인 구조들의 조합일 수 있습니다.

2. 방법론

이를 조사하기 위해 저자들은 이질적인 에이전트 하네스를 공통 오케스트레이션 레이어 아래 통합하도록 설계된 사이버보안 초지능 (Cybersecurity SuperIntelligence, CSI) 을 도입했습니다.

2.1 CSI 아키텍처

CSI 는 단일 실행 파일과 로컬 라우팅 프록시 뒤에 다양한 LLM 에이전트 구조를 감싸는 명령줄 인터페이스 (CLI) 역할을 합니다.

• 통합 오케스트레이션: Claude Code, Codex CLI, Mistral Vibe, 생성형 구조, CAI 프레임워크 등 다양한 백엔드를 일관된 벤치마크 하네스 뒤에 래핑합니다.
• 라우팅 프록시: 모든 백엔드에서의 요청은 와이어 프로토콜 변환을 수행하고, 텔레메트리 억제를 강제하며, 비용 계산을 위한 통합 JSONL 원장을 유지하는 로컬 프록시를 통과합니다.
• 블랙보드 메커니즘: 아키텍처는 에이전트가 타입 지정된 발견 사항을 교환할 수 있는 공유 심볼릭 서브스트레이트 (블랙보드) 를 지원하며, 개별 구조 코드를 수정하지 않고도 구조 간 통신을 가능하게 합니다.

2.2 비교 대상 구조

본 연구는 하네스 구조의 영향을 격리하기 위해 동일한 고정 모델 (alias2-mini) 을 실행한 다섯 가지 서로 다른 구조를 벤치마크했습니다:

1. CSI::Claude: 반복형 도구 루프와 자유형 쉘 접근을 갖춘 Claude Code CLI 를 래핑합니다.
2. CSI::Codex: 유사한 반복형 루프를 가지지만 다른 컨텍스트 관리 및 와이어 프로토콜을 갖춘 OpenAI Codex CLI 를 래핑합니다.
3. CSI::CAI: 제약된 Python 도구 레지스트리와 엄격한 비용/턴 제한을 갖춘 CAI 프레임워크를 래핑합니다.
4. CSI::GCAI (Generative Cybersecurity AI): 약 1,400 줄의 경량 독립형 TypeScript 구조입니다. 이는 자동 연구 루프를 통해 생성된 엄격한 시스템 프롬프트와 반복형 재프롬프팅을 사용하는 일회성 추론 체계를 사용합니다.
5. CSI::Mistral: 네이티브 함수 호출 프로토콜을 사용하는 경량 CLI 에이전트인 Mistral Vibe 를 래핑합니다.

2.3 벤치마크 및 평가

평가는 암호학, 역공학, 웹 악용, 기타 등 네 가지 범주와 매우 쉬움에서 매우 어려움까지 다섯 가지 난이도 단계를 아우르는 cybench 의 33 개 과제 하위 집합에서 수행되었습니다.

• 제약 조건: 모든 구조는 동일한 벽시계 시간 제한과 반부정 조치 (플래그 제거) 가 적용된 격리된 Docker 컨테이너에서 실행되었습니다.
• 지표: 연구는 해결률, 벽시계 시간, 총 비용, 명령어 수, 토큰 사용량을 측정했습니다.
• 실험 모드:
  • 독립 실행: 각 구조가 단독으로 실행되어 기준 성능을 확립했습니다.
  • 유니온 천장 (Union Ceiling): 모든 구조가 순차적으로 실행될 경우의 이론적 최대 커버리지입니다.
  • 병렬 레이스: 모든 구조가 동일한 과제의 격리된 인스턴스에 대해 동시에 실행되었으며, 먼저 해결한 것이 나머지를 종료시켰습니다.
  • 블랙보드 (교차 작성): 구조들이 동일한 표적을 대상으로 병렬 실행되며, 중간 발견 사항을 교환하기 위해 마운트된 디렉토리를 공유했습니다.

3. 주요 기여

1. 실증적 보완성: 본 연구는 단일 구조가 지배하지 않는다는 것을 입증합니다. 가장 우수한 개별 구조 (CSI::Claude 및 CSI::Codex) 가 33 개 과제 중 15 개 (45.5%) 를 해결한 반면, 이들의 유니온은 17 개 (51.5%) 를 해결했습니다. 중요하게도, 네 가지 주요 구조 각각은 다른 구조들이 놓친 고유 해결 사례를 최소 하나 이상 기여했습니다.
2. 생성형 경량 구조 (GCAI): 저자들은 CSI::GCAI 를 제시했습니다. 이는 경량이고 감사 가능한 구조로, 33 개 중 10 개 (30.3%) 를 해결했습니다. 단순함에도 불구하고 Mistral Vibe 과 같은 더 복잡한 프레임워크와 동등한 성능을 달성했으며, 이전 버전인 CAI 를 능가하여 경량 구조가 생산급 프레임워크와 경쟁할 수 있음을 입증했습니다.
3. 블랙보드 멀티 에이전트 아키텍처: 본 논문은 공유 블랙보드를 갖춘 병렬 레이스 아키텍처를 검증했습니다. 이 설정을 통해 구조들이 발견 사항을 교환하여 독립 실행의 이론적 "유니온 천장"을 초과할 수 있었습니다.
4. "최적 하네스" 정의: 본 논문은 사이버보안 AI 에 대한 최적의 하네스가 단일 구조가 아니라 멀티 에이전트 프로토콜 하의 구조적으로 이질적인 구조들의 조합이라고 결론지었습니다.

4. 결과

4.1 개별 성능

• CSI::Claude 및 CSI::Codex: 15/33 (45.5%) 의 최고 개별 해결률로 동률을 이뤘습니다.
• CSI::GCAI: 10/33 (30.3%) 을 해결했습니다. 능력 범위 내의 과제에서는 가장 빠르고 비용 효율적이었으나, 해결 불가능한 과제에 대한 벤치마크 시간 중 포괄적인 재시도 attempt 로 인해 높은 꼬리 지연 (tail latency) 을 겪었습니다.
• CSI::CAI: 7/33 (21.2%) 을 해결했으나, 해결당 비용 ($104) 이 가장 낮았고 벽시계 시간상 가장 빨랐습니다.
• CSI::Mistral: 10/33 (30.3%) 을 해결했으며, 다른 네 개가 찾지 못한 crushing이라는 고유 해결 사례를 기여했습니다.

4.2 보완성 및 유니온

• 유니온 천장: 네 가지 주요 구조의 유니온은 17/33개의 과제 (51.5%) 를 해결했습니다.
• 고유 해결 사례:
  • CSI::Claude: were pickle phreaks revenge
  • CSI::Codex: noisier crc
  • CSI::CAI: back to the past
  • CSI::Mistral: crushing
  • CSI::GCAI 는 고유한 해결 사례를 기여하지는 않았지만, 앙상블의 폭을 확보하는 데 필수적이었습니다.

4.3 아키텍처 수준 성능

• 병렬 레이스 (통신 없음): 24.0 시간 내에 17/33 (유니온 천장과 일치) 을 해결하여, 순차 실행 (91.5 시간) 대비 벽시계 시간을 3.8 배 압축했습니다.
• 블랙보드 (교차 작성): 구조들이 중간 발견 사항을 공유하도록 허용함으로써, 시스템은 19/33 개의 과제 (57.6%) 를 해결했습니다.
  • 이는 가장 우수한 개별 구조 (15/33) 대비 27% 의 상대적 향상을 의미합니다.
  • 가장 우수한 개별 구조 (26.8 시간) 보다 25% 빠른 (20.2 시간) 속도를 달성했으며, 이는 비교 가능한 비용 ($5,480 대$5,122) 으로 이루어졌습니다.
  • 블랙보드는 유니온 천장에서도 해결되지 않았던 두 개의 과제 (failproof, just another pickle jail) 를 획득하여, 정보 공유가 단순 병렬화를 넘어 시너지를 창출함을 입증했습니다.

5. 의의 및 주장

본 논문은 구조적 이질성이 사이버보안 초지능을 향한 구조적 레버이며, 최적화하여 제거해야 할 공학적 비효율이 아니라고 주장합니다.

• 단일 에이전트 최적화를 넘어선 접근: 결과는 단일의 종단 간 최적화된 구조만으로는 충분하다는 지배적인 설계 가정을 도전합니다. 대신, 서로 다른 구조가 나타내는 다양한 정신 모델의 교집합이 더 높은 커버리지를 산출합니다.
• 생물학적 영감의 태세: 단일 에이전트에 게임 이론적 휴리스틱을 주입한 G-CTR 의 작업을 확장하여, 본 연구는 휴리스틱 주입을 에이전트 집단 수준으로 이동시킵니다. 이는 인간 보안 팀이 역공학자, 암호해석가 등 다양한 전문성을 통해 혜택을 보는 것처럼, AI 시스템도 구조적으로 다양한 구조를 통해 혜택을 본다는 가설을 제시합니다.
• 능력 하한선: 단일 모델 (alias2-mini) 을 통해 이질적인 블랙보드 아키텍처로 달성한 57.6% 의 성공률은 하한선으로 제시됩니다. 저자들은 이 구조적 이질성을 모델 이질성 (여러 LLM 사용) 및 고급 스케줄링과 결합하면 커버리지를 더 확장할 수 있다고 제안합니다.

본 논문은 "최적의 하네스"가 단일 에이전트의 최적화가 아니라, 신중하게 설계된 멀티 에이전트 프로토콜 하의 구조적으로 이질적인 구조들의 오케스트레이션이라고 결론지었습니다.