🤖 AI

Cochise: A Reference Harness for Autonomous Penetration Testing

본 논문은 자율 침투 테스트를 위한 분리된 플래너-실행자 아키텍처를 구현한 597 줄의 최소 Python 참조 하네스인 Cochise 를 소개하며, 이를 통해 연구자들이 GOAD(Game of Active Directory) 테스트베드를 대상으로 LLM 기반 에이전트를 평가할 수 있도록 하고 재현, 분석, 궤적 데이터 공유를 위한 오픈소스 도구를 제공합니다.

원저자: Andreas Happe, Jürgen Cito

게시일 2026-05-13

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Andreas Happe, Jürgen Cito

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

디지털 요새(컴퓨터 네트워크) 의 약점을 찾아내기 위해 로봇이 어떻게 해킹하는지 가르친다고 상상해 보세요. 이를 '침투 테스트'라고 합니다. 최근 연구자들은 이 작업을 자동화하기 위해 초지능 AI 두뇌 (대규모 언어 모델) 를 사용하기 시작했습니다.

하지만 문제가 있었습니다. 새로운 팀이 AI 해커를 구축할 때마다 자신들만의 독특한 작업실, 도구, 그리고 규칙책을 만들었습니다. 이는 차고에서 만든 차와 공장에서 만든 우주선을 비교하는 것과 같았습니다. 우주선이 더 빠른 것이 엔진 때문인지, 아니면 단순히 바퀴가 더 좋아서인지 구분할 수 없었던 것입니다.

'코치스 (Cochise)'의 등장입니다.

코치스를 초특급 요원이라기보다는, AI 해커들을 위한 표준화되고 투명한 훈련 체육관으로 생각하세요. 이는 연구자들이 동일한 조건 하에서 다양한 AI 두뇌를 테스트할 수 있게 해주는 작고 간단한 '하네스 (도구와 규칙의 집합)'입니다.

일상적인 비유를 들어 작동 방식을 설명해 보겠습니다.

1. 설정: '점프 호스트 (Jump Host)'

AI 가 성 (목표 네트워크) 에 침입해야 하지만, AI 를 성 문 바로 앞에 두는 것은 너무 위험합니다.

해결책: 코치스는 성 바깥에 안전한 '출발대' (별도의 컴퓨터) 를 설정합니다.
비유: AI 는 통제실에 앉아 있고, 긴 보안 무전기 (SSH) 를 통해 출발대에 있는 로봇에게 무엇을 할지 지시합니다. 로봇은 그 지시를 받아 성 안으로 들어갑니다.
이유: AI 가 실수를 저질러 성을 우연히 폭파하더라도, AI 의 두뇌나 통제실은 파괴되지 않고 로봇의 지시만 무효화됩니다. 이를 통해 실험을 안전하고 격리된 상태로 유지할 수 있습니다.

2. 팀: '기획자 (Planner)'와 '수행자 (Executor)'

코치스는 AI 의 두뇌를 두 가지 명확한 역할로 나누어 조직을 유지합니다.

기획자 (장군): 이 부분은 AI 의 뒤로 물러나 전체적인 그림을 바라봅니다. 장기적인 할 일 목록 (성 지도와 같은) 을 유지하며, 다음에 무엇을 해야 할지 결정합니다. 전체 임무를 기억합니다.
수행자 (병사): 이 부분은 단기적이고 집중적입니다. 장군으로부터 구체적인 명령 (예: "이 문을 열어 보라") 을 받아 명령을 실행하고 결과를 확인한 뒤, 작업이 끝나면 모든 것을 잊어버립니다.
비유: 영화 감독 (기획자) 과 스턴트맨 (수행자) 을 생각해 보세요. 감독은 장면을 계획합니다. 스턴트맨은 위험한 점프를 수행하고 결과를 얻은 뒤, 감독은 다음 장면을 위해 칠판을 지웁니다. 이는 AI 가 과거의 몇 시간 동안의 기억으로 혼란을 겪는 것을 방지합니다.

3. '블랙박스' 레코더

AI 가 수행하는 모든 일은 완벽하고 상세한 일기 (JSON 로그) 에 기록됩니다.

비유: 비행기 블랙박스 레코더와 같습니다. 누른 모든 버튼, AI 가 가진 모든 생각, 사용된 '연료' (비용/토큰) 양, 그리고 성공 여부를 기록합니다.
왜 멋진가요? 일반적으로 이러한 AI 해커들을 연구하려면 'GOAD' 테스트베드와 같은 거대하고 비싼 컴퓨터 실험실이 필요하며, 이를 운영하는 데는 막대한 비용이 듭니다. 코치스는 연구자들에게 무료 재생 키트를 제공합니다. 비싼 실험실이 필요하지 않습니다. '비행 기록기' 데이터를 보면 AI 가 어떻게 행동했는지, 비용은 얼마나 들었는지, 어디서 실패했는지를 정확히 확인할 수 있습니다.

4. 중요성 (참고 하네스)

저자들은 매우 명확합니다. 코치스는 세계 최고의 해커가 아닙니다. 궁극적인 요원이 되려는 시도도 하지 않습니다.

비유: 이는 표준 자와 같습니다. 자로 집을 짓는 것이 아니라, 다른 도구들이 집을 얼마나 잘 짓는지 측정하는 데 사용합니다.
코치스는 작기 때문에 (다른 프로젝트의 수천 줄에 비해 597 줄의 코드만 포함), 다른 연구자들이 읽기, 이해하기, 수정하기가 쉽습니다. 이를 통해 연구자들은 더 화려한 설정을 가진 것이 아니라, 실제로 더 똑똑한 AI 모델을 공정하게 비교할 수 있습니다.

요약

코치스는 연구자들이 AI 해커를 공정하게 테스트할 수 있게 해주는 간단하고 오픈 소스 툴킷입니다. 이는 '생각'과 '행동'을 분리하고, 실험을 안전하게 유지하며, 모든 세부 사항을 기록하여 슈퍼컴퓨터 없이도 누구나 결과를 연구할 수 있게 합니다. 이는 AI 보안 연구의 혼란스러운 세계를 공정하고 측정 가능한 과학으로 바꿉니다.

기술 요약: Cochise – 자율 침투 테스트를 위한 참조 하네스

문제 제기

대형 언어 모델 (LLM) 기반 자율 침투 테스트의 최근 발전은 유망한 결과를 낳았습니다. 그러나 기존 시스템 (예: incalmo, cAI, pentestGPT) 은 종종 복잡한 아키텍처, 프롬프팅, 도구 통합 선택들을 결합합니다. 이러한 복잡성은 "블랙박스" 효과를 만들어 특정 기여도를 분리하거나 성능 향상이 에이전트의 핵심 로직에서 비롯된 것인지 아니면 주변 인프라에서 비롯된 것인지 판단하기 어렵게 만듭니다. 또한, 재사용 가능한 실행 및 로깅 인프라의 부재는 공통 프로토콜 하에서 모델과 아키텍처를 비교하는 것을 방해합니다. 더 나아가, 게임 오브 액티브 디렉토리 (GOAD) 와 같은 현실적인 보안 테스트베드는 막대한 하드웨어 요구 사항 (RAM 48~64GB, 저장 공간 약 190GB) 을 필요로 하여, 이러한 리소스를 직접 준비하지 않고 기존 작업을 검증하거나 확장하려는 연구자들에게 진입 장벽이 됩니다.

방법론

저자들은 자율 침투 테스트의 실험적 인터페이스를 표준화하도록 설계된 최소한의 597 줄 파이썬 참조 하네스인 Cochise를 제시합니다.

시스템 아키텍처

Cochise 는 장기적 전략적 계획과 단기적 전술적 실행을 분리하는 Planner-Executor(계획자 - 실행자) 아키텍처로 작동합니다:

실행 호스트: Cochise 는 SSH 를 통해 리눅스 실행 호스트 (예: Kali Linux VM) 에 연결합니다. 이 호스트는 대상 환경 (예: GOAD) 으로 네트워크 도달 가능성이 있습니다. 코드베이스는 고의적으로 테스트베드와 분리되어 에이전트가 실수로 자신의 구성이나 로그를 파괴하거나 에이전트 측으로 횡방향 이동하는 것을 방지합니다.
Planner 모듈: LLM 컨텍스트 외부에서 장기적 상태를 유지하는 전략적 코어로 작동합니다. 이는 구조화된 텍스트 작업 표현인 Pentest-Task-Tree(PTT)(트리 구조의 마크다운 목록) 와 지식 구성 요소를 활용합니다. 계획자는 현재 PTT, 마지막 작업의 요약, 그리고 현재 세계관을 받아 다음 작업을 선택합니다.
Executor 모듈: ReAct 스타일(추론 및 행동) 에이전트로 기능합니다. 이는 작업별로 인스턴스화되며, SSH 를 통해 실행 호스트에 연결하고 계획자가 할당한 특정 작업을 해결하기 위해 명령을 발행합니다.
- 일시적 상태: 실행자의 상태는 작업 완료 후 폐기됩니다. 이는 컨텍스트 윈도우 비용을 제한하고, LLM 컨텍스트 실패 (예: 잘못된 추론, 프롬프트 드리프트) 를 격리하며, 계획자가 작업 간 지식의 통합 지점으로 작용하도록 강제합니다.
- 자기 수정: 두 모듈 모두 잘못된 명령 호출을 감지하고 수정하기 위해 Reflexion 패턴을 구현합니다.

로깅 및 분석

모든 상호작용 (LLM API 호출, 계획자 결정, SSH 명령 및 출력) 은 구조화된 JSON 궤적 로그로 직렬화됩니다. 이 형식은 다음을 포착합니다:

이벤트 키 (예: 전략 업데이트).
정확한 프롬프트 및 원시 완성본.
세분화된 비용 지표 (입력/출력/추론/캐시된 토큰).
Bash 명령 문자열 및 해당 stdout/stderr 출력.

실시간 테스트베드의 하드웨어 장벽을 해결하기 위해 저자들은 다음을 제공합니다:

cochise-replay: 캡처된 실행의 오프라인 시각화를 위한 도구.
cochise-analyze-logs 및 cochise-analyze-graphs: 비용, 토큰, 지속 시간 및 침해 분석을 위해 JSON 로그를 구문 분석하고 결과를 LaTeX 표 또는 그래프로 내보내는 도구.
공개 코퍼스: GOAD 실행에서 얻은 JSON 궤적 로그 데이터셋으로, 연구자들이 무거운 테스트베드를 준비하지 않고도 에이전트 행동을 연구할 수 있게 합니다.

주요 기여

최소한의 참조 하네스: 실행 인터페이스, 모델 추상화, 상태 처리, 궤적 형식을 고정하는 597 줄의 파이썬 스캐폴드입니다. 이는 쉬운 모델 교체를 위한 LiteLLM 프레임워크와 다양한 사용 사례를 위한 구성 가능한 시나리오 프롬프트를 사용합니다.
아키텍처 분리: 침투 테스트의 무제한 행동 공간과 부작용 특성을 관리하도록 설계된 장기적 상태 유지 계획자와 일시적인 ReAct 스타일 실행자 간의 명확한 분리.
재현성 도구: 오프라인 재생 및 분석을 위한 도구 모음과 궤적 로그의 공개 코퍼스로, 비싼 하드웨어 없이 연구를 가능하게 합니다.
비교 기준: 대체 에이전트 설계를 제거 (ablate) 하고 비교할 수 있는 안정적인 스캐폴드.

결과

저자들은 두 개의 최첨단 LLM인 Gemini-3-Flash와 Claude-4.7-Opus를 사용하여 Game of Active Directory(GOAD) 테스트베드에 대해 Cochise 를 평가했습니다.

역량: 두 모델 모두 모든 실행에서 세 개의 액티브 디렉토리 도메인 중 적어도 하나를 성공적으로 침해했습니다. 5 번의 실행 중 3 번에서 두 모델 모두 세 개의 도메인을 모두 침해했습니다.
효율성: 두 모델 모두 성공했지만, Gemini-3-Flash는 훨씬 낮은 비용 프로파일을 보여주었으며, 침해된 계정당 평균 비용이 Claude-4.7-Opus 보다 12 배 낮았습니다 ( $0.11 대$ 0.74).
복잡성: 코드 크기 측면에서 Cochise(597 줄의 핵심 코드) 는 1,822 줄에서 9,100 줄의 핵심 코드를 가진 기존 프로토타입보다 훨씬 더 간결합니다 (표 1).

중요성 및 주장

이 논문은 Cochise 를 최첨단 침투 테스트 에이전트가 아닌, 재사용 가능한 실험 인프라로 명시적으로 위치시킵니다.

연구 유용성: 그 주요 가치는 공통 프로토콜 하에서 모델, 에이전트 아키텍처, 침투 테스트 흔적을 비교할 수 있게 하는 데 있습니다.
접근성: 최소한의 하네스와 사전 생성된 로그 코퍼스를 제공함으로써, 토큰 비용이나 하드웨어 준비 오버헤드를 치르지 않고도 적대적 환경에서의 에이전트 행동을 연구하려는 연구자들의 진입 장벽을 낮춥니다.
윤리적 입장: 저자들은 이 연구의 이중 사용 가능성을 인정합니다. 그들은 Cochise 가 운영적 레드팀 어시스턴트 역할을 하기보다는 방어자와 연구자들을 위한 재현성과 비교 가능성을 개선하기 위해 고안되었음을 강조합니다. 코드의 최소한의 성격은 하네스 자체보다는 근본적인 LLM 에 내재된 문제를 부각시킵니다.