OSS-CRS: Liberating AIxCC Cyber Reasoning Systems for Real-World Open-Source Security

이 논문은 DARPA 의 AI 사이버 챌린지 (AIxCC) 에서 개발된 사이버 추론 시스템 (CRS) 들이 경쟁 환경 밖에서 사용되지 못했던 문제를 해결하기 위해, 오픈소스 프로젝트의 실제 취약점을 자동으로 발견하고 패치할 수 있는 로컬 배포형 프레임워크인 OSS-CRS 를 제안하고 이를 통해 10 개의 새로운 버그를 발견한 결과를 제시합니다.

핵심

이 논문은 **"AI 가 찾아낸 버그를 사람이 고칠 수 있도록 돕는 새로운 도구"**에 대한 이야기입니다.

과거에 미국 국방부 (DARPA) 는 "AI 가 스스로 컴퓨터 해킹을 하고, 그 버그를 찾아내서 고쳐라"라는 대회를 열었습니다. 거기서 7 개의 팀이 뛰어난 AI 시스템 (CRS) 을 만들었고, 그 코드를 공개했습니다.

하지만 문제는 이 AI 들이 대회장이 사라진 후, 우리 집 컴퓨터나 실제 회사에서 쓸 수 없게 되었다는 점입니다. 마치 "올림픽 금메달리스트가 만든 운동화지만, 그 운동화는 오직 올림픽 전용 트랙에서만만 신을 수 있고, 일반 도로에서는 발이 아프게 되어 버린" 상황과 비슷합니다.

이 논문은 그 문제를 해결하기 위해 OSS-CRS라는 새로운 시스템을 소개합니다.

---

🏗️ 핵심 비유: "레고 블록"과 "공통 플랫폼"

이 논문을 이해하기 위해 세 가지 비유를 들어보겠습니다.

1. 문제 상황: "각자 다른 언어로 된 레고 세트"

대회에 참가한 7 개 팀은 모두 훌륭한 AI 를 만들었지만, 서로 완전히 다른 방식으로 작동했습니다.

• 팀 A는 구름 (클라우드) 위에만 설치되는 특수한 기계를 썼습니다.
• 팀 B는 서로 다른 부품을 연결하는 방식이 다르고, 팀 C는 또 다른 방식입니다.
• 결과: 연구자들은 "팀 A 의 버그 찾기 능력"과 "팀 B 의 버그 고치기 능력"을 합쳐서 더 강력한 시스템을 만들 수 없습니다. 마치 레고 블록이 서로 다른 규격이라서, A 팀의 블록과 B 팀의 블록을 붙일 수 없는 상황과 같습니다. 게다가 대회장이 사라진 후, 그 특수한 기계 (클라우드) 는 더 이상 없으므로 아무도 이 레고 세트를 조립할 수 없게 되었습니다.

2. 해결책: "OSS-CRS"는 '공통 레고 베이스'입니다.

저자들은 이 7 개의 시스템을 모두 쓸모 있게 만들기 위해 OSS-CRS라는 '공통 플랫폼'을 만들었습니다.

• 표준화: 모든 AI 시스템이 이 플랫폼에 연결되면, 서로 다른 언어를 쓰지 않아도 됩니다. 마치 모든 레고 블록이 같은 규격 (OSS-CRS) 을 따르도록 만든 것입니다.
• 현실 적용: 이 시스템은 거대한 구름 (클라우드) 없이도, 연구실의 일반 컴퓨터에서도 작동합니다.
• 비용 관리: AI 가 버그를 고치려면 '생각하는 돈 (LLM 비용)'이 듭니다. OSS-CRS 는 마치 가계부를 관리하는 사람처럼, 각 AI 가 쓸 수 있는 돈의 한도를 정해두고 초과하지 않게 막아줍니다.

3. 성과: "금메달리스트를 일반 도로로 데려오다"

저자들은 대회에서 1 등했던 가장 강력한 AI 시스템 (ATLANTIS) 을 이 새로운 플랫폼에 연결했습니다.

• 결과: 대회장이 사라진 후, 일반 오픈소스 프로젝트 8 개를 대상으로 실험했습니다.
• 성과: 알려지지 않은 새로운 버그 10 개를 찾아냈고, 그중 3 개는 매우 위험한 버그였습니다. 그리고 AI 가 그 버그를 자동으로 고치는 패치 (수정 코드) 까지 만들어냈습니다.

---

🚀 이 연구가 왜 중요한가요?

1. 버려진 보물을 되살림: 대회에서 만들어진 훌륭한 기술들이 폐기되지 않고, 실제 오픈소스 소프트웨어 (우리가 매일 쓰는 프로그램들) 를 보호하는 데 쓰이게 되었습니다.
2. 협업의 시작: 이제 연구자들은 "내 시스템의 버그 찾기 능력"과 "네 시스템의 버그 고치기 능력"을 자유롭게 섞어서 더 강력한 시스템을 만들 수 있습니다. (예: A 팀의 탐정 + B 팀의 수리공 = 초능력 팀)
3. 실제 문제 해결: 단순히 "버그가 있어요"라고 알려주는 것을 넘어, "버그가 있고, 여기 고치는 방법이 있어요"라고 완성된 보고서를 만들어줍니다. 이는 오픈소스 유지보수자들의 엄청난 부담을 덜어줍니다.

💡 한 줄 요약

"대회장에서만 쓰이던 AI 해킹 기술들을, 누구나 쉽게 쓸 수 있는 '표준 도구'로 재탄생시켜, 실제 소프트웨어의 안전을 지키는 데 성공했다."

이 연구는 AI 가 단순히 문제를 찾는 것을 넘어, 실제로 문제를 해결하고 우리 생활을 더 안전하게 만드는 단계로 나아갔음을 보여줍니다.

기술 요약

1. 문제 정의 (Problem)

DARPA 의 AI 사이버 챌린지 (AIxCC) 는 취약점 발견을 넘어 자율적으로 버그를 확인하고 패치하는 '사이버 추론 시스템 (CRS)'의 가능성을 입증했습니다. 대회 종료 후 7 개 팀이 시스템을 오픈소스로 공개했으나, 실제 보안 현장이나 연구 커뮤니티에서 이를 활용하는 데는 심각한 장벽이 존재했습니다.

• 인프라 중복 (Infrastructure Duplication): 각 팀이 동일한 플랫폼 서비스 (LLM 게이트웨이, 비용 추적, 테스트 환경 등) 를 독립적으로 재구축하여 개발 효율성이 낮았습니다.
• 클라우드 락인 (Cloud Lock-in): 모든 CRS 가 대회 당시의 Azure 및 Kubernetes 환경에 종속되어 있었습니다. 대회 인프라가 폐기된 후, 시스템은 로컬 환경이나 새로운 클라우드에서 실행할 수 없게 되었습니다. (예: 1 위 팀인 ATLANTIS 는 20 대 이상의 Azure VM 이 필요함)
• 모놀리식 설계 (Monolithic Design): 각 CRS 는 내부 모듈이 분리되지 않은 단일 시스템으로 구성되어 있어, 한 팀의 강력한 '퍼저 (Fuzzer)'와 다른 팀의 강력한 '패치 생성기'를 결합하거나 비교 분석하는 것이 불가능했습니다.

이로 인해 연구자들은 재현 가능한 실험을 수행할 수 없었고, 보안 실무자들은 실제 오픈소스 프로젝트에 적용 가능한 배포 가능한 워크플로우를 확보하지 못했습니다.

2. 방법론 (Methodology)

저자들은 이러한 장벽을 해결하기 위해 OSS-CRS라는 오픈 소스 프레임워크를 제안했습니다. 이는 CRS 자체를 구현하는 것이 아니라, 기존 CRS 기술을 실행하고 결합할 수 있는 플랫폼 역할을 합니다.

• 아키텍처 개요:

  • 3 단계 실행 모델 (Three-phase Lifecycle): 준비 (Prepare), 타겟 빌드 (Build-target), 실행 (Run) 단계로 분리하여 CRS 설정과 타겟 프로젝트 컴파일을 분리했습니다. 이를 통해 캐싱과 모듈화를 지원하고, 다양한 CRS 아키텍처를 유연하게 지원합니다.
  • libCRS (표준 인터페이스): 모든 CRS 컨테이너에 주입되는 Python 라이브러리로, 빌드 산출물 제출, 런타임 설정, 아티팩트 교환, 패치 검증 등을 위한 표준 API 를 제공합니다.
  • 리소스 관리 및 격리: CPU, 메모리, 네트워크를 Docker cgroups 를 통해 격리하고, **LLM 예산 (Budget)**을 1 차 리소스로 관리합니다. 각 CRS 에게 할당된 LLM 비용 한도 내에서만 요청이 처리되도록 LiteLLM 프록시를 통해 제어합니다.
  • 아티팩트 교환 (Artifact Exchange): CRS 간 직접 통신을 차단하고, 파일 시스템 기반의 공유 디렉토리를 통해 PoV(취약점 증명), 패치, 시드 (Seed) 등을 교환합니다. 이를 통해 단일 CRS 의 장애가 전체 시스템에 전파되지 않도록 합니다.

• 적용 대상: OSS-Fuzz 프로젝트 포맷을 표준 인터페이스로 채택하여, OSS-Fuzz 에 등록된 1,000 개 이상의 오픈소스 프로젝트를 별도의 커스터마이징 없이 타겟팅할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 실증 분석: 7 개 AIxCC 파이널리스트 CRS 코드를 분석하여 배포 장벽 (인프라 중복, 클라우드 락인, 모놀리식 설계) 을 명확히 규명했습니다.
2. OSS-CRS 프레임워크 개발: 위 장벽을 해결하는 통합 실행 모델, 표준 인터페이스 (libCRS), 예산 인식형 리소스 관리, 그리고 CRS 간 아티팩트 교환 메커니즘을 갖춘 오픈소스 프레임워크를 구축했습니다.
3. 실제 검증 (Porting ATLANTIS): 1 위 시스템인 ATLANTIS 를 OSS-CRS 로 포팅하여 로컬 환경에서 실행 가능한 것으로 만들었습니다. 이 과정에서 20 대 이상의 클라우드 VM 의존성을 제거하고 평면적인 Docker 아키텍처로 전환했습니다.
4. 새로운 취약점 발견: 포팅된 ATLANTIS 를 8 개의 OSS-Fuzz 프로젝트에 적용하여 10 개의 새로운 제로데이 (Zero-day) 버그를 발견했습니다. 이 중 3 개는 높은 심각도 (High Severity) 를 가졌습니다.

4. 결과 (Results)

• 성공적인 포팅: ATLANTIS 를 OSS-CRS 로 포팅하는 데 약 3~4 인일 (person-days) 이 소요되었으며, 핵심 분석 로직은 변경하지 않고 인프라 및 I/O 어댑터만 수정했습니다.
• 버그 발견 및 패치:
  • 8 개 프로젝트 (C/C++, Java) 에서 10 개의 미발견 버그를 발견했습니다.
  • 발견된 버그는 메모리 안전성 문제뿐만 아니라 논리 오류, 정의되지 않은 동작 (Undefined Behavior) 등 다양했습니다.
  • 발견된 10 개 중 3 개는 이미 업스트림 유지보수자에 의해 수정되었으며, 1 개는 확인됨, 6 개는 검토 대기 중입니다.
  • 모든 발견된 버그에 대해 자동화된 패치 생성 및 검증 (PoV 재실행, 회귀 테스트) 을 수행했습니다.
• 비용 효율성: LLM 예산을 $50 로 제한하여 실행했음에도 불구하고 고가치 버그를 발견함으로써, 예산 관리 하에서도 CRS 가 효과적으로 작동함을 입증했습니다.

5. 의의 및 결론 (Significance)

• 경쟁에서 실전으로의 전환: AIxCC 와 같은 경쟁 기반의 CRS 기술을 클라우드 인프라에 종속되지 않고 실제 오픈소스 생태계에 적용 가능하게 만들었습니다.
• 모듈화와 재사용성: CRS 를 '블랙박스'가 아닌 모듈화 가능한 구성 요소로 분리하여, 연구자들이 서로 다른 팀의 최강 기술 (예: A 팀의 퍼저 + B 팀의 패처) 을 결합하고 비교 분석할 수 있는 기반을 마련했습니다.
• 지속 가능한 보안 인프라: OSS-CRS 는 단일 대회에 국한되지 않고, 오픈소스 소프트웨어 보안 생태계를 지속적으로 강화할 수 있는 공유 인프라로 자리 잡을 수 있음을 보여주었습니다.
• 이중 사용 (Dual-use) 위험 관리: 자동화된 취약점 발견 기술이 공격자에게 악용될 수 있는 위험을 인정하면서도, 검증된 패치를 함께 제공함으로써 방어 측면의 가치를 극대화하고 책임 있는 공개 (Responsible Disclosure) 프로세스를 준수했습니다.

결론적으로, OSS-CRS 는 AI 기반 사이버 보안 도구의 실용화와 커뮤니티 참여를 위한 필수적인 인프라를 제공하며, 오픈소스 소프트웨어의 자동화된 보안 강화에 중요한 이정표가 됩니다.