기술 요약: DARPA의 AI 사이버 챌린지(AIxCC)에 관한 SoK

문제 정의

오픈 소스 소프트웨어(OSS)는 핵심 인프라를 뒷받침하고 있지만, 취약점의 발견과 해결을 확장하는 데에는 여전히 큰 어려움이 따릅다. 사이버 그랜드 챌린지(CGC)와 같은 이전의 노력들이 통제된 환경에서의 바이너리 익스플로잇에 집중했다면, 실제 세계의 C 및 Java OSS 프로젝트에서 취약점을 발견하고 패치할 수 있는 완전 자율 시스템을 위한 격차는 해결되지 않은 채 남아 있었다. DARPA AI 사이버 챌린지(AIxCC, 2023–2025)는 복잡한 실제 시나리오에서 자율적으로 작동하며 대규모 언어 모델(LLM)을 활용하여 취약점을 발견하고 패치할 수 있는 사이버 추론 시스템(CRS)을 발전시키기 위해 설립되었다. 경진대회가 종료되었음에도 불구하고, 이 대규모 평가의 설계 근거, 최종 결선 팀들이 채택한 기술 아키텍처, 그리고 학습된 교훈에 대한 체계적인 분석은 부족한 상태였다.

방법론

본 논문은 AIxCC 최종 경진대회에 대한 최초의 체계적인 연구를 제시한다. 저자들은 다음과 같은 다각적 분석을 수행하였다:

• 기초 데이터: 전체 경진대회 데이터베이스(챌린지, 결과, 실행 트레이스), 7개 결선 팀의 모든 CRS 코드베이스, 그리고 팀 백서.
• 질적 입력: 주최 측 및 7개 결선 팀 전원과의 구조화된 설문 조사, 전담 회의 및 이메일 서신.
• 독립적 검증: 두 명의 보안 전문가가 각 팀의 코드베이스를 독립적으로 검토하여 기술적 분류 체계와 패치 결과 레이블을 교차 검증함.
• 주석 실험(Annotation Experiments): 시스템 수준의 실패와 진정한 능력 한계를 구분하기 위해, 저자들은 이상적인 실험실 조건 하에서 대표적인 버그 탐색(Parallel Fuzzing) 및 패치(MultiRetrieval 및 Claude Code) 기법을 챌린지 프로젝트에 실행하였다. 이를 통해 현재의 기술로 해결 가능했을 취약점이 무엇인지 결정하기 위한 베이스라인을 구축하였다.

분석은 네 가지 연구 질문(RQ)을 중심으로 구성된다:

1. AIxCC는 AI 기반의 취약점 발견 및 패치를 유도하고 평가하기 위해 어떻게 설계되었는가?
2. 결선 팀들은 어떤 아키텍처 및 기술적 접근 방식을 채택하였는가?
3. 결과로부터 도출되는 통찰은 무엇인가?
4. 교훈과 향후 방향은 무엇인가?

주요 기여

본 논문은 네 가지 주요 기여를 한다:

1. 체계적 설계 분석: 점수 산정 원칙(패치 가치, 취약점 증명, SARIF 검토의 균형), 챌린지 구성(C/Java의 합성 및 0-day 취약점), 실행 가이드라인을 포함한 AIxCC의 경진대회 설계에 대한 상세한 조사.
2. CRS 분류 체계: 7개 결선 팀이 사용한 아키텍처와 기술을 네 가지 핵심 역량(취약점 발견(PoV 생성), 패치, SARIF 검증, 리포트 번들링)에 걸쳐 포괄적으로 분류.
3. 심층 결과 분석: 기술적 능력, 엔지니어링 안정성, 전략적 선택을 구분하여 성과를 견인하는 요인을 고립시킨 경진대회 결과의 심층 분석.
4. 교훈 및 향후 방향: 경진대회 결과를 산업 현장 배포로 전환하기 위한 통찰력과 열려 있는 연구 과제 식별.

결과 및 발견 사항

경진대회 결과 및 안정성

최종 경진대회는 7개 단계에 걸쳐 143시간 동안 진행되었으며, 7개 팀이 53개의 챌려지 프로젝트를 분석하였다.

• 결정적 요인으로서의 안정성: 시스템 안정성이 주요 차별화 요소였다. 우승 팀(Team Atlanta/AT)은 모든 단계에서 활동을 유지한 반면, 다른 경쟁력 있는 팀들(예: Trail of Bits, Theori)은 리소스 관리 문제(예: Wireshark와 같은 대규모 프로젝트에서의 디스크 고갈) 또는 구성 오류로 인해 성능이 정체되거나 중단되었다.
• "AIxCC 트리펙타(Trifecta)": 승리를 위해서는 연구(새로운 기법), 엔지니어링(시스템 안정성 및 리소스 관리), 전략(제출 타이밍 및 정확도)의 균형이 필요했다. 높은 기술적 능력만으로는 성공을 보장할 수 없었다. 예를 들어, 고급 에이전트 설계를 갖춘 팀(예: Theori)은 공격적인 전략으로 인해 정확도 페널티를 입었으며, 견고한 엔지니어링을 갖춘 팀(예: Team Atlanta)은 지속적인 점수를 획득했다.

기술적 역량 대 한계

• PoV 생성:
  • LLM 상호 보완성: LLM은 전통적인 퍼징이 실패하는 방향성(델타 모드) 챌런지 및 제약 조건이 많은 컨텍스트(예: 복잡한 문법, 정규 표현식이나 인코딩과 같은 논리적 제약 조건)에서 필수적임이 입증되었다.
  • 파이프라인 격차: 해결 가능한 챌린지에서의 많은 실패는 엔지니어링 격차에서 기인했다: 깨진 시스템 의존성, OOM(Out of Memory)을 유발하는 무거운 빌드 프로세스, 불일치하는 재현 동작, 잘못된 새니타이저(sanitizer) 구성 등.
• 패치 생성:
  • 의미론적 정확성: 높은 정확도를 가진 CRS(예: AT, TB)조차도 패치에서 1621%의 의미론적 부정확성을 보였다. 이는 베이스라인 에이전트(MultiRetrieval/Claude Code, 3846%)보다는 훨씬 나은 수치이지만 여전히 무시할 수 없는 수준이다. 흔한 오류로는 근본 원인을 해결하기보다 증상을 억제하는 것, 불완전한 수정, 새로운 버그 도입 등이 있었다.
  • 검증 전략: 고성능 팀들은 정확도를 높이기 위해 멀티 PoV 검증, 패치 후 퍼징, LLM 기반의 리플렉션(reflection)을 활용하였다.
• SARIF 및 번들링:
  • PoV 중심 전략에 의존하는 팀들은 유효하지 않은 SARIF 보고서를 평가하는 데 어려움을 겪었다.
  • 번들링 정확도는 높았으며(92%), 주요 병목 구간은 페어링 로직보다는 패치 품질이었다.

제로데이(Zero-Day) 발견

7개 팀 모두가 적어도 하나의 제로데이 취약점을 발견하였으며, 총 10개의 OSS 프로젝트에서 25개의 고유한 취약점이 발견되었고, 이 중 48%가 성공적으로 패치되었다.

의의 및 주장

본 논문은 AIxCC를 자율 사이버 보안 연구의 이정표로 규정하며, AI 기반 CRS가 실제 세계의 소프트웨어에서 규모 있게 취약점을 발견하고 해결할 수 있음을 입증하였다.

• 점수를 넘어: 저자들은 경진대회 결과가 기술적 역량과 시스템 신뢰성 사이의 격차를 드러낸다고 주장한다. 실제 환경에서 대표적인 기법들을 신뢰성 있게 적용할 수 있는 CRS라면 상위 3위 안에 들었을 것이며, 이는 현재 엔지니어링의 견고함이 알고리즘의 참신성만큼이나 중요함을 시사한다.
• 연구 가치: 이 경진대회는 LLM이 추론 및 제약 조건 충족을 위한 새로운 능력을 제공하지만, 전통적인 도구(퍼징, 정적 분석)나 견고한 시스템 엔지니어링의 필요성을 제거하지 못한다는 점을 강조하며 미래 연구를 위한 토대를 제공한다.
• 배포 경로: 본 논문은 경진대회에서 산업 현장으로 전환하기 위해서는 리소스 제약 해결(클라우드 클러스터에서 경량 솔루션으로의 이동)과 CRS 통합을 위한 OSS 파이프라인의 적응이 필요하다고 언급한다.
• 향후 방향: 저자들은 완전한 자율성(하네스 생성), 다중 CRS 간의 협업, 개선된 의미론적 정확성 평가를 포함한 열린 과제들을 식별하였다. 또한 더 강력한 LLM이 CRS 아키텍처를 단순화할 수 있는 잠재력이 있지만, LLM과 비(非) LLM 간의 협력 패턴의 지속적인 필요성을 강조하였다.

본 연구는 상당한 진전이 이루어졌으나, 실질적인 배포를 위한 길은 시스템 안정성, 리소스 효율성, 그리고 자율 시스템을 기존 개발 워크플로우에 통합하는 작업에 대한 추가적인 노력이 필요하다는 결론을 내린다.