Fuzzing with Agents? Generators Are All You Need

이 논문은 AI 에이전트 (LLM 기반 코딩 에이전트) 가 자동으로 생성한 입력 생성기 (Input Generator) 가 기존 휴먼 작성 생성기보다 우수한 퍼징 (Fuzzing) 성능을 보이며, 아예 커버리지 유도 (Coverage Guidance) 와 변형 (Mutation) 전략이 불필요해질 수 있는지를 탐구합니다.

저자는 이 접근법을 Gentoo라고 명명하며, 7 개의 실제 Java 라이브러리를 대상으로 한 실험을 통해 그 유효성을 입증했습니다.

다음은 논문의 상세 기술 요약입니다.

---

1. 문제 정의 (Problem)

현대적인 퍼징 기술은 주로 **커버리지 유도 변형 (Coverage-guided Mutation)**에 의존합니다. 그러나 구조적으로 복잡하거나 시맨틱 (의미) 제약이 강한 입력 (예: 컴파일러, 파서, 암호화 라이브러리) 의 경우, 단순한 바이트 단위 변형만으로는 유효한 입력을 생성하기 어렵고, 심층적인 프로그램 상태에 도달하기가 매우 어렵습니다.

이를 해결하기 위해 **도메인 특화 생성기 (Domain-specific Generators)**를 수동으로 작성하는 방법이 있지만, 이는 막대한 인력과 시간이 소요되며 유지보수가 어렵습니다. 최근 LLM 이 코드 생성 능력을 갖추게 되면서, 에이전트가 이러한 타겟 특화 생성기를 자동으로 합성할 수 있는지, 그리고 생성된 생성기만으로도 커버리지 유도나 변형 없이도 깊은 코드 경로를 탐색할 수 있는지가 핵심 질문이 되었습니다.

2. 방법론 (Methodology: Gentoo)

저자는 Gentoo라는 시스템을 제안합니다. 이는 LLM 코딩 에이전트가 터미널 접근 권한과 타겟 프로그램의 소스 코드를 바탕으로 입력 생성기를 반복적으로 합성하고 개선하는 프로세스입니다.

2.1 핵심 구성 요소

• 에이전트 루프: 에이전트는 생성기를 작성하고, JQF(Java Fuzzer) 를 통해 실행하며, 결과를 분석하여 생성기를 수정하는 과정을 반복합니다.
• 예측 피드백 (Predicate Feedback): 생성기가 특정 조건문 (Predicate) 의 어떤 분기를 통과하지 못하는지 정밀하게 파악하여 에이전트에게 제공합니다.
  • 정적 분석 (Static): WALA 프레임워크를 사용하여 제어 흐름 그래프 (CFG) 와 지배자 트리 (Dominator Tree) 를 분석합니다. 특정 분기가 얼마나 많은 코드를 '잠금 (Gate)'하고 있는지 **분기 지배 점수 (Branch Dominance Score)**를 계산하여 중요한 분기를 순위 매깁니다.
  • 동적 분석 (Dynamic): 퍼징 실행 중 각 저장된 입력이 어떤 분기 경로를 취했는지 기록하여, 높은 지배 점수를 가진 분기가 실제로 얼마나 드물게 도달되었는지를 에이전트에게 보고합니다.

2.2 실험 구성 (3 가지 설정)

연구팀은 에이전트에게 제공하는 정보의 차이에 따라 3 가지 설정을 비교했습니다.

1. Gentoo-Base: 예측 피드백 없이, 퍼징 통계와 생성된 입력 샘플만 보고 개선합니다.
2. Gentoo-S: 정적 지배자 분석 (Static Dominator Analysis) 을 통해 중요 분기 목록을 에이전트에게 제공합니다.
3. Gentoo-L: 에이전트에게 소스 코드를 직접 분석하게 하여 중요한 분기를 스스로 식별하고 순위 매기게 합니다.

3. 주요 기여 및 발견 (Key Contributions & Findings)

3.1 에이전트 합성 생성기의 성능 우위 (RQ1)

• 결과: 7 개 벤치마크 중 6 개에서 에이전트가 생성한 생성기가 인간이 작성한 생성기보다 높은 분기 커버리지를 달성했습니다. 그중 **4 개 (Closure, Commons, Gson, Rhino)**는 통계적으로 유의미한 우위를 보였습니다.
• 성공 사례: Rhino(JavaScript 인터프리터) 의 경우, 에이전트가 인간 생성기가 놓친 with 문, 레이블 문, 해시뱅 라인 등 특정 구문을 생성하여 커버리지를 31% 향상시켰습니다.
• 실패 사례: BCEL(바이트코드 파서) 의 경우, 인간 생성기는 라이브러리의 고수준 API 를 활용하여 유효한 클래스 파일을 생성했으나, 에이전트는 바이트 스트림을 직접 작성하는 방식을 선택하여 성능이 54% 낮았습니다. 이는 에이전트가 라이브러리의 고수준 API 를 발견하지 못했기 때문입니다.

3.2 커버리지 유도 및 변형의 불필요성 (RQ2) - 가장 중요한 발견

• 인간 작성 생성기: 커버리지 유도 (Zest 알고리즘 등) 를 적용하면 모든 벤치마크에서 평균 **40%**의 커버리지 향상이 있었습니다. (예: Commons Compress 에서 229% 향상)
• 에이전트 합성 생성기: 커버리지 유도를 적용해도 통계적으로 유의미한 향상이 없었습니다. (평균 변화 -0.1% ~ +2.0%)
• 의미: 에이전트가 생성한 생성기는 타겟 프로그램의 구조적, 시맨틱 제약 (예: BZip2 헤더, ChocoPy 의 타입 규칙) 을 생성 로직 자체에 직접 인코딩했기 때문에, 추가적인 변형이나 커버리지 피드백 없이도 유효한 입력을 생성하여 심층 코드를 탐색할 수 있었습니다. 즉, **"생성기 (Generators) 가 모든 것을 해결한다 (Generators Are All You Need)"**는 가설이 입증되었습니다.

3.3 예측 피드백의 영향 (RQ3)

• 예측 피드백 (Gentoo-S, Gentoo-L) 은 초기 생성기를 개선하는 데 도움이 되었으며, 74% 의 실행에서 커버리지가 향상되었습니다.
• 그러나 최종 커버리지 측면에서는 피드백을 받은 설정과 받지 않은 설정 (Gentoo-Base) 간의 차이가 크지 않았습니다. 이는 잘 설계된 프롬프트만으로도 에이전트가 강력한 생성기를 합성할 수 있음을 시사합니다.

3.4 정적 분석 vs LLM 분석 (RQ4)

• 정적 분석 (Gentoo-S) 은 구조적 지배도만 기반으로 중요도를 매기지만, LLM (Gentoo-L) 은 소스 코드를 읽으며 시맨틱적 난이도까지 고려합니다.
• 예: Rhino 에서 정적 분석은 토큰 스트림 분기를 최우선으로 꼽았으나, LLM 은 파서 단계에 도달하기 위한 문법적 구조가 더 중요함을 파악하여 더 효과적인 생성 로직을 작성했습니다.

4. 결과 및 의의 (Results & Significance)

1. 패러다임의 전환: 퍼징의 핵심이 '스마트한 변형 전략 (Mutation Strategy)'에서 '고품질의 입력 생성기 (Input Generator)' 합성으로 이동할 수 있음을 시사합니다. 에이전트가 도메인 지식을 생성기에 직접 주입하면, 기존 퍼징 루프는 단순한 실행 핸들러로 변모할 수 있습니다.
2. 자동화 가능성: 복잡한 도메인 (컴파일러, 암호화 등) 에 특화된 생성기를 수동으로 작성하는 대신, AI 에이전트를 통해 자동으로 생성할 수 있어 개발 비용과 시간을 크게 절감할 수 있습니다.
3. 한계 및 위협:
   • 에이전트가 라이브러리의 고수준 API 를 발견하지 못해 실패한 사례 (BCEL) 가 존재합니다.
   • 생성된 입력의 복잡도로 인해 실행 속도 (Throughput) 가 인간 생성기보다 느린 경우가 많았습니다 (평균 32% 감소).
   • LLM 의 비결정적 특성으로 인해 결과의 일관성이 보장되지 않을 수 있습니다.

5. 결론

이 논문은 AI 에이전트가 생성한 입력 생성기가 인간 전문가의 생성기보다 우수할 수 있으며, 이러한 생성기는 커버리지 유도 퍼징의 변형 전략 없이도 깊은 코드 경로를 탐색할 수 있음을 증명했습니다. 이는 소프트웨어 테스트 자동화 분야에서 에이전트가 타겟 특화 분석 도구를 직접 구축하는 새로운 패러다임을 제시하며, 향후 생성기 기반 퍼징이 자동화된 소프트웨어 검증의 주류가 될 가능성을 보여줍니다.