BugScope: Learn to Find Bugs Like Human

1. 문제 정의 (Problem)

소프트웨어 감사 (Code Auditing) 는 생성형 AI 를 통한 코드 생성이 급증하는 시대에 매우 중요해졌으나, 기존 기술들은 다음과 같은 한계를 겪고 있습니다.

• 전통적 정적 분석 도구 (Static Analysis Tools): Infer, CodeQL 등은 구조적 추론에 의존하며, 심층적인 의미론적 (Semantic) 추론이 필요한 복잡한 버그를 놓치기 쉽습니다.
• LLM 기반 감사 도구: 기존 LLM 기반 에이전트 (예: Cursor BugBot, RepoAudit) 는 문맥 길이 제한과 복잡한 프로그램 구조에서의 환각 (Hallucination) 문제로 인해, 실제 버그를 놓치거나 (False Negative) 과도한 오검출 (False Positive) 을 발생시킵니다.
• 근본 원인: LLM 은 인간 감사자가 역사적 버그 리포트를 학습하여 특정 패턴을 내재화하고, 단계별로 문맥을 수집하며 심층 추론을 수행하는 방식과 본질적으로 정렬 (Alignment) 되어 있지 않습니다.

2. 방법론 (Methodology)

BUGSCOPE는 인간 감사자의 학습 및 감사 프로세스를 모방하는 다중 에이전트 프레임워크를 제안합니다. 이 프레임워크는 **학습 단계 (Learning Stage)**와 **감사 단계 (Auditing Stage)**로 구성됩니다.

A. 학습 단계 (Learning Stage)

주어진 버그 리포트와 관련 코드를 기반으로 검출 로직을 자동 생성합니다.

1. 정보 추출 (Information Extraction): 버그 리포트에서 수정 커밋, 관련 함수, 파일 경로 등을 추출합니다.
2. 데이터 증강 (Data Augmentation):
   • Seed Identification (씨앗 식별): 버그 유형 (예: 0 으로 나누기, 버퍼 오버플로우) 에 해당하는 전형적인 코드 구조 (예: 나눗셈 연산자) 를 식별합니다.
   • Context Retrieval (문맥 검색): 씨앗 (Seed) 에서 시작하여 데이터 흐름 (Data Flow) 을 따라 관련 코드를 수집하고, 불필요한 확장을 방지하기 위한 **종료 조건 (Termination Condition)**을 정의합니다.
   • Bug Detection (버그 검출): 버그를 확신 있게 결론 내릴 수 있는 **증거 패턴 (Evidence Patterns)**을 생성합니다 (예: 0 이 경계 조건인 경우).
   • 이 과정에서 LLM 에게 양수 (버그가 있는) 와 음수 (정상) 예제를 생성하도록 유도하여, 다양한 변형을 학습시킵니다.
3. 가이드라인 합성 (Guideline Synthesis): 생성된 예제들을 바탕으로 **검색 전략 (Seed Extractor, Retrieval Rules)**과 **검출 프롬프트 (Detection Prompt)**를 합성합니다.

B. 감사 단계 (Auditing Stage)

합성된 가이드라인을 사용하여 새로운 프로젝트의 버그를 탐지합니다.

1. Context Retrieval Agent: 정적 분석 (Tree-sitter, AST) 과 LLM 추론을 결합하여, 식별된 씨앗 (Seed) 에서 시작해 관련 함수 호출, 데이터 의존성 등을 추적하여 최적의 문맥을 구성합니다.
2. Bug Detection Agent: 수집된 문맥에 합성된 검출 프롬프트를 적용하여 버그를 식별하고 보고서를 생성합니다.
3. Validation: 생성된 보고서의 가정이 코드 의미론에 기반하는지 검증하여 환각을 줄이고 정확도를 높입니다.

3. 주요 기여 (Key Contributions)

• 인간 중심의 워크플로우 모방: LLM 이 복잡한 도메인 태스크에 정렬되도록, 인간이 버그 패턴을 학습하고 단계별 추론을 수행하는 방식을 체계화했습니다.
• 구조화된 다중 에이전트 프레임워크: 검색 에이전트와 검출 에이전트를 분리하고, 데이터 증강을 통해 일반화 가능한 가이드라인을 자동 생성합니다.
• 정밀한 문맥 수집 전략: 불필요한 코드 확장을 방지하는 종료 조건을 도입하여 비용 효율성을 높이고, 심층적인 의미론적 추론이 필요한 버그를 효과적으로 포착합니다.

4. 실험 결과 (Results)

A. 제어된 실험 (Crafted Dataset)

• 데이터셋: 21 개의 오픈소스 프로젝트에서 선별된 33 개의 실제 버그 (OOB, DBZ, MLK 등).
• 성능: BUGSCOPE(Claude 3.7 기반) 는 정밀도 (Precision) 86.05%, 재현율 (Recall) 87.88%, F1 점수 0.87을 달성했습니다.
• 비교: 산업계 최첨단 도구들 (Claude Code, Cursor BugBot, RepoAudit 등) 의 F1 점수는 0.51 이하로, BUGSCOPE 가 압도적으로 우수했습니다. 특히 기존 도구들이 놓친 복잡한 반패턴 (Negative Offset, Insufficient Zero Check 등) 을 성공적으로 탐지했습니다.

B. 대규모 실세계 평가 (Real-world Evaluation)

• Linux 커널 및 주요 프로젝트: Linux 커널, vim, systemd 등 6 개 대규모 프로젝트에 적용했습니다.
• 발견: 184 개의 새로운 버그를 발견했으며, 이 중 78 개는 이미 수정되었고 7 개는 개발자에 의해 명시적으로 확인되었습니다.
• Linux 커널: 12 개의 버그가 유지보수자에 의해 수정되거나 인정받았습니다.
• 정확도: 실세계 프로젝트에서 평균 정밀도 76.92% 를 기록하며, 기존 도구들보다 훨씬 높은 신뢰성을 입증했습니다.

5. 의의 및 결론 (Significance)

• 실용성: BUGSCOPE 는 단순한 버그 스캐너를 넘어, 인간 감사자의 사고 과정을 자동화하여 실제 산업 환경에서 즉시 활용 가능한 수준의 성능을 보여줍니다.
• 확장성: 특정 버그 유형에 국한되지 않고, 다양한 반패턴 (Anti-patterns) 에 대해 학습된 가이드라인을 통해 유연하게 적용 가능합니다.
• 미래 방향: 생성형 AI 시대의 소프트웨어 품질 보증에 있어, LLM 기반의 구조화된 추론 프레임워크가 정적 분석 도구의 한계를 극복할 수 있는 핵심 기술임을 입증했습니다.

이 연구는 LLM 이 복잡한 소프트웨어 공학 태스크에서 단순한 언어 모델이 아닌, 전문적인 추론 에이전트로 진화할 수 있음을 보여주는 중요한 사례입니다.