How and Why Agents Can Identify Bug-Introducing Commits

1. 문제 정의 (Problem)

소프트웨어 공학 연구에서 버그 유발 커밋 (Bug-Introducing Commit, BIC) 을 식별하는 것은 보안 취약점의 영향을 받는 버전 관리, 디버깅, 그리고 유지보수에 필수적입니다.

• 기존 접근법 (SZZ 알고리즘): 2005 년 제안된 SZZ 알고리즘은 수정 커밋 (Fix Commit) 에서 삭제된 코드를 추적하여 해당 코드를 마지막으로 수정한 커밋을 BIC 후보로 간주합니다.
• 한계점:
  • 삭제된 줄이 없거나 (코드 추가만 있는 경우), 삭제된 줄이 실제 버그와 무관한 경우 (예: 유효성 검사 추가) 에는 실패합니다.
  • 20 년간 많은 개선이 있었음에도, 최신 방법론 (2025 년 기준) 이 Linux 커널 데이터셋에서 달성한 F1-Score 는 0.64 에 불과하며, 원본 SZZ(0.54) 대비 10% 포인트 정도의 미미한 향상만 있었습니다.
• 목표: 기존 방법론의 점진적 개선의 한계를 돌파하고, LLM 기반 에이전트 (Agent) 를 활용하여 BIC 식별 성능을 획기적으로 높이는 새로운 접근법을 제시하는 것.

2. 방법론 (Methodology)

저자는 두 단계의 에이전트 워크플로우를 제안하고, 이를 통해 단순화된 모델을 도출했습니다.

2.1 SZZ-Agent (1 단계: 이진 탐색 기반)

기존 SZZ 알고리즘이 실패하거나 후보가 없는 경우를 보완하기 위해 설계된 2 단계 프로세스입니다.

• Stage 1 (SZZ 기반 식별): 수정 커밋의 삭제된 줄을 추적하여 SZZ 후보 집합을 생성합니다. LLM 에이전트가 수정 메시지, diff, 그리고 각 후보 커밋의 정보를 분석하여 가장 초기의 BIC 를 선택합니다.
• Stage 2 (이진 탐색): Stage 1 이 실패하거나 후보가 없는 경우, 수정된 파일의 전체 커밋 히스토리를 대상으로 이진 탐색 (Binary Search) 을 수행합니다.
  • 에이전트는 중간 지점의 소스 코드, 버그가 있는 버전, 수정된 버전 등을 분석하여 해당 시점에 버그가 존재하는지 판단합니다.
  • 후보 수가 임계치 (기본 33 개) 이하로 줄어들면, 남은 후보들을 직접 분석하여 최종 BIC 를 선택합니다.

2.2 Simple-SZZ-Agent (2 단계: 단순화된 직접 선택)

실험 과정에서 발견된 놀라운 사실 (이진 탐색이 불필요함) 을 바탕으로 제안된 최종 모델입니다.

• 핵심 아이디어: SZZ 기반 필터링과 이진 탐색을 모두 제거합니다.
• 작동 방식:
  1. 수정 커밋이 변경한 모든 파일의 커밋 히스토리를 수집하여 단일 후보 집합을 만듭니다.
  2. 에이전트에게 수정 메시지, diff, 그리고 전체 후보 집합을 제공합니다.
  3. 에이전트는 grep 과 같은 개발자 도구를 활용하여 후보 집합을 검색합니다.
• 검색 전략: 에이전트는 수정 커밋의 diff 나 메시지로부터 짧은 검색 패턴 (Greppable Patterns) 을 추출합니다 (예: 제거된 코드 줄, 함수 이름, 오류 메시지 등). 이 패턴을 사용하여 방대한 후보 집합에서 일치하는 커밋을 빠르게 찾아냅니다.

3. 주요 기여 (Key Contributions)

1. SZZ-Agent 개발 및 성능 입증: 이진 탐색을 활용한 에이전트 워크플로우를 제안하여, 기존 SOTA(최고 성능) 인 LLM4SZZ 대비 3 개 주요 데이터셋에서 F1-Score 를 12% 포인트 이상 향상시켰습니다 (0.64 → 0.77).
2. 성능 향상의 원인 규명 (Ablation Studies):
   • 성능 향상이 데이터 누출 (Data Leakage) 이나 더 강력한 LLM 백본 때문이 아님을 증명했습니다.
   • 에이전트적 접근 (Agentic Approach) 그 자체가 핵심임을 입증했습니다.
   • 수정 메시지 (Message) 와 diff 가 서로 보완적 정보를 제공함을 확인했습니다.
3. Simple-SZZ-Agent 의 발견: 이진 탐색을 생략하고 전체 후보 집합에서 에이전트가 직접 선택하는 방식이 오히려 더 높은 성능 (F1-Score 0.81~0.86) 을 보이며, 비용 (Token 사용량) 은 43% 절감됨을 발견했습니다.
4. 에이전트의 작동 원리 규명: 에이전트가 방대한 후보 집합을 일일이 읽는 것이 아니라, 짧은 검색 패턴을 추출하여 grep 으로 타겟팅된 검색을 수행함으로써 성능과 비용이 후보 수에 비례하지 않는다는 것을 밝혀냈습니다.

4. 실험 결과 (Results)

• 데이터셋: Linux 커널 (DS_LINUX, DS_LINUX-26), GitHub C/C++ (DS_GITHUB-c), GitHub Java (DS_GITHUB-j).
• 성능 비교 (F1-Score):
  • 기존 SZZ: 0.54
  • 기존 SOTA (LLM4SZZ, 2025): 0.64
  • SZZ-Agent: 0.77 (Linux 기준)
  • Simple-SZZ-Agent: 0.81 ~ 0.86 (모델 및 에이전트에 따라 상이, Linux 기준 0.81)
• 비용 효율성:
  • Simple-SZZ-Agent 는 후보 커밋 수 (100 개 ~ 10,000 개 이상) 가 증가해도 성능 저하가 없으며, 토큰 비용과 도구 호출 횟수도 거의 일정하게 유지됩니다.
  • 이진 탐색을 생략한 단순 모델이 더 저렴하고 정확했습니다.
• 오류 분석: 실패 사례 중 4 건은 버그가 수정된 파일과 다른 파일에 존재하여 후보 집합에 포함되지 않았기 때문이었고, 나머지는 에이전트의 분석 오류나 그라운드 트루스 레이블의 문제였습니다.

5. 의의 및 시사점 (Significance)

1. 소프트웨어 공학의 새로운 패러다임: 20 년간 정체되었던 BIC 식별 문제를 에이전트와 간단한 도구 (grep) 의 결합으로 획기적으로 해결했습니다.
2. 지식 압축의 가치: 에이전트가 버그의 본질을 짧은 검색 패턴으로 압축하여 검색하는 능력은, 단순한 커밋 식별을 넘어 다음과 같은 분야로 확장 가능합니다:
   • 근본 원인 이해 (Root Cause Understanding): 버그가 어떻게 도입되었는지에 대한 설명 생성.
   • 버그 탐지 (Bug Detection): 유사한 버그 패턴을 다른 코드나 프로젝트에서 자동 탐지.
   • 프로그램 수정 (Program Repair): 버그 유발 커밋을 컨텍스트로 활용하여 자동 수정 코드 생성.
3. 확장성: 다양한 LLM 백본 (Claude, OpenAI, Minimax 등) 과 에이전트 프레임워크 (Claude Code, OpenHands) 에서 일관된 고성능을 보여주어, 모델의 발전에 따라 성능이 더 향상될 가능성을 시사합니다.

결론

이 논문은 LLM 기반 에이전트가 단순히 코드를 생성하는 것을 넘어, 도구를 활용하여 대규모 코드 히스토리에서 논리적으로 추론하고 정보를 압축함으로써 소프트웨어 공학의 핵심 문제인 버그 추적 (Bug Tracing) 에서 인간과 기존 자동화 도구를 압도하는 성능을 달성했음을 증명했습니다. 특히 복잡한 알고리즘 (이진 탐색) 대신 에이전트의 지능적인 검색 전략 (grep 기반 패턴 매칭) 이 더 효율적임을 보여준 것이 가장 큰 통찰입니다.