기술 요약: BLAgent: 파일 단위 버그 로컬라이제이션을 위한 에이전틱 RAG

문제 정의

버그 로컬라이제이션은 소프트웨어 유지보수, 특히 근본 원인 분석, 트라이지, 자동 프로그램 수정 (APR) 과 같은 하위 작업에서 중요한 병목 현상으로 남아 있습니다. 대규모 언어 모델 (LLM) 기반 수정 시스템이 발전했음에도 불구하고, 그 효과는 근본적으로 파일 단위 로컬라이제이션의 품질에 의해 제한됩니다. 계층적 파이프라인에서 부정확한 파일 선택은 후속 단계 (예: 문장 단위 로컬라이제이션 또는 패치 생성) 로 오류를 전파하여 종종 수정 실패를 초래합니다.

기존의 코드용 검색 증강 생성 (RAG) 접근법은 정적 검색과 단순한 텍스트 기반 청킹에 의존하는 경우가 많아, 코드의 구조적 복잡성이나 정확한 결함 파일을 식별하는 데 필요한 추론을 포착하지 못합니다. 또한, 순수 임베딩 기반 방법은 기능적 관련성을 평가할 추론 능력이 부족하며, 기존 에이전틱 접근법은 종종 무제한 그래프 기반 탐색을 사용하여 과도한 계산 비용을 초래합니다.

방법론: BLAgent 프레임워크

저자들은 파일 단위 버그 로컬라이제이션을 위해 설계된 새로운 에이전틱 RAG 프레임워크인 BLAgent를 제안합니다. 이 시스템은 정확성과 비용의 균형을 맞추기 위해 세 가지 핵심 구성 요소를 통합합니다.

1. 경로 증강 AST 기반 청킹을 통한 저장소 인코딩

단순한 텍스트 분할 대신, BLAgent 는 CodeSplitter를 사용하여 소스 파일을 추문 구문 트리 (AST) 경계 (예: 함수, 클래스, 논리 블록) 기반으로 분할합니다. 이는 코드 구조의 분할을 방지하여 의미 보존을 보장합니다.

• 경로 증강: 각 코드 청크에는 상대 파일 경로 (예: src/utils/math.py) 가 앞에 추가됩니다. 이는 버그 보고서의 경로 유사 신호 (예: 역추적, 모듈 참조) 와 코드 청크 간의 직접적인 정렬 채널을 생성하여 자연어 설명과 코드 식별자 간의 어휘 불일치를 해결합니다.

2. 이중 관점 쿼리 변환

버그 보고서와 코드 간의 의미적 간극을 해소하기 위해, BLAgent 는 LLM 을 사용하여 모든 버그 보고서를 두 가지 보완적 쿼리로 분해합니다.

• 구조적 변환 ($T_0$): 정적, 구문적 측면에 초점을 맞춰 식별자, 모듈, 함수 이름 및 역추적 맥락을 추출합니다.
• 행위적 변환 ($T_1$): 런타임 행동에 초점을 맞춰 관찰된 증상, 기대 출력 대 실제 출력, 그리고 트리거 조건을 포착합니다.
  두 쿼리는 모두 벡터 데이터베이스에서 후보 파일을 검색하는 데 독립적으로 사용됩니다. 결과적으로 생성된 후보 집합은 중복 제거되어 에이전트를 위한 15 개 파일로 제한된 컴팩트한 풀을 형성합니다.

3. 2 단계 에이전틱 재순위화

BLAgent 는 2 단계 프로세스를 통해 검색된 후보 집합에 대해 경계된 추론을 수행합니다.

• 1 단계: 스켈레톤 기반 에이전트 점수 매기기 (SAS): ReAct 기반 에이전트가 후보 파일의 구조적 스켈레톤(클래스, 함수 시그니처, 문서 문자열) 을 반복적으로 검사합니다. 수정이 필요한 파일에 대한 가설을 기반으로 0~10 점의 관련성 점수를 부여합니다. 이 단계는 전체 소스 코드 처리를 피함으로써 컨텍스트 제한 내에서 효율적으로 작동합니다.
• 2 단계: 증거 기반 재순위화 (EAR): 동점 해결 및 구현 수준 관련성 검증을 위해, 1 단계에서 상위 $M$개 (5 개로 설정) 파일이 단일 샷 추론을 거칩니다. 컨텍스트는 검색기가 강조한 메서드의 전체 구현과 파일의 전역 구조만 포함하도록 정리됩니다. LLM 은 이 근거 기반 증거를 바탕으로 최종 순위 매기기를 수행합니다.

주요 기여

1. 로컬라이제이션을 위한 에이전틱 RAG: BLAgent 는 무제한 그래프 탐색의 높은 비용을 피하면서 검색과 반복적 도구 증강 추론을 통합하는 경계된 추론 프레임워크를 도입합니다.
2. AST 인식 경로 증강 청킹: 이 논문은 구문 경계를 보존하고 청크에 파일 경로를 증강하는 것이 표준 텍스트 기반 또는 코드 인식 청킹에 비해 검색 재현율을 크게 향상시킨다는 것을 입증합니다.
3. 이중 관점 쿼리: 버그 보고서를 구조적 및 행위적 쿼리로 분해하면 보완적 검색 신호를 제공하여 초기 후보 풀의 재현율을 향상시킵니다.
4. 비용 효율적 설계: 컴팩트한 검색 필터링 후보 집합으로 추론을 제한하고 코드 스켈레톤을 사용함으로써, BLAgent 는 그래프 기반 에이전틱 베이스라인에 비해 토큰 소비와 API 비용을 크게 줄이면서도 높은 정확도를 달성합니다.

실험 결과

이 프레임워크는 SWE-bench-Lite 데이터셋 (300 개의 실제 Python 버그) 에서 평가되었습니다.

• 로컬라이제이션 정확도:
  • 오픈소스 모델 (GPT-OSS-120B) 을 사용할 때, BLAgent 는 Top-1 정확도 78.6% 및 MRR 0.851을 달성했습니다.
  • 폐쇄형 모델 (Claude-4.6-Sonnet) 을 사용할 때, Top-1 정확도 86.7% 및 MRR 0.900을 달성했습니다.
  • 이러한 결과는 LocAgent(그래프 기반 에이전틱 접근법) 및 Agentless(로컬라이제이션 기능이 있는 APR 프레임워크) 를 포함한 최신 베이스라인을 종종 큰 차이로 능가합니다.
• 비용 효율성: 동일한 폐쇄형 모델을 사용할 때, BLAgent 는 가장 강력한 베이스라인 (LocAgent) 보다 18 배 이상 저렴합니다. 300 개의 모든 인스턴스를 완료하는 데 약 27 달러가 소요되는 반면, LocAgent 는 182 개의 인스턴스 이후에 300 달러 예산을 소진했습니다.
• 자동 프로그램 수정 (APR) 에 미치는 영향: Agentless APR 프레임워크에 통합되었을 때, BLAgent 는 엔드투엔드 문제 해결률을 20% 이상 (다수결 투표 시 27.6% 에서 34.0% 로) 향상시켰습니다.
• 일반화 능력: 이 아키텍처는 단일 프롬프트 수정으로 함수 단위 로컬라이제이션으로 성공적으로 확장되어 파이프라인의 구조적 변경 없이 최첨단 결과를 달성했습니다.

중요성 및 주장

이 논문은 BLAgent가 검색과 에이전틱 추론을 효과적으로 결합함으로써 파일 단위 버그 로컬라이제이션의 새로운 최첨단 상태를 확립한다고 주장합니다. 그 주요 중요성은 다음을 입증하는 데 있습니다.

1. 로컬라이제이션은 결정적 요소입니다: 정확한 파일 단위 로컬라이제이션은 엔드투엔드 자동 수정 성공에 측정 가능한 향상을 직접적으로 가져옵니다.
2. 경계된 추론은 무제한 탐색보다 우월합니다: 고품질 검색 필터링 후보 집합으로 제한된 에이전틱 추론은 정확도와 비용 측면에서 복잡한 그래프 기반 접근법보다 우수합니다.
3. 검색 품질이 성능을 제한합니다: 에이전틱 파이프라인의 효과는 초기 밀집 검색기의 재현율에 근본적으로 제한되므로, 청킹 및 쿼리 변환의 개선이 중요합니다.
4. 비용 효율적 확장성: 오픈소스 모델과 효율적인 컨텍스트 관리 (스켈레톤) 를 사용하여 고성능 로컬라이제이션을 달성할 수 있으므로, 독점 모델이나 그래프 탐색의 과도한 비용 없이 고급 버그 로컬라이제이션에 접근할 수 있습니다.

저자들은 정확한 로컬라이제이션이 필요하지만 충분하지는 않다고 결론지었습니다. 하위 실패 (함수/줄 단위 로컬라이제이션 및 패치 생성) 는 여전히 중요한 병목 현상으로 남아 있기 때문입니다. 그러나 BLAgent 는 LLM 기반 소프트웨어 유지보수에서 상류 로컬라이제이션 과제를 해결하기 위한 견고하고 비용 효율적인 기반을 제공합니다.