기술 요약: ARISE – 에이전트 기반 결함 국소화 및 프로그램 수리를 위한 저장소 수준 그래프 표현 및 도구 세트

문제 제기

저장소 규모의 자동 프로그램 수리 (APR) 및 결함 국소화는 에이전트가 여러 파일, 모듈, 패키지에 걸친 복잡한 코드베이스를 탐색할 것을 요구합니다. 기존 에이전트 시스템 (예: SWE-agent) 은 저장소와 상호작용할 수 있지만, 의미적 정밀도의 부재로 인해 세밀한 결함 국소화(특정 함수와 행을 식별) 에 어려움을 겪습니다.

현재 그래프 기반 접근 방식은 일반적으로 구조적 관계 (파일, 클래스, 함수 및 그들의 호출/가져오기 의존성) 를 모델링하지만, 프로시저 내 데이터 흐름을 모델링하지는 못합니다. 결과적으로 에이전트는 프로시저 내에서 변수 값이 어떻게 정의되고 전파되는지 추적할 수 있는 능력이 부족합니다. 이러한 한계로 인해 에이전트는 어휘적 유사성이나 광범위한 구조적 탐색에 의존하게 되며, 이는 특히 함수 내에서 복잡한 변수 사용이 결함에 관여할 때 버그를 일으키는 정확한 문장을 특정하는 데는 불충분합니다.

방법론

저자들은 ARISE(에이전트 저장소 수준 이슈 해결 엔진) 를 제시합니다. 이는 구조화되고 쿼리가 가능한 프로그램 그래프와 3 단계 도구 API 로 SWE-agent 프레임워크를 보강한 시스템입니다. 핵심 혁신은 데이터 흐름 슬라이싱을 1 급 에이전트 원시 (primitive) 로 통합한 것입니다.

1. 다중 세분성 프로그램 그래프

ARISE 는 두 가지 정보 계층을 통합하는 방향성 있는 타입 속성 그래프 ($G = (V, E)$) 를 구성합니다:

• 구조적 관계: 노드는 디렉토리, 모듈, 클래스, 함수, 메서드, 문장을 나타냅니다. 간선은 포함, 가져오기, 상속, 호출 관계를 포착합니다.
• 데이터 흐름 관계: 그래프는 문장 수준으로 확장됩니다. 모든 함수/메서드에 대해 시스템은 정의 - 사용 (def-use) 체인을 식별하기 위해 프로시저 내 분석을 수행합니다.
  • 노드: 문장 노드는 최상위 AST 문장에 해당합니다.
  • 간선: DataflowDefUse 및 DataflowUseDef 간선은 변수가 정의된 문장과 변수가 사용된 문장을 연결합니다 (그 반대도 마찬가지입니다).
  • 범위: 이 분석은 어휘적 범위 (global/nonlocal 선언 처리) 를 존중하며, 일반적인 Python 할당 패턴 (할당, 증분 할당, 루프 대상, 컨텍스트 관리자, 매개변수) 을 포괄합니다.

2. 3 단계 도구 API

그래프는 모듈식 API 를 통해 LLM 에이전트에 노출되어, 에이전트가 반복적으로 증거를 쿼리할 수 있게 합니다:

• 1 단계: 구조적 검색: 엔티티 검색, 호출/가져오기 그래프 탐색, 코드 스패너 검색을 위한 도구들. 이는 이전 구조적 그래프 시스템 (예: RepoGraph, LocAgent) 의 기능을 재현합니다.
• 2 단계: 데이터 흐름 슬라이싱: 핵심 혁신입니다. get_dataflow_slice 도구를 사용하면 에이전트가 변수 흐름을 추적할 수 있습니다. 시드 (파일, 행, 변수) 와 방향 (역방향, 정방향, 양방향) 을 입력받으면 해당 변수를 정의하거나 소비하는 문장 스패너의 구조화된 목록을 반환합니다. 이를 통해 에이전트는 단일 쿼리로 "어떤 문장들이 이 변수에 영향을 미치는가?"에 답할 수 있습니다.
• 3 단계: 컨텍스트 번들링: 검색된 증거를 토큰 예산 제약이 있는 컨텍스트 패키지로 조립하는 도구들 (build_context_bundle, rank_suspect_regions). 이들은 TF-IDF 관련성, 구조적 근접성, 그리고 슬라이스 소속도를 기반으로 코드 스패너에 점수를 매겨, 수리 하위 에이전트에 인과적으로 가장 관련성이 높은 코드가 제시되도록 보장합니다.

3. 에이전트 루프

ARISE 는 SWE-agent 스캐폴드 위에서 작동합니다. 에이전트는 다중 턴 프로토콜을 통해 저장소와 상호작용하며, 필요에 따라 구조적 도구, 슬라이싱 도구, 또는 번들링 도구를 호출하도록 선택합니다. 이 시스템은 프레임워크 중립적으로 설계되어, 그래프 빌더와 슬라이싱 API 를 도구 사용이 가능한 어떤 에이전트에도 플러그인처럼 삽입할 수 있습니다.

주요 기여

1. 다중 세분성 프로그램 그래프: 구조적 조직과 문장 수준의 프로시저 내 데이터 흐름 정보를 통합한 저장소 그래프로, 에이전트가 값 전파를 직접 쿼리할 수 있게 합니다.
2. 에이전트 원시로서의 데이터 흐름 슬라이싱: 쿼리가 가능한 도구인 get_dataflow_slice 의 도입. 정적 전처리와 달리, 이는 에이전트가 추론 중에 변수 정의와 사용을 동적으로 추적할 수 있게 하며, 모델이 직접 추론할 수 있는 구조화된 출력을 반환합니다.
3. 프레임워크 중립 도구 세트: 그래프 빌더와 슬라이싱 API 의 결합된 구현으로, 향후 APR 연구를 위한 플러그인 형태로 제공되며 근본적인 분석 로직의 재구현을 요구하지 않습니다.

실험 결과

이 시스템은 Qwen2.5-Coder-32B-Instruct를 백본으로 사용하여 SWE-bench Lite(11 개 Python 저장소의 300 개 실제 GitHub 이슈) 에서 평가되었습니다.

국소화 성능

수정되지 않은 SWE-agent 기준선과 비교하여:

• Function Recall@1: 17.0 포인트 향상 (43.0% 에서 60.0% 로).
• Line Recall@1: 15.0 포인트 향상 (26.0% 에서 41.0% 로).
• File Recall@1: 10.0 포인트 향상.
• 절대 실험 (Ablation) 통찰:
  • 1 단계 (구조적) 추가는 SWE-agent 대비 기준선 개선을 제공했습니다.
  • 2 단계 (데이터 흐름 슬라이싱) 추가는 가장 큰 단일 단계 향상 (+Function Recall@1 7.0 포인트) 을 가져와, 데이터 흐름 추적이 세밀한 국소화에 필수적임을 확인시켰습니다.
  • 3 단계 (컨텍스트 번들링) 추가는 추가적인 점진적 개선을 제공했습니다.
  • ARISE-Coarse(1 단계 + 2 단계 스키마이지만 데이터 흐름 간선 없음) 는 1 단계만 있는 경우와 유사하게 수행되어, 개선이 단순히 추가 도구의 존재가 아니라 그래프 데이터 자체에서 비롯됨을 증명했습니다.
  • ExplainSlice(슬라이스에 자연어 요약 추가) 는 측정 가능한 개선이 없었으며, 이는 대규모 코드 모델 (32B 규모) 이 자연어 중재 없이 구조화된 슬라이스 출력을 직접 추론할 수 있음을 시사합니다.

수리 성능

• Pass@1: ARISE-Full은 22.0%(66/300) 를 달성하여, SWE-agent 기준선 (17.0%) 보다 4.7 퍼센트 포인트 개선되었습니다.
• 상관관계: 더 정밀한 도구들이 추가됨에 따라 Function Recall@1 과 Pass@1 사이의 스피어만 상관관계가 강하고 단조롭게 증가합니다 (SWE-agent 의 0.38 에서 ARISE-Full 의 0.53 로). 이는 이 설정에서 국소화 품질이 수리 성공의 결정적 제약 조건임을 확인시켜 줍니다.

중요성 및 주장

이 논문은 저장소 수준 APR 의 주요 병목 현상이 LLM 의 추론 능력뿐만 아니라 관련 컨텍스트가 어떻게 위치하고 구조화되는지에 있다고 주장합니다.

• 검색 원시로서의 데이터 흐름: 저자들은 프로시저 내 def-use 슬라이스를 1 급 도구로 노출하는 것이 구조적 토폴로지에만 의존하는 것보다 더 효과적이라고 주장합니다. 이는 검색 공간을 축소하여 에이전트가 광범위한 호출 그래프를 탐색하는 대신 단일 역방향 슬라이스를 기반으로 함수 수준의 가설을 수립할 수 있게 합니다.
• 구조화 대 자연어: 결과는 구조화된 분석이 LLM 을 위해 자연어로 요약되어야 한다는 가정에 도전합니다. 32B 파라미터 규모에서 모델들은 구조화된 슬라이스 출력을 직접 소비하므로, 요약 계층은 불필요하고 비용이 많이 듭니다.
• 작은 한계: 저자들은 현재 시스템이 프로시저 내임을 인정합니다. 이는 호출 경계를 가로지르는 변수 흐름 (프로시저 간) 을 추적할 수 없으며, 이는 남은 실패의 45% (잘못된 파일 오류) 를 차지합니다. 저자들은 프로시저 간 슬라이싱으로 확장하는 것을 향후 연구의 주요 방향으로 식별합니다. 또한, 이 접근 방식은 AST 노드 유형에 의존하기 때문에 현재 Python 에 특화되어 있습니다.

요약하자면, ARISE 는 정밀하고 쿼리가 가능한 데이터 흐름 그래프로 에이전트 워크플로우를 보강함으로써 결함 국소화와 결과적으로 자동 프로그램 수리 성공률을 크게 향상시킨다는 것을 보여줍니다.