One Tool Is Enough: Reinforcement Learning for Repository-Level LLM Agents

기술 요약: 하나의 도구로 충분하다: 리포지토리 수준 코드 탐색을 위한 LLM 에이전트의 강화 학습

문제 제기
대규모 소프트웨어 리포지토리 내에서 수정이 필요한 특정 파일과 함수를 찾는 것은 방대한 코드 양과 구조적 복잡성으로 인해 상당한 도전 과제입니다. 기존 대규모 언어 모델 (LLM) 에이전트들은 이를 리포지토리 수준 검색 작업으로 접근하며, 여러 보조 도구 (예: SearchClass, SearchMethods, GetImports) 에 의존합니다. 저자들은 이러한 다중 도구 파이프라인이 다음과 같은 두 가지 주요 문제를 겪고 있다고 주장합니다:

1. 실행 로직과의 불일치: 클래스나 상속과 같은 고수준 추상화는 컴파일 후 사라지는 경우가 많지만, 실제 코드 실행은 순차적 점프와 심볼 해석에 의존합니다. 기존 도구들은 종종 이러한 실행 흐름을 반영하지 못합니다.
2. 복잡성과 오류 전파: 여러 도구를 관리하면 모델 제어의 복잡성이 증가합니다. 도구 정의 공간이 무한하기 때문에 사전 학습된 모델은 광범위한 사후 학습 없이 수많은 도구의 시맨틱을 내재화하는 데 어려움을 겪어, 포맷팅 오류와 매개변수 파싱 실패로 이어집니다. 또한, Docker 기반 패치 평가가 필요하기 때문에 전체 문제 해결을 위한 엔드투엔드 학습은 계산 비용이 너무 많이 들어 실현 불가능합니다.

방법론: RepoNavigator
본 논문은 이러한 과제를 해결하기 위해 간결한 설계와 강화 학습 (RL) 을 통해 리포지토리 수준 문제 국소화를 위한 LLM 에이전트인 RepoNavigator를 제안합니다.

• 통합 도구 설계 (Jump): 검색 도구 모음 대신 RepoNavigator 는 구조적으로 근거를 둔 단일 도구인 Jump를 활용합니다. 이 도구는 언어 서버 (예: Python 의 Pyright) 를 통해 구현되어 호출된 심볼의 정확한 정의를 해석합니다. 이는 현대 IDE 가 제공하는 실행 인식 탐색을 추상화하여, 에이전트가 심볼 정의를 따라 코드베이스를 탐색할 수 있게 합니다 (예: 함수 호출에서 해당 정의, 그리고 그 의존성으로 이동).
• 에이전트 아키텍처: 에이전트는 추론 → 행동 → 관찰 루프에서 작동합니다. 각 단계에서 정책은 자연어 추론을 생성할지, 아니면 특정 심볼과 파일 경로로 Jump 도구를 호출할지 결정합니다. 도구는 정의 코드 스니펫을 반환하며, 이는 다음 추론 단계의 관찰 데이터가 됩니다.
• 강화 학습을 통한 훈련: RepoNavigator 는 **그룹 상대 정책 최적화 (GRPO)**를 사용하여 사전 학습된 기본 모델에서 직접 엔드투엔드 방식으로 훈련됩니다.
  • 증류 없음: Claude 나 GPT 와 같은 폐쇄형 모델에서 증류된 궤적을 활용한 지도 미세 조정 (SFT) 에 의존하는 기존 연구 (예: RepoSearcher, LocAgent) 와 달리, 이 방법은 "교사" 모델이 필요하지 않습니다.
  • 하이브리드 보상 함수: 보상 $R$은 두 가지 구성 요소를 결합합니다:
    1. 결과 보상: 예측된 코드 위치 집합과 정답 (ground truth) 간의 디스 계수로 측정됩니다.
    2. 도구 보상: 도구 호출 성공률 (포맷 정확도 및 심볼 존재 여부) 에 기반합니다.
  • 목적: 에이전트는 단일 도구 사용을 숙달하면서 올바른 파일과 함수를 식별하기 위해 장거리 궤적을 최적화하는 법을 학습합니다.

주요 기여

1. 사전 학습 모델로부터 훈련된 최초의 RL 기반 국소화 에이전트: 저자들은 폐쇄형 증류 의존성을 제거하고 RL 을 사용하여 사전 학습된 오픈소스 모델에서 직접 훈련된 최초의 리포지토리 수준 국소화 에이전트를 제시합니다.
2. 실행 인식 단일 도구 패러다임: 이 설계는 이전의 다중 도구 에이전트의 파편화된 고수준 추상화와 대조적으로, 실제 코드 실행 시맨틱 (심볼 해석) 과 일치하는 통합된 Jump 도구를 도입합니다.
3. 효율성과 확장성: 이 논문은 복잡한 다중 도구 파이프라인에 비해 단일 강력한 도구가 효율성과 제어 가능성을 크게 향상시켜, 계산 오버헤드를 줄이면서도 최첨단 성능을 달성할 수 있음을 보여줍니다.

실험 결과
실험은 Qwen2.5 모델 (7B, 14B, 32B) 을 베이스라인으로 사용하여 SWE-bench Verified와 SWE-bench Pro(Python 서브셋) 에서 수행되었습니다.

• 성능: RepoNavigator 는 함수 수준 및 파일 수준 국소화 지표 (Sample-F1 및 IoU) 모두에서 최첨단 (SOTA) 성능을 달성합니다.
  • 7B 모델은 14B 베이스라인을 능가합니다.
  • 14B 모델은 32B 경쟁자들을 능가합니다.
  • 32B 모델은 대부분의 지표에서 폐쇄형 모델 (예: GPT-5, Claude 3.7 Sonnet) 을 능가합니다.
• 훈련 효율성: RL 기반 에이전트는 더 강력한 교사 모델을 워밍업에 사용하지 않았음에도 불구하고, 훈련이 없는 베이스라인과 증류 기반 방법 (RepoSearcher 등) 보다 우수한 성능을 보입니다.
• 하류 영향: Agentless 의 국소화 모듈을 대체하여 하류 패치 생성을 위한 문제 국소화에 사용될 때, RepoNavigator 는 최종 문제 해결률을 향상시킵니다.
• Ablation 연구:
  • 보상 메커니즘: 하이브리드 보상 (결과 + 도구 성공) 이 결정적입니다; 도구 성공률을 제거하면 성능이 저하됩니다.
  • SFT 대 RL: SFT 를 거친 후 RL 을 수행하는 파이프라인보다 사전 학습 모델에서 직접 RL 훈련을 수행하는 것이 더 좋은 결과를 낳아, SFT 를 통한 "콜드 스타트"의 필요성에 의문을 제기합니다.
  • 도구 수: Jump 도구에 GetClass, GetFunc 등 더 많은 도구를 추가하면 실제로 성능이 저하되어, 더 적고 더 강력한 도구가 바람직함을 확인시켜 줍니다.

의의와 주장
본 논문은 구조적으로 근거를 둔 단일 도구와 RL 훈련을 통합하는 것이 리포지토리 수준 문제 국소화를 위한 효율적이고 확장 가능한 해결책을 제공한다고 주장합니다. 실제 코드 실행 흐름을 반영하고 도구 조작을 단순화함으로써 RepoNavigator 는 도구 체이닝의 취약성과 행동 공간의 복잡성을 줄입니다. 결과는 소프트웨어 공학의 장거리 추론 작업에서 도구 다양성의 폭보다 실행 인식 탐색의 깊이 (단일 강력한 도구를 통해) 가 더 중요함을 시사합니다. 이 접근법은 증류를 위한 폐쇄형 교사 모델에 대한 의존성을 제거함으로써 고성능 에이전트 접근성을 민주화합니다.