CODESCOUT: 코드 검색 에이전트 강화를 위한 효과적인 강화 학습 레시피

이 문서는 "CODESCOUT: An Effective Recipe for Reinforcement Learning of Code Search Agents" 논문의 기술적 요약을 한국어로 정리한 것입니다.

1. 문제 정의 (Problem)

대규모 코드 저장소 (Repository) 에서 태스크를 수행하는 코딩 에이전트에게 가장 중요한 전제 조건 중 하나는 **코드 로컬라이제이션 (Code Localization)**입니다. 이는 주어진 이슈 (Issue) 설명과 코드베이스를 바탕으로 수정이 필요한 관련 파일, 클래스, 함수 등을 정확히 식별하는 과정입니다.

기존의 접근 방식들은 다음과 같은 한계가 있었습니다:

• 복잡한 도구 의존성: 대부분의 기존 에이전트 (LocAgent, RepoNavigator 등) 는 정적 분석 (Static Analysis) 에서 파생된 복잡한 저장소 그래프나 특정 언어 (주로 Python) 에 종속된 도구를 사용하여 에이전트를 구동했습니다. 이는 배포의 복잡성을 높이고 다른 프로그래밍 언어로 확장하기 어렵게 만듭니다.
• 비효율적인 검색: 벡터 검색과 같은 임베딩 기반 접근법은 정확도가 낮거나 컨텍스트를 과도하게 포함시켜 에이전트의 성능을 저하시킬 수 있습니다.
• 폐쇄형 모델 의존성: 많은 연구가 고가의 폐쇄형 LLM(예: Claude, GPT) 을 통해 생성된 데이터를 기반으로 지도 학습 (SFT) 을 수행하여, 오픈소스 모델의 독립적인 발전을 저해했습니다.

2. 방법론 (Methodology)

저자들은 복잡한 정적 분석 도구 없이, **표준 Unix 터미널 (Bash)**만 equipped 된 에이전트가 강화 학습 (RL) 을 통해 뛰어난 코드 로컬라이제이션 성능을 달성할 수 있음을 증명했습니다. 이를 위해 다음과 같은 "효과적인 레시피"를 제시합니다.

2.1. 에이전트 스캐폴드 (Agent Scaffold)

• OpenHands-Bash: 복잡한 커스텀 도구를 도입하지 않고, OpenHands 소프트웨어 에이전트 SDK 를 기반으로 터미널 (Terminal) 도구만 사용합니다.
• 주요 도구: ripgrep (rg), find, grep, sed, cat 등 표준 Unix 명령어만 사용합니다.
• 구조적 출력: 에이전트가 예측한 파일, 모듈, 함수를 LocalizationFinish 도구를 통해 구조화된 JSON 형식으로 제출하도록 강제하여 파싱 오류와 보상 신호의 불일치를 방지합니다.

2.2. 데이터 및 환경 구축

• 데이터 소스: SWE-Smith 데이터셋을 기반으로 GitHub 이슈와 해당 이슈를 해결하는 PR (Pull Request) 패치를 사용합니다.
• Ground Truth 추출: 패치 (Patch) 를 분석하여 수정된 파일, 모듈, 함수를 3 단계의 세분성 (Granularity) 으로 추출합니다.
  • 파일 레벨 (File-level)
  • 모듈 레벨 (Module-level, 클래스 등)
  • 함수 레벨 (Function-level)
• 환경: 코드 실행이 필요하지 않으므로 의존성 설치나 샌드박싱 없이, 단순히 저장소를 클론한 상태의 터미널 환경만 구성합니다.

2.3. 보상 설계 (Reward Design)

• F1 점수 기반 보상: 예측된 위치와 Ground Truth 간의 정밀도 (Precision) 와 재현율 (Recall) 을 기반으로 파일, 모듈, 함수 레벨의 F1 점수를 계산하여 합산합니다.
  • $R = F1_{file} + F1_{module} + F1_{func}$
• 종료 보상 (Termination Reward): 에이전트가 할당된 단계 (Turn) 제한 내에 예측을 제출하지 않으면 보상이 0 이 되는 문제를 해결하기 위해, 정확히 $k$단계 내에 종료할 경우 추가 이진 보상을 부여합니다.

2.4. 강화 학습 알고리즘

• GSPO (Group Sequence Policy Optimization): 기존 PPO 의 변형인 GSPO 를 사용하며, KL 정규화 항을 제거하고 이득 (Advantage) 계산에서 표준 편차를 제거하는 등 훈련 안정성을 높인 설정을 적용했습니다.
• 모델: Qwen3 계열 모델 (1.7B, 4B, 14B) 을 기반으로 훈련되었습니다. 1.7B 모델의 경우, 먼저 14B 모델의 성공적인 궤적으로 RFT (Rejection Sampling Fine-Tuning) 를 수행한 후 RL 을 적용하여 성능을 극대화했습니다.

3. 주요 기여 (Key Contributions)

1. 단순한 도구로도 가능한 고성능: 복잡한 정적 분석 도구나 저장소 그래프 없이 터미널 도구 하나만으로 SOTA(최신 최고 수준) 성능을 달성함을 증명했습니다.
2. 언어 중립성 (Language Agnostic): Python 에 특화된 AST 파서 등에 의존하지 않으므로, Bash 명령어가 통용되는 모든 프로그래밍 언어로 확장 가능합니다.
3. 폐쇄형 모델 불필요: 고가의 폐쇄형 LLM 에서의 지식 증류 (Distillation) 없이, 순수 RL 을 통해 오픈소스 모델만으로도 경쟁력 있는 성능을 달성했습니다.
4. 오픈 소스 공개: CODESCOUT 모델 패밀리, 코드, 데이터셋을 모두 공개하여 커뮤니티의 후속 연구를 지원합니다.

4. 실험 결과 (Results)

SWE-Bench Verified, Pro, Lite 벤치마크에서 다양한 모델과 비교 실험을 수행했습니다.

• 모델 크기 대비 성능: CODESCOUT 모델 (최대 14B) 은 2 배에서 18 배 더 큰 기반 모델 (Base LLM) 이나 기존 에이전트 (RepoNavigator 등) 보다 우월하거나 경쟁력 있는 성능을 보였습니다.
  • 예: CODESCOUT-1.7B 는 8 배 큰 Qwen3-14B 보다 파일 레벨 F1 에서 11~18% 더 높은 성능을 기록했습니다.
• 폐쇄형 모델과의 비교: CODESCOUT-14B 는 GPT-5-Chat 이나 Claude-Sonnet-4.5 와 같은 최첨단 폐쇄형 모델이 복잡한 스캐폴드를 사용할 때보다도 더 높은 성능을 보이거나 근접한 수준을 달성했습니다.
• 효율성: 코드 로컬라이제이션을 통해 하류 태스크 (이슈 해결) 의 에이전트 성능이 향상되었으며, 단계 수와 토큰 사용량이 감소하는 효율성 개선 효과도 확인되었습니다.
• 도구 사용 패턴: RL 훈련 과정에서 에이전트는 초기에는 다양한 명령어를 사용하다가, 훈련이 진행될수록 ripgrep (rg)와 sed 등 매우 제한된 명령어 집합으로 수렴하는 것을 관찰했습니다. 이는 복잡한 도구 없이도 효율적인 검색이 가능함을 시사합니다.

5. 의의 및 결론 (Significance)

CODESCOUT 은 코드 검색 에이전트 개발에 있어 **"복잡한 인프라보다 효과적인 강화 학습 레시피"**가 더 중요할 수 있음을 보여줍니다.

• 확장성: 특정 언어에 종속되지 않는 단순한 터미널 기반 접근법은 다양한 프로그래밍 언어 환경에서의 에이전트 배포를 용이하게 합니다.
• 비용 효율성: 고가의 폐쇄형 모델이나 복잡한 정적 분석 파이프라인 없이도 오픈소스 모델만으로 상용 수준의 성능을 달성할 수 있어, 연구 및 산업 현장의 진입 장벽을 낮춥니다.
• 향후 방향: 이 연구는 코드 로컬라이제이션이 문제 해결의 핵심 단계임을 재확인했으며, 향후 더 넓은 범위의 저장소 기반 작업 (QA, 리팩토링 등) 으로 확장될 수 있는 강력한 베이스라인을 제공합니다.

결론적으로, CODESCOUT 은 복잡한 도구에 의존하지 않고, 잘 설계된 강화 학습과 표준 터미널 도구만으로 강력한 코드 검색 에이전트를 구축할 수 있음을 입증한 획기적인 연구입니다.