기술 요약: 효율적인 코드 로컬라이제이션을 위한 적응형 병렬 실행 학습

문제 정의

코드 로컬라이제이션(코드 엔티티—파일, 함수, 스니펫—를 식별하여 소프트웨어 문제를 해결하는 작업)은 자동화된 소프트웨어 개발 파이프라인에서 중요한 병목 구간입니다. 최근 연구에 따르면 최첨단 에이전트들은 계산 자원의 50% 이상을 이 작업에 할애하고 있습니다. 현재의 접근 방식은 일반적으로 **순차적 도구 실행(sequential tool execution)**에 의존하며, 여기서 에이전트는 쿼리를 반복적으로 정제하고 결과를 차례대로 검사합니다.

이러한 순차적 패러다임은 엄격한 계산 예산(제한된 상호작용 턴) 하에서 근본적인 트레이드오프에 직면합니다:

1. 정보 기아(Information Starvation): 에이전트가 충분한 맥락적 증거를 수집하기 전에 상호작용 할당량을 모두 소진하여, 정확도가 급격히 저하됩니다.
2. 비효율적 병렬성(Inefficient Parallelism): 병렬 도구 실행(한 번의 턴에 여러 도구를 호출)은 정보 밀도를 높이는 해결책을 제공하지만, 나이브한 구현은 고정된 병렬 폭을 강제하는 경우가 많습니다. 이는 높은 중복성을 초라하며, 논문은 기존 시스템에서 강제된 병렬 도구 호출의 **34.9%**가 증분 정보 이득을 제공하지 않으면서 자원을 낭비하고 노이즈를 유발한다고 지적합니다.

핵심 과제는 포괄적이면서도 중복되지 않는 병렬화를 달하는 것입니다: 즉, 이전에 조사했거나 관련 없는 코드를 탐색하는 것을 제거하면서 정보 커버리지를 극대화하는 것입니다.

방법론: FuseSearch

저자들은 병렬 코드 로컬라이제이션을 공동 **품질-효율 최적화 작업(joint quality–efficiency optimization task)**으로 재정의한 미니멀리스트 코드 로컬라이제이션 에이전트인 FuseSearch를 제안합니다.

1. 미니멀리스트 도구 세트

FuseSearch는 보조 인프라(예: 코드 그래프, AST 또는 언어별 파서) 없이 작동합니다. 이는 세 가지 언어 불가지론적(language-agnostic)이고 읽기 전용인 도구에 의존합니다:

• grep: 파일 내용 내의 정규 표현식 기반 패턴 검색.
• glob: 파일 경로 패턴 매칭.
• read_file: 선택적 라인 범위 지정이 가능한 파일 내용 읽기.

2. 이중 목적 공식화

프레임워크는 두 가지 상보적인 메트릭을 최적화합니다:

• 로컬라이제이션 품질 ($F1$): 파일 및 함수 수준 모두에서 정밀도(precision), 재현율(recall), F1 점수로 측정됩니다.
• 도구 효율성 ($e$): 총 호출 횟수 대비 고유한 정보 이득의 비율로 정의됩니다.
  • 각 도구 호출 $i$에 대해, 정보 이득 $g_i$는 반환된 엔티티를 발견된 엔티티의 누적 히스토리($H$)와 비교하여 계산됩니다.
  • $g_i = \frac{|E_i \setminus H|}{|E_i|}$ (단, $|E_i| > 0$인 경우), 그렇지 않으면 $0$.
  • 효율성 $e$는 궤적 내 모든 $k$개 도구 호출의 평균 정보 이득입니다: $e = \frac{1}{k} \sum g_i$.

3. 공동 최적화 훈련 파이프라인

FuseSearch는 적응형 병렬 전략을 학습하기 위해 2단계 훈련 방식을 채택합니다:

• 1단계: 이중 메트릭 필터링을 통한 지도 미세 조정(SFT)

  • 유능한 교사 모델(Kimi-K2-Instruct)이 훈련 궤적을 합성합니다.
  • 고품질 초기화를 보장하기 위해, $F1 \geq \rho_F$ 및 $e \geq \rho_e$를 모두 만족하는 궤적만을 필터링하여 유지합니다.
  • 이를 통해 신뢰할 수 있는 병렬 실행(턴당 2~8개 도구)의 베이스라인을 구축하기 위해 약 6K개의 고품질 궤적을 생성하여 베이스 모델(Qwen3-4B 및 Qwen3-30B)을 미세 조정합니다.

• 2단계: 공동 보상을 이용한 강화 학습(RL)

  • 그룹 상대 정책 최적화(GRPO)를 사용하여 모델이 $F1$과 $e$를 모두 극대화하도록 추가 최적화합니다.
  • 보상 함수는 다음과 같이 설계되었습니다:
    $$R(\tau) = \alpha \cdot F1(\tau) + \gamma \cdot (F1(\tau) \cdot e(\tau))$$
  • 설계 근거: 선형 항($\alpha \cdot F1$)은 올바른 로컬라이제이션에 대한 기본 보상을 보장합니다. 곱셈 항($\gamma \cdot F1 \cdot e$)은 "소프트 게이트(soft gate)" 역할을 하여, 높은 품질이 달성되었을 때만 보상을 증폭시킵니다. 이는 모델이 (예: 무관하지만 새로운 파일을 대량으로 읽는 등) 정확도를 희생하며 효율성을 최적화하거나, 혹은 대량의 중복을 대가로 정확도를 최적화하는 것을 방지합니다.

4. 적응형 병렬성

고정된 폭의 접근 방식과 달리, FuseSearch는 작업 맥락에 따라 탐색 폭을 동적으로 조절하는 법을 학습합니다. 훈련 과정은 탐색 단계(맥락을 수집하기 위한 넓은 병렬성)에서 정제 단계(집중적이고 타겟팅된 호출)로 진화하며, 효과적으로 탐색 폭과 정밀도 사이의 균형을 맞춥니다.

주요 기여

1. 도구 효율성 메트릭: 코드 검색에서 정보의 참신함(novelty)을 정량화하는 "도구 효율성"을 도입하였으며, 이를 효율성 인식 훈련 프레임워크(SFT + RL)에 통합하여 검색 효과성과 계산 효율성을 공동 최적화했습니다.
2. FuseSearch 에이전트: 그래프 네비게이션이나 AST 파싱을 사용하는 복잡한 시스템의 성능을 능가하거나 대등한 성능을 보이는, 세 가지 읽기 전용 도구만을 사용하는 미니멀리스트 로컬라이제이션 에이전트입니다.
3. 효율성 중심의 품질 향상: 효율성 인식 훈련이 노이즈가 섞인 중복 신호를 제거함으로써 로컬라이제이션 품질을 자연스럽게 향상시킨다는 것을 입증했습니다.

실험 결과

SWE-bench Verified(386개 사례)에서 평가했을 때, 훈련된 FuseSearch-4B는 순차적 베이스라인 및 다른 에이전트 기반 방법들보다 우수한 성능을 보여주었습니다:

• 로컬라이제이션 품질:
  • 파일 수준 F1 84.7%, 함수 수준 F1 **56.4%**를 달성했습니다.
  • 가장 우수한 순차적 베이스라인(RepoSearcher)을 상당한 차이로 앞섰습니다 (예: 파일 F1에서 +46.5%).
  • 오픈 소스 모델(Qwen3-4B)을 사용하면서도 독점 모델(Claude Haiku 4.5)의 성능과 일치하는 성능을 보였습니다.
• 효율성 이득:
  • 순차적 실행 대비 실제 시간(wall-clock time) 기준 93.6%의 속도 향상을 달성했습니다.
  • 상호작용 턴수를 67.7% 감소시켰습니다.
  • 토큰 소비량을 68.9% 감소시켰습니다.
• 다운스트림 영향: 메인 에이전트(Kimi-K2)의 프리-서치(pre-search) 모듈로 사용되었을 때, FuseSearch는 솔루션 통과율을 희생하지 않으면서 상호작용 턴을 23.1%, 엔드 투 엔드 작업 시간을 28.5% 줄였습니다.

의의 및 주장

본 논문은 효율성 인식 훈련이 프로덕션급 자동 소프트웨어 개발을 향한 중요한 단계임을 주장합니다. 병렬 실행을 단순히 레이턴시 감소 전술이 아니라 공동 최적화 문제로 재정의함으로써, FuseSearch는 다음을 입증합니다:

• 중복된 탐색은 높은 비용과 정확도 저하의 주요 원인입니다.
• "새로운" 정보와 "중복된" 정보를 구분하는 법을 배우는 것은 컴팩트한 모델(4B 파라미터)이 더 큰 규모의 순차적 또는 인프라 중심 에이전트를 능가할 수 있게 합니다.
• 넓은 탐색에서 집중적인 정제로 진화하는 적응형 병렬성이 제한된 계산 예산 하에서 정보 기아를 극복하는 핵심입니다.

저자들은 자신들의 접근 방식이 시간 민감적인 환경에서 배포를 제한하는 "비용-정확도 트레이드오프"를 해결하여, 정확할 뿐만 아니라 계산적으로도 실용적인 에이전트를 생성할 수 있게 한다고 결론짓습니다.