Code Isn't Memory: A Structural Codebase Index Inside a Coding Agent

기술 요약: 코드는 메모리가 아니다: 코딩 에이전트 내부의 구조적 코드베이스 인덱스

문제 정의
코딩 에이전트는 소프트웨어 엔지니어링 작업을 해결하기 위해 대규모 언어 모델(LLM)과 작업 중인 저장소에 대한 검색 메커니즘을 점점 더 밀접하게 결합하고 있습니다. 그러나 특정 검색 전략—특히 시맨틱(semantic), 렉시컬(lexical), 콜 그래프(call-graph) 데이터를 결합한 구조적 코드베이스 인덱스—의 영향은 여전히 불분명합니다. 기존의 평가들은 전체 에이전트 하네스(harness)를 비교함으로써 검색 성능을 프롬프트 엔지니어링, 도구 인터페이스 또는 제어 루프와 혼동하는 경향이 있습니다. 또한, 구조적 인덱스를 구축하고 운영하는 데 드는 높은 비용은 중요한 배포 문제를 제기합니다: 즉, 성능 이득이 비용을 정당화할 만큼 충분한가, 아니면 단순한 "에이전틱 그렙(agentic grep)"만으로도 충분한가? 기존 벤치마크는 이슈 텍스트 내의 솔루션 유출 및 모델 암기 현상을 포함한 무결성 문제에 직면해 있으며, 이에 따라 엄격한 감사 프로토콜이 필요합니다.

방법론
저자들은 고정된 코딩 에이전트 하네스(SuperCoder) 내에서 단일 고정 모델(Claude Opus 4.7)을 사용하여 세 개의 랜덤 시드에 대해 **인과적 절제 연구(causal ablation study)**를 수행했습니다. 연구는 SWE-PolyBench Verified 및 SWE-bench Pro의 91개 인스턴스를 대상으로 세 가지 실험군을 비교했습니다:

1. SC-ON: 구조적 코드베이스 인덱스가 활성화된 SuperCoder 하네스입니다. 이 인덱스는 벡터 인덱스(시맨틱), 그래프 인덱스(정의/콜 엣지), 렉시컬 인덱스(BM25)를 포함합니다. 이는 저장소당 한 번 구축되며 머클 트리(Merkle-tree) 차분을 통해 점진적으로 업데이트됩니다.
2. SC-OFF: 두 개의 컨텍스트 엔진 도구(codebase_search 및 codebase_graph)가 도구 스키마에서 제거된 동일한 SuperCoder 하네스입니다. 다른 모든 구성 요소(프롬프트, 모델, 샌드박스, 나머지 도구들)는 동일하게 유지되었습니다.
3. OpenCode: 에이전틱 그렙(ripgrep)과 파일 읽기를 주요 검색 메커니즘으로 사용하는 독립적인 오픈 소스 하네스로서, 교차 하네스 비교군 역할을 합니다.

주요 실험 제어 및 무결성 조치:

• 인과적 격리: 동일한 하네스 내에서 엔진 도구만을 토글함으로써, 다른 변수로부터 구조적 인덱스의 효과를 격리했습니다.
• 유출 감사(Leak Auditing): "실패 폐쇄형(fail-closed)" 프로토콜이 적용되었습니다. 여기에는 골드 수정(gold-fix) 커밋 및 그 후손 커밋을 제거하기 위한 사전 실행 git 스크러빙(scrubbing)과, 잔여 유출(예: 골드 파일에 영향을 준 역사적 커밋에 대한 git show)을 탐지하기 위한 사후 감사가 포함되었습니다. 26개의 셀이 공개된 제외 레저(exclusion ledger)에 따라 제외되었습니다.
• 로컬라이제이션 지표: 연구는 로컬라이제이션 점수를 위해 View B를 도입했습니다. 모든 경로(엔진 결과 리스트 포함)를 카운트하는 View A와 달리, View B는 에이전트가 grep, read, 또는 edit를 통해 실제로 도달한 경로만을 카운트합니다. 이는 에이전트가 후보 목록을 받기만 하고 상호작용하지 않은 경우 점수가 부풀려지는 것을 방지합니다.
• 통계 분석: 결과는 시드 평균에 대한 인스턴스당 pass@1 값에 대한 대응 표본 윌콕슨 부호 순위 검정(Wilized-rank test)을 사용하여 분석되었습니다.

주요 결과
연구는 구조적 인덱스가 활성화되었을 때 셀당 비용 페널티 없이 로컬라이제이션과 해결 능력이 통계적으로 유의미하게 향상됨을 보고합니다.

• 로컬라이제이션 (View B acc@5):

  • SC-ON: 84.5%
  • SC-OFF: 44.3%
  • 델타: +39.6 퍼센티지 포인트(pp) ($p < 0.0001$).
  • OpenCode: 75.3% (SC-ON이 OpenCode보다 +8.1 pp 높음, $p=0.080$).
  • 관찰: 인덱스는 에이전트가 궤적 초기에 정확한 파일을 찾아내는 능력, 특히 상위 랭크에서의 능력을 극적으로 향상시킵니다 (SC-ON의 경우 77.4%의 셀에서 골드 파일이 랭크 1에 위치함 vs SC-OFF의 33.3%).

• 해결 (Resolve %):

  • SC-ON: 50.4%
  • SC-OFF: 41.9%
  • 델타: +7.9 pp ($p = 0.003$).
  • OpenCode: 45.3% (SC-ON vs OpenCode: $p = 0.087$).

• 비용 및 노력:

  • 셀당 비용: SC-ON과 SC-OFF 간에 통계적으로 차이가 없음 ($p = 0.73$).
  • 노력: SC-ON은 수렴하기 위해 훨씬 적은 턴(28.3 vs 36.2, $p < 0.0001$)과 적은 토큰(10.1k vs 11.1k, $p = 0.027$)을 필요로 했습니다.
  • 해결당 비용 ($/solved): SC-ON은 $2.30로 가장 낮은 비용을 달성했으며, 이는 SC-OFF($2.84) 및 OpenCode($2.92)보다 낮습니다.

• 이질성(Heterogeneity): 구조적 인덱스의 이점은 다중 파일 변경(3개 이상의 파일)에서 가장 두드러졌으며, 여기서 SC-ON과 SC-OFF 사이의 로컬라이제이션 격차는 46.4 pp에 달했습니다. 이는 변경 사항이 여러 파일에 걸쳐 있을 때 콜 그래프 도달 가능성이 단순 그렙보다 더 가치 있다는 직관과 일치합니다.

의의 및 주장
본 논문은 코딩 에이전트 하네스 내부에서 구조적 코드베이스 인덱스에 대한 최초의 유출 검증 및 모델 제어된 인과적 절제 연구를 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 인과적 증거: 구조적 인덱스가 프롬프트 엔지니어링이나 모델 변경과 무관하게 파일 로컬라이제이션과 작업 해결 능력을 인과적으로 개선함을 입증합니다.
2. 비용 효율성: 구조적 인덱스를 실행하는 것이 너무 비싸다는 가설을 반박합니다. 연구는 구조적 인덱스가 개별 셀당 비용을 줄이지는 않지만, 성공률을 높이고 필요한 턴 수를 줄임으로써 해결된 작업당 비용을 유의미하게 낮춘다는 것을 보여줍니다.
3. 배포 가이드라인: 저자들은 배포 질문이 "인덱스가 너무 비싼가?"가 아니라 "워크로드가 구조적 랭킹이 보상받을 수 있는 다중 파일 변경을 포함하는가?"가 되어야 한다고 결론짓습니다.
4. 재현성: 저자들은 모든 보고된 수치가 재현 가능하도록 제외 레저, 유출 감사 스크립트, 로컬라이제이션 추출기(View A 및 View B 모두 지원), 그리고 전체 결과 데이터베이스를 공개합니다.

논문은 교차 하네스 비교(SC-ON vs. OpenCode)에 대해서는 SC-ON이 우세한 경향을 보이지만 통계적 유의성은 미미하다($p \approx 0.08$)는 점을 언급하며 신중한 어조를 유지합니다. 가장 강력하고 견고한 주장은 하네스 내부의 인과적 절제(SC-ON vs. SC-OFF)입니다.