기술 요약: ProjAgent: 저장소 수준 코드 생성을 위한 절차적 유사성 검색

문제 정의

저장소 수준의 코드 생성은 대규모 언어 모델(LLM)이 복잡한 파일 간 의존성, 프로젝트 특정 관례, 그리고 분산된 유틸리티를 탐색하며 대상 함수를 구현할 것을 요구합니다. 기존의 검색 증강 생성(RAG) 방식은 주로 어휘적(예: BM25) 또는 의미적(예: 밀집 임베딩) 유사성에 의존합니다.

저 저자들은 이러한 방법들이 유사한 절차적 로직을 구현하지만 명명 규칙, 데이터 타입, 또는 적용 도메인이 크게 다른 저장소 함수를 검색하는 데 실패하는 경우가 많다는 결정적인 한계를 지적합니다. 예를 들어, 우주론 모듈에서 입력 형태를 검증하는 함수는 물리학 모듈에서 온도 입력을 검증하는 함수와 절차적으로는 동일할 수 있지만, 표면적 유사성 지표(어휘적 또는 의미적)는 이 둘을 연결하지 못합니다. 이러한 "절차적 격차(procedural gap)"는 LLM이 API를 환각하거나 프로젝트 관례를 위반하는 코드를 생성하게 만드는 원인이 됩니다. 왜냐로 인해 필요한 논리적 패턴이 검색된 컨텍스트에 누락되기 때문입니다.

방법론: ProjAgent

본 논문은 절차적 유사성을 명시적인 검색 신호로 도입하고, 이를 에이전트 워크플로우 및 정적 분석 피드백 루프와 통합한 저장소 수준 코드 생성 시스템인 ProjAgent를 제안합니다.

1. 절차적 유사성 표현

구현 동작을 표면적 텍스트 너머로 포착하기 위해, ProjAgent는 LLM 은닉 상태(hidden states)에서 유도된 **추론 하위 공간 투영(reasoning-subspace projections)**을 활용합니다.

• 하위 공간 분해: Hu 등[14]의 연구를 바탕으로, 본 시스템은 LLM의 은닉 상태 공간을 의미적 하위 공간(언어적 표현)과 추론 하위 공간(내부 로직)으로 분해합니다. 이는 언임베딩 레이어(unembedding layer)에 대한 특이값 분해(SVD)를 통해 수행됩니다.
• 투영: 코드 단계의 은닉 상태를 추론 하위 공간으로 투영하여 절차적 로직을 격리합니다.
• 편향 제거(Debiasing): 벡터가 내용과 상관없이 공통된 방향으로 클러스터링되는 이방성(anisotropy) 현상을 해결하기 위해, 저자들은 주성분 분석(PCA) 기반의 편향 제거 단계를 도입합니다. 이는 지배적인 공유 방향과 평균 중심화를 제거하여, 절차적 매칭을 위한 코사인 유사성의 판별력을 크게 향상시킵니다.

2. 에이전트 기반 검색 워크플로우

ProjAgent는 대상 함수를 위한 풍부한 컨텍스트를 구축하기 위해 다단계 검색 프로세스를 채택합니다.

• 오프라인 전처리: 저장소를 전처리하여 컨텍스트 함수를 논리적 단계(예: 입력 검증, 상태 변환)로 분해합니다. 각 단계는 원래 코드와 대조하여 검증된 후 추론 하위 공간으로 투영됩니다.
• 절차적 검색 (에이전트 기반):
  • 시드 찾기: 대상 함수를 단계별로 분해합니다. 투영 유사성을 통해 절차적으로 유사한 초기 컨텍스트 단계 세트를 식별합니다.
  • 에이전트 탐색: LLM 에이전트가 도구(예: read_func, search_func)를 사용하여 저장소를 탐색하며, 절차적으로 유사한 단계를 포함할 가능성이 있는 새로운 함수들을 발견하고 시드 세트를 반복적으로 확장합니다.
  • 시드 확장 및 검증: 투영 유사성 임계값을 사용하여 처리되지 않은 함수들로 검색을 확장합니다. 검증 단계(LLM 기반)는 특히 일반적인 연산에 대해 거짓 양성(false positives)을 필터링하여 고품질의 절차적 매치를 보장합니다.
• 의미적 검색: 절차적 로직을 보완하기 위해, 어휘적(BM25) 및 의미적(밀집 임베딩) 점수의 하이브리드 방식을 사용하여 의미적으로 관련된 심볼(API, 클래스, 상수)을 검색합니다. 이를 통해 LLM이 검색된 로직을 구현하는 데 필요한 특정 저장소 엔티티에 접근할 수 있도록 합니다.
• 코드 생성 및 피드백: LLM은 결합된 절차적 및 의미적 컨텍스트를 사용하여 코드를 생성합니다. 이후 보수적인 정적 분석 피드백 루프가 코드를 반복적으로 개선합니다. 이 루프는 AST 기반 구문 체크와 의미적 일관성 체크(메서드 호출, 필드 접근, 변수 해결)를 수행하여 오류를 LLM에 다시 전달하여 수정을 유도합니다.

주요 기여

1. 검색 차원으로서의 절차적 유사성: 본 논문은 어휘적 또는 의미적 중첩이 부족하더라도 논리적 패턴을 공유하는 함수들을 찾아낼 수 있는 효과적인 검색 신호로서 절차적 유사성을 도입했습니다.
2. 추론 하위 공간 투영: 저자들은 절차적 로직을 표현하기 위해 LLM 은닉 상태 투영을 활용하여, 서로 다른 명명 규칙과 도메인 간에도 관련 함수를 검색할 수 있게 했습니다.
3. ProjAgent 시스템: 절차적 컨텍스트 발견을 위한 에이전트 워크플로우, 하이브리드 검색(절차적 + 의미적), 그리고 반복적인 코드 수정을 위한 정적 분석 피드백 루프를 통합한 완전한 시스템을 제안합니다.
4. 포괄적 평가: REPOCOD 벤치마크에 대한 엄격한 평가를 수행하였으며, 여기에는 절제 연구(ablation studies)와 검색 구성 요소의 기여도 분석이 포함됩니다.

결과

Qwen2.5-Coder-14B-Instruct 모델을 사용하여 REPOCOD 벤치마크(11개 저장소에 걸친 980개 문제)에서 평가한 결과는 다음과 같습니다:

• 성능: ProjAgent는 **Pass@1 41.14%**를 달성하여 기존 베이스라인들을 능가했습니다:
  • SpecAgent (SOTA): 34.52%
  • Dense Retrieval: 28.83%
  • Sparse Retrieval: 26.58%
  • Same-File Retrieval: 14.98%
• 절제 연구 (Ablation Studies):
  • 절차적 검색을 제거했을 때 가장 큰 성능 저하(41.14% $\to$ 25.76%)가 발생하여, 구현 가이드를 제공하는 데 있어 핵심적인 역할을 확인했습니다.
  • 의미적 검색을 제거했을 때도 성능이 크게 저하(41.14% $\to$ 32.29%)되어, 저장소 특정 심볼의 필요성을 입증했습니다.
  • 피드백 루프를 제거했을 때는 정적 분석의 보수적인 성격으로 인해 완만한 감소(41.14% $\to$ 40.29%)를 보였습니다.
• 검색 효과성: 투영 유사성 방법은 유사하지 않은 컨텍스트를 걸러내는 데 매우 효과적이었으나(leftover 그룹에서 높은 정밀도), "promoted" 그룹의 거짓 양성을 처리하기 위해서는 2단계 설계(투영 + 검증)가 필요함이 밝혀졌습니다.

의의 및 주장

본 논문은 절차적 유사성이 저장소 수준의 코드 생성을 위한 효과적이고 이전에 탐구되지 않은 검색 차원이라고 주장합니다. 저자들은 성공적인 코드 생성이 단순히 의미적으로 관련 있는 코드를 검색하는 것뿐만 아니라, 동일한 근본적 계산 절차를 공유하는 컨텍스트를 검색하는 데 달려 있다고 주장합니다.

절차적 유사성을 기존의 어휘적 및 의미적 신호와 통합함으로써, ProjAgent는 도메인이나 어휘가 크게 다르더라도 LLM이 복잡한 로직을 구현하도록 유도할 수 있음을 보여줍니다. 이 연구는 소프트웨어 공학에서 표면적인 텍스트 매칭을 넘어 코드의 기능적 의도를 포착하는 행동 인식(behavior-aware) 검색 방법론으로의 전환을 시사합니다. 저자들은 결과가 Python 저장소 및 사용된 특정 백본 모델에 국한된다는 점을 언급하며, 검색 커버리지가 향려 개선을 위한 병목 구간으로 남아 있다는 점을 들어 외부 타당성에 대해 겸허한 태도를 유지하고 있습니다.