Beyond Code Snippets: Benchmarking LLMs on Repository-Level Question Answering

논문 개요

이 논문은 대규모 언어 모델 (LLM) 의 소프트웨어 엔지니어링 능력, 특히 코드 스니펫이 아닌 전체 저장소 (Repository) 수준에서의 질문 응답 (QA) 능력을 평가하기 위해 StackRepoQA라는 새로운 데이터셋과 벤치마크를 소개합니다. 기존 연구들이 단일 파일이나 함수 수준의 코드에 집중했던 한계를 극복하고, 실제 개발자가 겪는 복잡한 저장소 수준의 이해 과제에서 LLM 의 성능과 한계를 실증적으로 분석합니다.

1. 문제 제기 (Problem)

• 현실적 한계: 기존 LLM 벤치마크는 주로 고립된 함수나 단일 파일 스니펫에 집중하여, 실제 개발 환경에서 발생하는 다중 파일 간 의존성, 시스템 수준의 종속성, 그리고 저장소 전체를 아우르는 프로그램 이해 (Program Comprehension) 의 복잡성을 반영하지 못합니다.
• 문맥 부족: 개발자는 종종 여러 파일과 모듈을 넘나드는 질문을 던지지만, LLM 은 제한된 컨텍스트 윈도우와 지식의 시점 (Cutoff) 으로 인해 이러한 광범위한 맥락을 이해하는 데 어려움을 겪습니다.
• 기존 접근법의 결함: 단순한 텍스트 유사성 기반의 검색 (Flat Text Retrieval) 은 코드 내의 구조적, 의미적 관계 (함수 호출, 클래스 계층, 데이터 흐름 등) 를 포착하지 못하며, 전체 저장소를 무작위로 주입하는 것은 비효율적일 뿐만 아니라 성능을 저하시킬 수 있습니다.

2. 방법론 (Methodology)

가. 데이터셋 구축: StackRepoQA

• 구성: 1,318 개의 실제 개발자 질문 (Stack Overflow) 과 채택된 답변을 134 개의 오픈소스 Java 프로젝트에 매핑하여 구성한 최초의 다중 프로젝트 저장소 수준 QA 데이터셋입니다.
• 선정 기준: GitHub 에서 Java 가 주 언어인 활성 프로젝트 (별 10 개 이상, 기여자 20 명 이상, 커밋 1,000 회 이상 등) 를 선정하고, 프로젝트 이름과 Stack Overflow 질문을 키워드 기반으로 매핑했습니다.
• 특징:
  • 실제성: LLM 이 생성한 것이 아닌, 실제 개발자가 작성한 질문과 채택된 답변을 사용.
  • 시간적 컷오프 (Temporal Cutoff): 모델의 학습 데이터 시점 (Cutoff Date) 이전과 이후의 질문을 구분하여 '암기 (Memorization)'와 '추론 (Reasoning)'을 분리 분석할 수 있도록 설계.
  • 라벨링: 관련 없는 질문 (False Positive) 도 명시적으로 표시하여 통제군으로 활용.

나. 실험 설정

• 모델: Claude 3.5 Sonnet 과 GPT-4o 두 가지 주요 LLM 평가.
• 평가 시나리오:
  1. Baseline: 외부 도구 없이 LLM 의 내재 지식만으로 답변.
  2. Agentic RAG: 수퍼바이저 에이전트가 파일 기반 RAG 와 그래프 기반 RAG 에이전트를 조율하여 컨텍스트를 제공.
     • File-RAG: 벡터 데이터베이스 (ChromaDB) 를 이용한 코드 파일 검색.
     • Graph-RAG: Neo4j 그래프 데이터베이스를 활용한 AST(추상 구문 트리) 와 정적 종속성 (호출, 상속 등) 기반 구조적 검색.
• 평가 지표: 전통적인 BLEU/ROUGE 대신 LLM-as-a-Judge 방식을 사용하여 정확성, 완전성, 충실도 등을 1~10 점으로 평가. 인간 평가자와의 일관성을 검증 (Cohen's κ).

3. 주요 기여 (Key Contributions)

1. StackRepoQA 데이터셋 공개: 실제 개발자 질문과 채택된 답변으로 구성된 최초의 다중 프로젝트 저장소 수준 QA 벤치마크.
2. 체계적 평가 프레임워크: 파일 수준 검색과 구조적 그래프 기반 검색을 통합한 멀티 에이전트 RAG 프레임워크를 통해 증강 전략을 비교 분석.
3. 암기 vs 추론 분석: 학습 데이터 시점 (Cutoff) 전후 질문을 비교하여 LLM 의 성능이 실제 코드 추론에서 비롯된 것인지, 아니면 학습 데이터의 암기에서 비롯된 것인지를 실증적으로 규명.
4. 구조적 검색의 중요성 입증: 단순 텍스트 검색보다 그래프 기반 구조적 검색이 저장소 수준 QA 성능 향상에 더 효과적임을 보여줌.

4. 결과 (Results)

RQ1: 증강 없이 LLM 의 정확도는?

• 중간 수준의 정확도: 증강 없이 LLM 은 약 58~69% 의 중간 수준 정확도를 보였습니다.
• 암기 효과: 모델이 학습 데이터 시점 (Cutoff) 이전의 질문에서는 높은 점수를 받았으나, 시점 이후의 질문에서는 성능이 급격히 하락했습니다 (Claude: 6.59→5.44, GPT-4o: 6.97→5.97). 이는 많은 성공 사례가 실제 코드 이해가 아닌 Stack Overflow 답변의 암기에 기인함을 시사합니다.
• 관련성 역설: 오히려 매핑된 프로젝트와 무관한 질문에 대해 더 높은 점수를 받은 경향이 있어, 모델이 프로젝트 컨텍스트를 제대로 활용하지 못하고 있음을 보여줍니다.

RQ2: 증강 (RAG) 의 영향은?

• 구조적 검색의 우위: 파일 기반 RAG 만 사용할 때보다 그래프 기반 RAG(구조적 의존성 포함) 를 추가했을 때 성능이 가장 크게 향상되었습니다 (Graph-RAG: 6.12 vs File-RAG: 5.66).
• 암기 의존성 재확인: 외부 도구만 사용하도록 지시했을 때 (내부 지식 차단) 성능이 오히려 하락했습니다. 이는 모델이 학습된 Q&A 쌍을 암기하고 있었으며, 순수한 코드 기반 추론 능력은 부족함을 의미합니다.
• 시점 이후 질문: RAG 를 적용하더라도 학습 시점 이후의 질문 (Unseen) 에 대한 성능 향상은 제한적이었습니다.

5. 의의 및 시사점 (Significance)

• 벤치마크의 재정의: 현재 LLM 의 저장소 수준 프로그램 이해 능력은 실제 배포에 필요한 수준보다 낮으며, 많은 성능이 '암기'에 의존하고 있음을 경고합니다.
• 구조적 정보의 필수성: 단순한 텍스트 유사성 검색으로는 부족하며, 코드 간의 구조적 관계 (호출 그래프, 상속, 데이터 흐름) 를 반영한 그래프 기반 RAG가 필수적입니다.
• 평가 프로토콜 개선: 향후 LLM 평가는 학습 데이터 시점을 고려한 '컷오프 기반 분할 (Cutoff-based split)'과 '보이지 않는 저장소 (Unseen repositories)' 평가를 통해 암기와 추론을 분리해야 함을 강조합니다.
• 실무적 함의: LLM 을 단독 솔루션으로 사용하기보다는, 구조화된 검색 (Structured Retrieval) 과 검증 메커니즘을 결합한 에이전트 시스템이 실제 개발 워크플로우에 더 적합함을 시사합니다.

결론

이 연구는 LLM 이 코드 스니펫을 넘어 전체 저장소를 이해하는 데 있어 여전히 한계가 있음을 보여주며, 특히 암기 현상과 구조적 맥락 부재가 주요 병목임을 규명했습니다. StackRepoQA 는 이러한 한계를 극복하고 신뢰할 수 있는 저장소 수준 프로그램 이해 시스템을 구축하기 위한 중요한 기반 자료로 제공될 것입니다.