[기술 요약] 계층적 지식 주입을 통한 LLM 기반 프로그램 수정(APR) 성능 향상

1. 문제 정의 (Problem Statement)

최근 대규모 언어 모델(LLM)을 활용한 자동 프로그램 수정(Automated Program Repair, APR) 연구가 활발하지만, 여전히 많은 버그가 해결되지 않고 있습니다. 기존 연구들의 주요 한계점은 다음과 같습니다.

• 맥락 부족 (Context Limitation): 대부분의 LLM 기반 APR 도구는 버그가 발생한 함수(Local context) 주변의 정보(에러 메시지, 스택 트레이스 등)에만 의존합니다.
• 프로젝트 이해도 결여: 실제 소프트웨어 개발자는 버그를 고칠 때 코드의 구조적 의존성, 관련 파일, 커밋 히스토리, 프로젝트 문서 등 광범위한 맥락을 활용합니다. 하지만 LLM은 이러한 프로젝트 수준의 제약 조건이나 의도를 파악하는 데 어려움을 겪습니다.
• 정보 과부하 (Information Overload): 모든 정보를 한꺼번에 프롬프트에 넣는 방식은 모델이 핵심 정보를 구분하는 데 방해가 되어 오히려 성능을 저하시킬 수 있습니다.

2. 연구 방법론 (Methodology)

본 논문은 정보를 단계적으로 확장하여 제공하는 **계층적 지식 주입 프레임워크(Layered Knowledge Injection Framework)**를 제안합니다.

3단계 계층적 지식 구조

1. Bug Knowledge Layer (버그 지식 계층): 가장 기초적인 단계로, 버그가 발생한 함수, 실패하는 테스트 케이스, 에러 메시지, GitHub 이슈 설명, 런타임/Angelic 변수(기대값) 등을 포함합니다.
2. Repository Knowledge Layer (저장소 지식 계층): 1단계로 해결되지 않은 버그에 대해, 코드의 구조적 맥락을 추가합니다. 함께 커밋된 파일(Co-occurring files), 구조적 의존성(함수/클래스 호출 관계), 최근 커밋 히스토리를 주입합니다.
3. Project Knowledge Layer (프로젝트 지식 계층): 가장 고차원적인 단계로, 프로젝트의 공식 문서(Documentation)와 과거에 해결된 유사 이슈(Issue Resolution History)를 검색(Dense Retrieval)하여 주입합니다. 이를 통해 API의 의도된 사용법과 프로젝트 특유의 패턴을 학습하게 합니다.

실험 설계

• 데이터셋: BugsInPy의 314개 버그-패치 쌍.
• 모델: Llama 3.3, GPT-4o-mini.
• 평가 지표: Pass@k (k=1, 3, 5) 및 해결된 버그 수(#fixed).
• 비교 대상: 기존의 세밀한 사실 선택 방식(Parasaram et al.) 및 모든 정보를 한 번에 주입하는 "All-at-once" 방식.

3. 주요 기여 (Key Contributions)

• 계층적 프레임워크 제안: 정보를 버그 $\rightarrow$ 저장소 $\rightarrow$ 프로젝트 단위로 점진적으로 확장하는 체계적인 구조를 설계했습니다.
• 버그 유형별 분석: 버그의 유형(Program Anomaly, GUI, Network 등)에 따라 어떤 계층의 지식이 효과적인지 규명했습니다.
• 효율성 입증: 모든 정보를 한꺼번에 주는 것보다 단계적으로 주입하는 것이 모델의 성능(Distinguishability)을 높이는 데 훨씬 유리함을 증명했습니다.
• 오류 분석 제공: 해결되지 않은 버그들의 복잡도(Cyclomatic Complexity, LOC 등)를 분석하여 LLM의 현재 한계를 제시했습니다.

4. 연구 결과 (Results)

• 성능 향상: Llama 3.3 모델 기준, 최종적으로 **79%의 수정률(250/314)**을 달성했습니다. 이는 이전 연구(56%) 대비 23%나 크게 향상된 수치입니다.
• 계층별 효과:
  • Repository Layer: 모든 버그 유형에서 성능 향상이 나타났습니다. 즉, 코드 구조 정보는 범용적으로 유용합니다.
  • Project Layer: Program Anomaly, GUI, Network 버그 등 특정 유형에서만 추가적인 이득을 보았습니다. 이는 버그의 성격에 따라 필요한 지식의 수준이 다름을 의미합니다.
• All-at-once의 실패: 모든 정보를 한 번에 넣었을 때 Llama 3.3의 수정률은 65%로 떨어졌고, GPT-4o-mini는 48%까지 급락했습니다. 이는 단계적 주입이 모델의 집중력을 유지하는 데 필수적임을 보여줍니다.
• 난제 분석: 해결되지 않은 버그들은 통계적으로 **더 높은 복잡도(Complexity)**와 **더 긴 코드 길이(LOC)**를 가지고 있었습니다. 특히 GUI나 Network 버그처럼 사용자 인터랙션이나 네트워크 상태를 추론해야 하는 경우 여전히 어려움을 겪었습니다.

5. 의의 및 결론 (Significance & Conclusion)

본 연구는 LLM 기반 APR이 단순한 코드 생성을 넘어, 소프트웨어 생태계 전체의 맥락을 이해하는 방향으로 나아가야 함을 시사합니다.

결론적으로:

1. 단계적 접근의 중요성: LLM에게 정보를 줄 때는 "필요할 때, 필요한 만큼만" 주는 것이 성능 최적화의 핵심입니다.
2. 에이전트 기반 시스템으로의 확장 필요성: 정적인 프롬프트 주입만으로는 복잡한 버그를 해결하는 데 한계가 있으므로, 코드를 실행하고 피드백을 받는 대화형/에이전트형(Agentic) APR 시스템으로의 발전이 필요함을 강조합니다.