MEMRES: A Memory-Augmented Resolver with Confidence Cascade for Agentic Python Dependency Resolution

1. 문제 정의 (Problem)

파이썬 생태계는 50 만 개 이상의 PyPI 패키지를 보유하고 있어 레거시 코드의 의존성 관리가 매우 어렵습니다. 특히 다음과 같은 이유로 코드 스니펫에 대한 올바른 패키지, 버전, 파이썬 인터프리터를 결정하는 것이 복잡합니다.

• 호환성 문제: Python 2 와 3 간의 비호환성.
• 폐기된 패키지: 더 이상 유지되지 않거나 이름이 변경된 패키지.
• 모호한 import 이름: cv2 와 opencv-python 과 같은 이름 불일치 등.

기존의 선도적인 접근법인 PLLM(Large Language Model 기반 의존성 해결 시스템) 은 RAG(검색 증강 생성) 와 LLM 을 결합한 5 단계 파이프라인을 사용하지만, HG2.9K 벤치마크에서 54.7% 의 성공률에 그쳤습니다. 특히 1,308 개의 스니펫은 아예 해결되지 않았으며 (신뢰도 = 0), 많은 실패 사례가 LLM 호출 없이도 결정론적 규칙으로 해결 가능한 오류 (구문 오류, 잘못된 import 매핑, 버전 불일치) 였습니다. LLM 을 무작정 호출하는 것은 시간 낭비 (스니펫당 60~120 초) 를 초래합니다.

2. 방법론 (Methodology)

MemRes 는 LLM 을 마지막 수단 (last resort) 으로만 활용하는 다단계 신뢰도 캐스케이드 (Confidence Cascade) 를 도입한 에이전트 시스템입니다. 시스템은 4 가지 주요 구성 요소를 순차적으로 참조하여 LLM 호출을 최소화합니다.

A. 구성 요소

1. 세션 내 메모리 (Intra-Session Memory):
   • 현재 배치 (batch) 내에서 이전에 성공적으로 해결된 솔루션을 재사용합니다.
   • 유사한 import 패턴을 가진 코드 스니펫에 대해 pip install 을 통해 해결책을 전이하여 반복적인 LLM 추론을 방지합니다.
2. 신뢰도 캐스케이드 (Confidence Cascade):
   • 패키지 버전을 선택하기 위한 6 단계 결정론적 단계를 거칩니다.
   • 단계 1~5: 세션 메모리, 정적 호환성 맵 (Static Compatibility Map), 생태계 템플릿, 공발생 마이닝 (Co-occurrence Mining), 휴리스틱 규칙을 순차적으로 적용합니다.
   • 단계 6 (LLM 선택): 위 5 단계 모두 실패할 때만 LLM 을 호출합니다.
   • 수정 불가 추정기: 시스템 의존성 (GTK, RPi.GPIO 등) 만 포함된 경우, Docker 환경에서 재현 불가능하므로 '런타임 패스 (Runtime Pass)'로 분류하여 LLM 호출을 차단합니다.
3. 자기 진화 메모리 (Self-Evolving Memory):
   • 팁 (자연어 가이드) 과 단축키 (Jaccard 유사도 기반 재사용 가능한 솔루션) 를 수집합니다.
   • 새로운 단축키는 Docker 빌드를 통해 검증된 후 메모리에 저장되며, 실행 간 (between runs) 상태는 초기화되어 과적합을 방지합니다.
4. 오류 패턴 지식 베이스 (Error Pattern KB) 및 빌드 휴리스틱:
   • 200 개 이상의 import→패키지 매핑: 15 개 도메인에 걸쳐 35 개의 이름 수정 및 버전 제약을 포함합니다.
   • 시맨틱 import 분석: import Image가 Pillow 를 의미하는지 등 사용 패턴을 분석하여 모호성을 해소합니다.
   • Python 2 감지: 13 가지 Python 2 지시자 (예: print x, raw_input) 를 감지하여 Python 2.7 환경으로 강제 전환하고, Docker-out-of-Docker(DooD) 를 통해 실행합니다.
   • 시스템 의존성 주입: C 확장 패키지 컴파일 실패를 해결하기 위해 apt-get 을 통해 시스템 라이브러리를 자동으로 주입합니다.

3. 주요 기여 (Key Contributions)

1. 신뢰도 캐스케이드: 6 단계의 해결 단계를 도입하여 LLM 호출을 60% 이상 감소시키면서도 정확도를 향상시켰습니다.
2. 세션 내 메모리: 동일한 배치 내 유사 코드베이스에 대한 빠른 해결책 전이를 가능하게 하여 반복적인 LLM 추론을 제거했습니다.
3. 자기 진화 메모리: 팁과 단축키를 통해 세션 간 지식 전이를 가능하게 했습니다.
4. 지식 베이스 및 휴리스틱: 200 개 이상의 매핑과 런타임 자기 학습, 시스템 의존성 주입 기술을 통해 C 확장 패키지 문제를 해결했습니다.
5. 성능 평가: HG2.9K 벤치마크에서 86.6% 의 높은 해결률을 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: HG2.9K (2,890 개의 유효한 Python GitHub Gist 스니펫).
• 모델: Gemma-2 9B (10GB VRAM).
• 성능 비교:
  • PLLM: 54.7% 성공률 (1,583 개 해결).
  • MemRes: 86.6% 성공률 (2,503 개 해결, 10 회 실행 평균).
  • MemRes 는 PLLM 이 완전히 실패한 (신뢰도=0) 950 개 이상의 스니펫을 해결했습니다.
• 효율성:
  • LLM 호출 감소: 성공 사례의 68.0% 가 LLM 호출 없이 해결되었습니다.
  • 토큰 사용량: 약 75% 감소.
  • 해결 시간: 성공 사례의 중앙값 해결 시간이 15.2 초 (PLLM 은 120~180 초) 로 단축되었습니다.
• Ablation Study: 세션 내 메모리 (Level 1) 를 비활성화했을 때 성공률이 5.0%p 감소하여, 메모리 메커니즘의 중요성을 입증했습니다.

5. 의의 및 결론 (Significance)

MemRes 는 의존성 해결의 대부분이 모델 추론 없이도 결정론적 원인과 규칙으로 해결 가능하다는 통찰을 기반으로 합니다.

• LLM 의 역할 재정의: LLM 을 만능 해결사가 아닌, 규칙 기반 시스템이 실패했을 때만 호출되는 마지막 수단으로 위치시켰습니다.
• 실용성: 의존성 충돌 해결 시간을 획기적으로 단축하고 토큰 비용을 절감하면서도 기존 SOTA(PLLM) 를 압도하는 성능을 달성했습니다.
• 미래 작업: C 확장 패키지 실패 처리 개선 및 더 넓은 코퍼스 검증이 향후 과제로 제시되었습니다.

이 연구는 에이전트 시스템에서 LLM 의 효율적인 활용과 결정론적 규칙의 결합이 복잡한 소프트웨어 공학 문제 해결에 얼마나 강력한지 보여주는 사례입니다.