논문 요약: LLM 기반 이슈 해결을 위한 코드 컨텍스트 압축 (Compressing Code Context for LLM-based Issue Resolution)

이 논문은 대규모 언어 모델 (LLM) 이 GitHub 의 실제 이슈를 해결하는 과정에서 발생하는 코드 컨텍스트 과대 추정 (Overapproximation) 문제를 해결하기 위해 제안된 새로운 프레임워크인 SWEzze와 **Oracle-guided Code Distillation (OCD)**에 대한 연구입니다.

1. 문제 정의 (Problem)

LLM 기반의 자동 이슈 해결 시스템 (예: Agentless, SWE-Agent) 은 실제 저장소 (Repository) 에서 버그를 찾고 패치를 생성할 때, 관련성이 낮은 방대한 양의 코드 컨텍스트를 입력받게 됩니다. 이는 다음과 같은 두 가지 심각한 문제를 야기합니다.

• 높은 비용: 입력 컨텍스트의 크기가 클수록 토큰 처리 비용과 추론 시간이 기하급수적으로 증가합니다.
• 효과성 저하 (Noise & Distraction): 관련 없는 코드 (Noise) 가 컨텍스트 윈도우를 채우면서 LLM 을 실제 버그 수정 신호 (Bug-fixing signal) 에서 멀어지게 만듭니다.

기존의 압축 기법들은 이 문제를 해결하지 못했습니다.

• 일반적인 압축기: 코드를 자연어처럼 처리하여 문법적 구조나 의미적 연결 (정의 - 사용 관계 등) 을 파괴합니다.
• 코드 특화 도구: 이슈 설명이나 버그 코드와의 유사성 (Lexical similarity) 만을 기준으로 컨텍스트를 잘라내어, 실제 패치에 필수적인 요소 (Fix ingredients) 를 실수로 제거해 버립니다.

2. 방법론 (Methodology)

저자들은 **최소 충분 컨텍스트 (Minimal Sufficient Context, MSC)**를 학습 데이터로 추출하고, 이를 기반으로 경량화된 압축 모델을 학습하는 두 단계의 프레임워크를 제안합니다.

2.1. 오라클 가이드 코드 증류 (Oracle-guided Code Distillation, OCD)

OCD 는 계산 비용이 많이 드는 '오라클 (Oracle)'을 사용하여 초기 컨텍스트를 버그 수정에 필요한 최소한의 코드 서브시퀀스로 축소하는 알고리즘입니다.

• 목표: 초기 컨텍스트 ($C_{init}$) 에서 LLM 이 테스트를 통과하는 패치를 생성할 수 있는 가장 작은 부분집합 ($\hat{C}$) 을 찾는 것.
• 1-최소성 (1-minimality): 임의의 단일 요소를 제거하면 패치 생성이 실패하게 되는 상태까지 축소합니다.
• 두 단계 검색 전략:
  1. 유전 알고리즘 (Genetic Algorithm, GA): 초기 컨텍스트에서 패치 생성이 가능한 후보 집합을 탐색합니다. 패치 오버랩, 테스트 커버리지, 심볼 오버랩 등을 기반으로 우선순위를 부여하여 탐색을 유도합니다.
  2. 계층적 델타 디버깅 (Hierarchical Delta Debugging, HDD): GA 가 찾은 충분 컨텍스트를 파일, 함수, 코드 블록 단위로 계층적으로 축소하여 불필요한 요소를 제거합니다.
• 데이터 생성: SWESmith 데이터셋을 기반으로 OCD 를 실행하여 3,157 개의 인스턴스에 대한 최소 충분 컨텍스트를 생성하고, 이를 학습 데이터로 활용합니다.

2.2. SWEzze (압축 모델)

OCD 를 통해 생성된 데이터를 사용하여 학습된 경량화된 크로스-엔코더 (Cross-encoder) 모델입니다.

• 아키텍처: Qwen3-Reranker-0.6B 를 기반으로 LoRA (Low-Rank Adaptation) 를 적용하여 효율적으로 파인튜닝되었습니다.
• 작동 원리:
  • 입력: 이슈 설명, 버그 위치, 초기 컨텍스트의 코드 세그먼트.
  • 출력: 각 세그먼트가 패치 생성에 필수적인지 (1) 아니면 제거해도 되는지 (0) 점수화.
  • 학습 전략: 클래스 불균형 (필수 코드는 적음) 을 해결하기 위해 양수 (유지) 세그먼트에 가중치를 부여하고, 세그먼트의 역할 (Schema, Definition 등) 에 따라 가변적인 가중치를 적용합니다.
• 추론 시: 예산을 고려한 탐욕적 선택 (Budget-aware greedy selection) 을 통해 토큰 제한 내에서 최적의 컨텍스트를 조립합니다.

3. 주요 기여 (Key Contributions)

1. OCD 프레임워크: LLM 기반 이슈 해결을 위한 최소 충분 컨텍스트를 체계적으로 추출하는 새로운 증류 방법론을 제안했습니다.
2. SWEzze 모델: 노이즈는 제거하되 버그 수정에 필수적인 요소 (Fix ingredients) 는 보존하는 새로운 코드 컨텍스트 압축 모델을 개발했습니다.
3. 종합적 평가: SWE-bench Verified 에서 다양한 최첨단 LLM(GPT-5.2, DeepSeek-V3.2, Qwen3-Coder-Next) 을 대상으로 평가하여, 비용 절감과 해결률 향상을 동시에 달성함을 증명했습니다.

4. 실험 결과 (Results)

SWE-bench Verified(500 개 인스턴스) 에서 3 개의 최첨단 LLM 을 사용하여 평가한 결과는 다음과 같습니다.

• 해결률 (Resolution Rate) 향상:
  • 압축을 하지 않은 설정 (No_compression) 대비 해결률이 5.0% ~ 9.2% 증가했습니다.
  • SWEzze 는 모든 베이스라인 (LongCodeZip, SWE-Pruner, LLMLingua-2) 보다 더 많은 인스턴스를 성공적으로 해결했으며, 모든 베이스라인이 해결한 인스턴스의 **93.8% ~ 99.2%**를 커버했습니다.
• 비용 절감 (Cost Reduction):
  • 전체 토큰 예산을 51.8% ~ 71.3% 감소시켰습니다.
  • 일관된 **약 6 배 (6×)**의 압축률을 유지하며, 모델 간 편차가 적었습니다.
• 성능 균형:
  • LongCodeZip 보다 4 배 이상 빠른 압축 속도 (평균 6.1 초) 를 보였으며, 해결률과 압축률, 지연 시간 (Latency) 사이에서 가장 우수한 균형을 이루었습니다.
• 실패 원인 분석:
  • 기존 압축기들은 필수적인 문법 구조를 파괴하거나, LLM 을 오도하는 관련 없는 코드 (Distraction) 를 유지하여 실패하는 경우가 많았습니다. 반면 SWEzze 는 필수적인 의존성 (예: 타입 정의, 호출 체인) 을 정확히 보존했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 코드 컨텍스트 압축의 목표가 단순히 토큰 수를 줄이거나 유사도를 높이는 것이 아니라, 패치 생성에 필수적인 '충분한 컨텍스트 (Sufficient Context)'를 보존하는 것에 있음을 강조합니다.

• 패러다임 전환: 단순한 통계적 관련성 (Similarity) 기반 선별에서, 실행 오라클을 활용한 기능적 충분성 (Functional Sufficiency) 기반 증류로 접근 방식을 전환했습니다.
• 실용성: SWEzze 는 추론 시 오라클 접근 없이도 작동하며, 다양한 LLM 에 일반화되어 적용 가능합니다.
• 영향: 대규모 코드베이스에서의 자동 버그 수정 비용을 획기적으로 줄이면서 동시에 성공률을 높일 수 있는 길을 제시했습니다.

결론적으로, SWEzze 는 LLM 이 방대한 코드 컨텍스트 속에서 핵심적인 '수리 재료 (Fix ingredients)'를 정확히 찾아내어 효율적이고 정확한 패치를 생성할 수 있도록 돕는 핵심 기술로 평가됩니다.