On the Effectiveness of Context Compression for Repository-Level Tasks: An Empirical Investigation

1. 연구 배경 및 문제 정의 (Problem)

저장소 수준의 코드 작업 (예: 크로스 파일 자동 완성, 프로젝트 인식 코드 생성) 은 LLM 이 방대하고 복잡한 의존성을 가진 다중 파일 컨텍스트를 처리해야 합니다. 긴 입력은 다음과 같은 세 가지 주요 병목 현상을 초래합니다.

• 노이즈와 정보 손실: 중요한 맥락이 여러 파일에 산재한 노이즈에 가려지거나 ("Lost in the middle"), 컨텍스트 윈도우 제한으로 인해 잘립니다.
• 효율성 저하: 컨텍스트 길이가 증가함에 따라 추론 지연 시간 (Latency) 과 메모리 사용량이 급격히 증가합니다 (자기 주의 메커니즘의 2 차 복잡도).
• 코드 특유의 어려움: 자연어에 비해 정보 대 노이즈 비율이 낮고, 구문적 제약이 엄격하며, 장기적인 의존성이 밀집되어 있어 기존 NLP 기반 압축 기법의 적용이 불확실합니다.

2. 방법론 (Methodology)

저자들은 맥락 압축 방법을 **출력 표현 공간 (Output Representation Space)**에 따라 세 가지 패러다임으로 분류하고, 각 패러다임의 대표적 방법 8 가지를 통합된 프레임워크 하에 평가했습니다.

3 가지 압축 패러다임

1. 텍스트 - 텍스트 (T2T): 토큰 필터링이나 재작성을 통해 더 짧은 이산 토큰 시퀀스를 생성합니다.
   • 사용 방법: LLMLingua, LongLLMLingua, LLMLingua-2.
   • 특징: 모델 수정이 필요 없으며 인간이 읽을 수 있는 출력을 제공하지만, 심한 압축 시 중요한 의존성이 끊길 수 있습니다.
2. 텍스트 - 벡터 (T2V): 컨텍스트를 고정된 크기의 연속적인 잠재 벡터 (Latent Vectors) 로 인코딩합니다.
   • 사용 방법: ICAE, Gist Token 기반 방법 등 (메모리 조직화 및 추출 메커니즘의 4 가지 변형: SAMA-SLMC, SAMA-CPMC, QDME-SLMC, QDME-CPMC).
   • 특징: 하위 LLM 디코더는 동결 (Frozen) 된 채로 경량 인코더만 학습하며, 노이즈를 필터링하는 역할을 합니다.
3. 텍스트 - 이미지 (T2I): 텍스트를 이미지로 렌더링하여 비전 - 언어 모델 (VLM) 이 처리하도록 합니다.
   • 사용 방법: 코드 렌더링 및 시각적 토큰 인코딩.
   • 특징: 시각 모달리티의 높은 정보 밀도를 활용하지만, 심한 다운스케일링 시 세부적인 구문 정보가 손실될 수 있습니다.

실험 설정

• 모델: Qwen2.5-Coder (3B, 7B) 및 Qwen2.5-VL (3B, 7B).
• 작업: 코드 생성 (Code Generation) 및 코드 자동 완성 (Code Completion).
• 벤치마크: ComplexCodeEval (Java 및 Python 데이터셋).
• 평가 지표: BLEU, Edit Similarity (ES), Exact Match (EM), 추론 지연 시간, GPU 메모리 사용량.

3. 주요 결과 (Key Results)

RQ1: 압축 패러다임이 작업 성능에 미치는 영향

• T2V (성능 향상): 가장 뛰어난 성과를 보였습니다. 4 배 압축 시 Python 자동 완성 작업에서 전체 컨텍스트 (Full Context) 기준보다 BLEU 점수가 최대 28.3% 향상되었습니다. 이는 잠재 벡터가 저장소의 노이즈 (보일러플레이트 등) 를 필터링하고 작업 관련 신호를 강화했기 때문입니다.
• T2I (작업별 편차): 자동 완성 작업에서는 전체 컨텍스트와 유사한 성능을 보였으나, 코드 생성 작업에서는 성능이 급격히 하락했습니다 (BLEU -50.8%). 이는 균일한 렌더링이 파일 간 관계 구조를 보존하지 못하기 때문입니다.
• T2T (언어 비대칭성): Python 과 Java 에서 성능 저하 패턴이 달랐습니다. Python 은 들여쓰기 (indentation) 가 구문적으로 중요하지만 예측 가능하여 쉽게 제거되어 성능이 크게 떨어졌으나, Java 는 중괄호 구조가 더 견고하여 상대적으로 나은 성능을 유지했습니다.

RQ2: 압축 비율 (Compression Ratio) 의 영향

• T2V: 4 배에서 128 배까지의 광범위한 압축 비율에서 성능이 매우 안정적이며, 모든 비율에서 전체 컨텍스트보다 우수한 생성 성능을 유지했습니다.
• T2I: 자동 완성 작업은 4 배에서 정점을 찍고 이후 감소했으나, 생성 작업은 비율과 무관하게 일관되게 낮은 성능을 보였습니다.
• T2T: 생성 작업의 경우 7 배~12 배 압축 시 성능이 컨텍스트가 없는 상태 (No Context) 와 유사한 수준으로 급격히 하락했습니다.

RQ3: 처리량 및 리소스 효율성

• T2I: 압축 비율이 증가함에 따라 지연 시간과 메모리 사용량이 가장 급격히 감소하여 컨텍스트가 없는 상태와 거의 유사한 수준까지 도달했습니다 (최대 50% 지연 시간 감소).
• T2V: 압축 오버헤드는 작고 일정하며, 디코딩 지연 시간이 서서히 감소하여 전체적으로 효율적인 리소스 사용을 보였습니다.
• T2T: 방법론에 따라 오버헤드가 다르지만, 공격적인 압축 설정 시 컨텍스트 없는 기준선에 근접하는 지연 시간을 달성했습니다.

4. 주요 기여 (Contributions)

1. 최초의 체계적 실증 연구: 저장소 수준 코드 LLM 을 대상으로 T2T, T2V, T2I 세 가지 패러다임과 8 가지 대표 방법을 포괄적으로 평가했습니다.
2. 성능 향상 가능성 입증: T2V 기반 압축이 단순한 정보 손실이 아니라, 노이즈 필터링을 통해 전체 컨텍스트보다 더 나은 성능을 낼 수 있음을 증명했습니다.
3. 배포 가이드라인 제시: 작업 유형 (생성 vs 완성), 압축 예산, 리소스 제약 조건에 따라 최적의 압축 전략을 선택할 수 있는 실용적인 지침을 제공했습니다.

5. 의의 및 결론 (Significance)

이 연구는 맥락 압축이 저장소 수준 코드 지능을 위한 단순한 효율성 도구를 넘어, 성능을 향상시키는 유효한 전략임을 입증했습니다.

• T2V는 성능과 효율성 모두를 고려할 때 가장 권장되는 접근법으로, 특히 생성 작업에서 강력한 잠재력을 보입니다.
• T2I는 지연 시간이 중요한 시나리오나 자동 완성 작업에 적합합니다.
• T2T는 모델 수정이 불가능한 환경에서 유용하지만, 심한 압축 시 코드 구조 손실 위험이 큽니다.

결론적으로, 이 논문은 자연어 처리와는 다른 프로그래밍 언어의 구조적 특성 (구문, 의존성) 을 고려한 압축 기법의 필요성을 강조하며, 코드 LLM 의 실용적 배포를 위한 중요한 통찰을 제공합니다.