Lossless Prompt Compression via Dictionary-Encoding and In-Context Learning: Enabling Cost-Effective LLM Analysis of Repetitive Data

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 토큰 기반 과금 및 컨텍스트 윈도우 제한으로 인해 반복적인 텍스트 데이터 (예: 시스템 로그, 이벤트 시퀀스) 를 처리할 때 비용과 지연 시간 측면에서 심각한 도전에 직면해 있습니다.

• 현재 한계: 기업 환경에서는 수천 개의 반복적인 로그 엔트리가 생성되지만, 이를 LLM 에 직접 입력하면 토큰 소비량이 급증하여 분석 비용이 비효율적으로 증가합니다.
• 기존 방법의 부족:
  • 손실 압축 (Lossy): 정보 손실이 발생하여 분석 정확도가 떨어질 수 있습니다.
  • 손실 없는 압축 (Lossless): 기존 압축 알고리즘은 LLM 이 원본을 직접 처리할 수 없게 만들며, 압축된 데이터를 이해시키기 위해 모델 파인튜닝 (Fine-tuning) 이 필요한 경우가 많습니다. 이는 데이터 패턴이 변화할 때마다 모델을 재학습해야 하는 확장성 문제를 야기합니다.

2. 방법론 (Methodology)

이 논문은 사전 인코딩 (Dictionary-Encoding) 과 인-컨텍스트 학습 (In-Context Learning) 을 결합하여 모델 수정 없이 손실 없는 프롬프트 압축을 실현하는 새로운 접근법을 제시합니다.

핵심 아이디어

LLM 이 시스템 프롬프트에 제공된 압축 사전 (Dictionary) 을 컨텍스트 내에서 학습하여, 압축된 메타 토큰 (Meta-tokens) 을 원본 서브시퀀스로 정확하게 해석하고 분석할 수 있음을 증명합니다.

알고리즘 및 프로세스

1. 계층적 사전 인코딩 알고리즘:
   • 하위 시퀀스 식별: 입력 텍스트에서 반복되는 패턴을 여러 길이 스케일 (최대 길이 $L_{max}$ 에서 최소 길이 2 까지) 로 식별합니다.
   • 토큰 절약 조건 (Token-Savings Optimization): 압축이 실제로 비용 절감 효과를 내는지 판단하는 조건을 적용합니다.
     • 조건: (1 + f) * ntoken(M) + ntoken(S) < f * ntoken(S)
     • 여기서 $f$는 빈도, $M$은 메타 토큰, $S$는 원본 서브시퀀스입니다. 사전 오버헤드가 압축으로 얻는 토큰 절약분을 초과하지 않도록 보장합니다.
   • 중첩 방지: 긴 패턴을 먼저 압축하고, 겹치는 위치를 방지하여 결정론적인 압축을 수행합니다.
2. 배치 단위 처리:
   • 대규모 데이터셋을 LLM 컨텍스트 윈도우에 맞는 배치로 나누고, 각 배치에 최적화된 고유한 사전 (Batch-specific Dictionary) 을 생성하여 처리합니다.
3. LLM 분석:
   • 시스템 프롬프트에 압축된 데이터와 사전 (Dictionary) 을 함께 입력합니다.
   • LLM 은 사전 정의를 기반으로 메타 토큰을 해석하여 원본과 동등한 분석 결과를 생성합니다.

3. 주요 기여 (Key Contributions)

1. 모델 수정 없는 손실 없는 압축 증명: LLM 이 파인튜닝 없이도 컨텍스트 내에서 압축 사전을 학습하고, 압축된 입력에서 원본과 동등한 분석 결과를 도출할 수 있음을 실증했습니다.
2. 계층적 압축 전략 개발: 다양한 길이 스케일의 반복 패턴을 식별하고, 토큰 절약 최적화 기준을 적용하여 사전 오버헤드를 최소화하면서 최대 압축 효율을 달성하는 알고리즘을 제안했습니다.
3. 비용 효율성 및 확장성: API 기반 LLM 에서 즉시 적용 가능하며, 데이터 패턴이 시간에 따라 변하더라도 재학습 없이도 대응할 수 있어 운영 오버헤드가 없습니다.

4. 실험 결과 (Results)

LogHub 2.0 벤치마크 (다양한 시스템 로그 데이터셋) 와 Claude 3.7 Sonnet, Nova Premier 모델을 사용하여 평가했습니다.

• 압축률 (Compression Ratio): 데이터셋 특성에 따라 60% ~ 80% 의 높은 압축률을 달성했습니다.
• 복원 및 분석 정확도:
  • 템플릿 기반 압축: Claude 3.7 Sonnet 에서 **0.99 이상의 완전 일치 (Exact Match)**율을 기록했습니다.
  • 알고리즘 기반 압축: 평균 Levenshtein 유사도 0.91 이상, ROUGE 및 BLEU 점수에서도 높은 성능을 보였습니다.
• 압축률과 성능의 관계:
  • 회귀 분석 결과, 압축률이 유사도 지표 분산의 2% 미만을 설명했습니다.
  • 이는 압축 강도 (Compression Intensity) 가 높다고 해서 LLM 의 분석 능력이 저하되지 않으며, 성능은 데이터셋의 구조적 특성 (예: 자연어 맥락의 유무) 에 더 의존한다는 것을 의미합니다.
• 아웃라이어 분석: HPC 및 Thunderbird 데이터셋은 자연어 맥락이 부족한 순수 알파누메릭 시퀀스라 복원 정확도가 다소 낮았으나, 이는 압축 알고리즘의 한계가 아닌 데이터 특성의 문제임을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 LLM 기반의 반복 데이터 분석에 있어 비용과 정확도의 트레이드오프를 해결하는 실용적인 솔루션을 제공합니다.

• 비용 절감: 60~80% 의 토큰 감소는 API 비용의 직접적인 감소로 이어져, 기존에는 비용 문제로 분석이 불가능했던 대규모 데이터셋의 포괄적 분석을 가능하게 합니다.
• 배포 용이성: 모델 파인튜닝이나 특수 인프라가 필요 없어, 기존 API 기반 LLM 통합 환경에 즉시 적용 가능합니다.
• 적용 범위: 시스템 로그뿐만 아니라 프로세스 마이닝, 소프트웨어 엔지니어링 아티팩트, 템플릿 문서 등 반복적인 텍스트 패턴이 존재하는 모든 도메인에 적용 가능합니다.

결론적으로, 이 논문은 LLM 이 인-컨텍스트 학습을 통해 압축된 데이터를 완벽하게 이해하고 처리할 수 있음을 입증함으로써, 대규모 데이터 분석의 경제적 장벽을 낮추는 중요한 이정표가 되었습니다.