Large Language Model as Token Compressor and Decompressor

논문 요약: 대형 언어 모델 (LLM) 을 토큰 압축기 및 해제기로 활용

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 다양한 분야에서 뛰어난 성과를 거두었지만, 긴 문맥 (Long Context) 을 처리하는 능력은 근본적인 한계에 직면해 있습니다.

• 계산 복잡도: 어텐션 (Attention) 메커니즘의 이차적 복잡도 ($O(N^2)$) 로 인해 시퀀스 길이가 수만~수십만 토큰으로 늘어날 경우, 메모리 및 계산 오버헤드가 기하급수적으로 증가하여 대규모 추론이나 긴 문서 이해가 비현실적으로 비용이 많이 듭니다.
• 기존 방법론의 한계:
  • 휴리스틱 기반: 유사도 기반 병합이나 어텐션 기반 가지치기 등은 불필요한 토큰을 제거하지만, 담화적 의미나 화용론적 의미를 잃을 수 있어 복원이 어렵습니다.
  • 학습 기반 임베딩: AutoCompressor, ICAE 등은 고정된 길이의 연속적인 (continuous) 잠재 벡터를 생성합니다. 이는 해석이 어렵고 (불투명), 고정된 압축 비율로 인해 정보 밀도에 따른 적응이 불가능하며, 원본 텍스트의 충실한 재구성이 어렵습니다.

2. 방법론 (Methodology)

저자는 오프더셸 (off-the-shelf) LLM 을 **토큰 압축기 (Compressor)**와 **해제기 (Decompressor)**로 동시에 활용하는 새로운 프레임워크를 제안합니다. 이 방법은 LLM 이 스스로의 '내부 언어 (Z-tokens)'를 학습하여 텍스트를 압축하고 복원하는 자기 표현적 오토인코딩 (Self-expressive Autoencoding) 학습 패러다임에 기반합니다.

• Z-tokens (잠재 토큰):

  • 입력 텍스트 $X$를 LLM 압축기를 통해 **가변 길이 (Variable-length)**의 이산적 (discrete) 인 잠재 코드 $Z$로 변환합니다.
  • 내용 적응형 (Content-adaptive): 의미적으로 밀도가 높은 구간에는 더 많은 Z-tokens 을 할당하고, 중복되거나 예측 가능한 구간은 강력하게 압축합니다.
  • LoRA 기반: 경량화된 LoRA 어댑터 헤드를 사용하여 사전 학습된 LLM 을 미세 조정합니다.

• 학습 프레임워크:

  1. 압축기 (Compressor): 입력 텍스트를 Z-tokens 시퀀스로 매핑합니다. Gumbel-Softmax 추정기를 사용하여 이산적인 토큰을 샘플링하면서도 미분 가능한 그래디언트 흐름을 유지합니다.
  2. 해제기 (Decompressor): Z-tokens 을 다시 원본 텍스트 (Reconstructor) 나 하위 작업 결과 (Inferencer) 로 변환합니다.
     • 어휘 제약: 해제기는 사전 학습된 LLM 의 원래 어휘 ($V_{base}$) 만 사용하여 출력을 생성하도록 제한됩니다. 이는 추상적인 Z-tokens 를 인간이 이해할 수 있는 자연어로 변환하는 역할을 합니다.
     • Schedule Sampling: Teacher Forcing 의 노출 편향 (Exposure Bias) 을 완화하기 위해 학습 중에는 정답과 모델의 이전 출력을 혼합하여 학습합니다.

• 사용 모드:

  1. 해제기로서의 추론 (Inferencer): 압축된 Z-tokens 을 직접 하위 작업 (요약, QA 등) 에 입력하여 추론 수행.
  2. 해제기로서의 재구성 (Reconstructor): Z-token 공간에서 별도의 추론 모듈이 작동한 후, 해제기를 통해 최종 결과를 토큰 수준으로 복원.

• 슬라이딩 윈도우: 긴 텍스트 처리를 위해 입력을 오버랩되는 윈도우로 분할하고, 인접한 윈도우 간의 일관성 제약 (Consistency Constraint) 을 적용하여 의미적 연속성을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 통찰: LLM 이 단순한 통계적 모델이 아닌, 강력한 의미 추상화 및 개념 증류 엔진임을 증명하고, 이를 압축과 해제에 활용하는 방법을 제시했습니다.
2. 가변 길이 이산 표현 (Z-tokens): 고정된 임베딩 벡터가 아닌, LLM 의 어휘 집합 내에서 학습된 이산적 토큰을 사용하여 **해석 가능 (Interpretable)**하고 제어 가능한 압축을 실현했습니다.
3. Z-token 의 다의성 (Polysemy) 분석: 동일한 Z-token 이 문맥에 따라 다른 의미로 해석될 수 있음을 발견하고, 이것이 무질서한 것이 아니라 구조화된 '개념 기반' 다의성임을 실험적으로 입증했습니다.
4. 효율적인 추론: 압축된 공간 ($O(K^2)$) 에서 추론을 수행함으로써 기존 방법 ($O(N^2)$) 대비 계산 및 메모리 효율성을 극대화했습니다.

4. 실험 결과 (Results)

Wikipedia, CNN/DailyMail, HotpotQA, QuALITY 등 6 개의 대규모 데이터셋에서 광범위한 실험을 수행했습니다.

• 압축률 및 재구성 품질:
  • Wikipedia 데이터셋에서 최대 18 배의 토큰 감소 (실제 평균 5~9 배) 를 달성하면서도 BLEU-4 점수가 99.31(4 배 압축 시) 로 매우 높은 재구성 정확도를 유지했습니다.
  • 기존 방법 (ICAE, AutoCompressor, Gist Token) 보다 재구성 및 연속 작성 (Continuation) 작업에서 더 낮은 퍼플렉시티 (PPL) 와 높은 BLEU 점수를 기록했습니다.
• 하위 작업 성능:
  • 요약 (Summarization): CNN/DailyMail 에서 ROUGE 점수를 유지하거나 향상시키면서 추론 시간을 2 배 단축했습니다.
  • 긴 문맥 질문 답변 (Long-text QA): HotpotQA, QuALITY 등 다중 홉 추론이 필요한 작업에서 SOTA 성능을 달성했습니다.
• 효율성:
  • 추론 속도: 최대 4.6 배의 속도 향상.
  • 메모리 사용량: 상당한 감소 (예: 8x1024 입력 기준 2.81GB → 2.04GB).
  • 슬라이딩 윈도우: 긴 문서를 처리할 때 전체 문서를 한 번에 넣는 베이스라인과 유사한 성능을 유지하면서 메모리 효율성을 확보했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 이 긴 문맥을 처리할 때 발생하는 계산 병목 현상을 해결하기 위해, LLM 이 스스로의 '짧은 언어 (Z-tokens)'를 사용하여 추론을 수행하는 방식을 제안했습니다.

• 해석 가능성: 기존 학습 기반 압축 방법들이 블랙박스인 연속 벡터를 사용하는 것과 달리, 이산적인 토큰을 사용하여 압축된 내용을 해석하고 제어할 수 있게 했습니다.
• 확장성: 가변 길이 압축과 슬라이딩 윈도우를 통해 수만 토큰 이상의超长文맥을 효율적으로 처리할 수 있는 경로를 제시했습니다.
• 미래 방향: 윈도우 간 전역적 Z-token 조정 메커니즘 설계와 작업 인식형 (Task-aware) 압축 과정 개발이 향후 연구 과제로 제시되었습니다.

결론적으로, 이 연구는 텍스트 압축을 단순한 데이터 크기 축소가 아닌, **의미 증류 (Semantic Distillation)**의 과정으로 재정의하며, 토큰 효율적인 장기 문맥 추론을 위한 새로운 패러다임을 제시합니다.