기술적 요약: 확산 기반 대형 언어 모델에서의 프롬프트 압축

문제 제기

프롬프트 압축은 대형 언어 모델 (LLM) 의 추론 비용과 컨텍스트 길이를 줄이기 위한 확립된 기술로, 주로 자기회귀 (AR) 아키텍처 내에서 평가되어 왔습니다. 그러나 이러한 압축 방법론이 **확산 기반 대형 언어 모델 (DLLM)**에 적용될 때의 효과는 아직 largely 탐구되지 않았습니다. 다음 토큰 예측을 통해 순차적으로 텍스트를 생성하는 AR 모델과 달리, DLLM 은 마스킹된 토큰에 대한 양방향 제거 (denoising) 과정을 활용합니다. 이러한 아키텍처적 차이는 중요한 질문을 제기합니다: 순차적 조건부 (sequential conditioning) 를 우선시하도록 설계된 AR 모델용 압축 휴리스틱이, 반복적 역방향 제거 과정에서 프롬프트 정보에 의존하는 확산 모델에서 하위 작업 행동을 유지할 수 있을까요? 구체적으로, AR 중심 압축에 의해 폐기된 토큰들은 DLLM 의 제거 궤적을 안정화하는 데 필수적인 개체, 수치 값, 또는 담화 구조를 인코딩할 수 있습니다.

방법론

본 연구는 LLMLingua-2를 압축 프레임워크로, LLaDA(80 억 파라미터 지시 따르기 확산 기반 대형 언어 모델) 를 대상 모델로 사용하여 프롬프트 압축의 DLLM 전이성을 조사합니다. 실험 설계는 모든 시도에서 동일한 디코딩 설정을 유지함으로써 압축의 효과를 분리합니다.

실험 파이프라인:

1. 데이터셋: 서로 다른 작업 구조를 포괄하기 위해 세 가지 데이터셋을 선정했습니다:
   • GSM8K: 수학적 추론 및 프롬프트 재구성을 위해.
   • DUC2004: 공식 뉴스 스타일 요약을 위해.
   • ShareGPT: 대화형 요약을 위해.
   • 샘플 크기: 데이터셋당 250 개의 프롬프트.
2. 압축: 프롬프트는 약 2 배 압축 비율 (토큰의 약 50% 유지) 로 LLMLingua-2 를 사용하여 압축되었습니다.
3. 평가 조건: 본 연구는 네 가지 행동 설정을 비교했습니다:
   • 원본 프롬프트: $r_{orig} = \text{LLaDA}(p_{orig})$
   • 압축된 프롬프트: $r_{comp} = \text{LLaDA}(p_{comp})$
   • 재구성된 프롬프트: 압축된 프롬프트를 LLaDA 에 다시 입력하여 원본 프롬프트를 재구성 ($\hat{p}_{orig}$) 한 후, 하위 추론을 위해 재평가했습니다 ($\hat{r} = \text{LLaDA}(\hat{p}_{orig})$).
4. 지표:
   • 수학적 추론: 정답에 대한 완전 일치 정확도 및 원본/압축 응답 간의 일관성.
   • 재구성 및 요약: BLEU, ROUGE(1, 2, L), 및 BERTScore(정밀도, 재현율, F1).
   • 하이퍼파라미터: 128 단계 제거, 최대 길이 128, 온도 0.0, 분류기 없는 안내 0.0.

주요 기여

1. DLLM 에 대한 AR 압축의 첫 평가: 본 작업은 프롬프트 압축 방법 (특히 LLMLingua-2) 이 자기회귀 아키텍처에서 확산 아키텍처로 효과적으로 전이되는지에 대한 최초의 경험적 평가를 제공합니다.
2. 의미 보존과 행동 안정성의 분리: 본 연구는 의미적 유사성(BERTScore 로 측정) 과 하위 작업 수행을 구분합니다. 높은 의미적 유사성이 DLLM 에서 안정적인 추론이나 생성을 보장하지 않음을 입증합니다.
3. 작업별 민감도 분석: 연구는 수학적 추론이 요약이나 재구성 작업보다 압축으로 인한 정보 손실에 훨씬 더 민감함을 식별했습니다. 이는 유사한 의미적 유사성 점수에도 불구하고 발생합니다.
4. 실패 모드 진단: BERTScore 정밀도 대 재현율을 분석함으로써, DLLM 에서의 압축 실패는 의미적 편향 (drift) 보다 주로 정보 생략에 의해 주도됨을 확인했습니다.

결과

1. 압축 전이의 아키텍처적 차이

자기회귀 모델과 LLaDA(DLLM) 간의 비교는 상이한 행동을 드러냈습니다:

• 재구성 (GSM8K): AR 모델이 어휘 중첩 (BLEU: 0.55 대 0.26; ROUGE-L: 0.86 대 0.52) 에서 DLLM 보다 우수했습니다. 그러나 두 모델 모두 동일한 BERTScore F1(0.94) 을 달성하여, DLLM 이 표면적 재구성은 약하지만 의미적 의미를 보존함을 나타냈습니다.
• 요약 (DUC2004): DLLM 이 ROUGE-L F1(0.50 대 0.21) 및 BERTScore F1(0.94 대 0.85) 에서 AR 모델을 능가하여, DLLM 이 문구가 다르더라도 콘텐츠 의미를 더 잘 보존함을 시사했습니다.
• 수학 추론 (GSM8K): LLaDA 는 압축된 프롬프트로 더 높은 정확도 (0.356) 를 달성했으나, AR 기준 (0.220) 에 비해 절대적 정확도는 여전히 낮았습니다.

2. 작업별 민감도

• 요약: 압축 하에서 견고하게 유지되었습니다. DUC2004 와 ShareGPT 는 높은 BERTScore F1(각각 0.944 및 0.910) 을 유지하여, 약 46~47% 의 토큰 제거에도 광범위한 의미적 콘텐츠가 보존됨을 나타냈습니다.
• 수학적 추론: 상당한 저하를 보였습니다. 재구성된 프롬프트는 높은 의미적 유사성 (BERTScore F1: 0.936) 을 보였지만, 추론 정확도는 크게 떨어졌습니다.
  • 원본 프롬프트 정확도: 52.0%
  • 압축된 프롬프트 정확도: 35.6%
  • 원본 및 압축 응답 간의 일치: 35.2% 에 불과했습니다.
  • 분할 분석: 가장 큰 결과 그룹 (35.6%) 은 원본과 압축된 프롬프트 모두 서로 다른 잘못된 답변을 생성한 사례로 구성되었습니다. 27.6% 의 사례에서는 원본은 정답이었으나 압축된 프롬프트는 실패했는데, 이는 특정 추론에 필수적인 정보의 손실을 시사합니다.

3. 압축 실패의 본질

모든 작업에서 BERTScore 재현율은 정밀도보다 일관되게 낮았습니다. 이는 압축되거나 재구성된 프롬프트가 관련 없는 정보를 도입 (편향) 하기보다 원본 의미 콘텐츠의 일부를 생략하는 경향이 있음을 나타냅니다. 수학 작업에서 이러한 생략은 안정적인 제거에 필요한 핵심 앵커 (수량, 관계) 를 제거하여, 나머지 텍스트가 의미적으로 일관되어 보일지라도 서로 다른 추론 궤적으로 이어졌습니다.

중요성 및 주장

본 논문은 자기회귀 모델을 위해 설계된 프롬프트 압축 방법론이 확산 기반 대형 언어 모델에 균일하게 전이되지 않는다고 주장합니다.

• 의미 대 행동 안정성: 높은 의미적 유사성 (예: 높은 BERTScore) 은 DLLM 에서 안정적인 하위 행동을 보장하기에 불충분합니다. 반복적 제거 과정은 조건부 정보의 정확한 분포에 매우 민감한 것으로 보이며, 사소한 생략조차도 다른 최종 예측으로 이어질 수 있습니다.
• 작업 의존성: 요약 작업은 토큰 제거에 상대적으로 관대하지만, 수학적 추론은 취약합니다. 이는 DLLM 이 단순한 의미 보존뿐만 아니라 제거 궤적을 안정화하기 위한 정밀한 조건부 단서 (개체, 숫자, 제약 조건) 의 유지도 필요함을 시사합니다.
• 확산 인지 전략의 필요성: 종종 작업 중립적 방식으로 자기회귀적 중요도나 양방향 컨텍스트에 의존하는 현재 압축 휴리스틱은, 순차적 예측에는 중복될 수 있으나 확산 모델의 글로벌 조건부에는 중요한 토큰을 폐기할 수 있습니다. 저자들은 단순한 의미 중첩보다 제거 안정성과 추론에 필수적인 구조의 보존을 우선시하는 확산 인지 압축 전략의 개발을 주장합니다.

본 연구는 확산 기반 아키텍처의 경우 특히 전통적인 의미 중첩 측정치와 함께 행동 일관성 및 추론 안정성 지표를 프롬프트 압축에 대한 미래 평가 프레임워크에 통합해야 한다고 결론지었습니다.