Less is More: Lightweight Prompt Compression for Question Answering Applications on Edge Devices

기술 요약: CORE – 에지 디바이스에서의 QA를 위한 경량 프롬프트 압축 기술

문제 정의
질의응답(QA)을 위한 검색 증강 생성(RAG) 시스템에서, 대규모 언어 모델(LLM)은 종종 "긴 문맥 문제(long-context problem)"를 겪습니다. 검색된 문서들은 종-종 상당한 양의 중복 정보를 포함하고 있으며(흔히 노이즈가 95%를 초과함), 이는 핵심 증거를 희석시키고 응답 정확도를 저하시킬 수 있습니다. 또한, 셀프 어텐션(self-attention) 메커니즘의 이차 복잡도(quadratic complexity)로 인해 긴 프롬프트는 추론 지연 시간과 메모리 사용량을 크게 증가시킵니다. 이는 계산 자원과 문맥 창(context window)이 제한된 에지 디바이스(예: 스마트폰, 자율 주행 차량)에서 특히 치명적입니다.

기존의 프롬프트 압축 방식은 토큰이나 문장의 중요도를 추정하기 위해 보조적인 소형 언어 모델(SLM)에 의존하는 경우가 많습니다. 그러나 이러한 접근 방식은 에지 배포에 있어 과도한 오버헤드를 발생시킵니다:

1. 메모리 오버헤드: SLM(예: 7B 파라미터 모델)은 1424 GB의 VRAM을 요구하며, 이는 소비자용 에지 GPU에서 사용 가능한 816 GB를 훨씬 초과합니다.
2. 지연 시간: SLM에 의한 프롬프트 프리필링(prefilling)은 모바일 기기에서 1분을 초과하는 지연을 유발하여 실시간 QA에 부적합하게 만듭니다.
3. 학습 요구사항: 많은 방식이 대규모 데이터셋에 대한 광범위한 미세 조정(fine-tuning)을 필요로 하며, 이는 자원 집약적이고 에지 시나리오에서는 비현실적입니다.

방법론: CORE (Entity-aware filtering을 통한 문맥 정제)
저자들은 보조적인 SLM 없이 작동하도록 설계된 경량화된 2단계 문장 수준 프롬프트 압축 프레임워크인 CORE를 제안합니다. CORE는 오직 경량 명명 개체 인식(NER) 분류기와 임베딩 모델(총 메모리 약 40 MB)만을 활용합니다.

• 1단계: 후보 필터링 (Candidate Filtering)

  • 정답 집합 구축 (Answer Set Construction): CORE는 사용자 질의를 분석하여, 임베딩 공간 내의 정형 템플릿 질의 세트와 매칭함으로써 "관심 엔티티"(예: 날짜, 위치, 인물)를 식별합니다. 그 후 검색된 문맥을 필터링하여 식별된 엔티티를 적어도 하나 포함하는 문장들로 구성된 정답 집합($C_{ans}$)을 구축합니다.
  • **단서 집합 구축 (Clue Set Construction): 가교 역할을 하는 증거로서, 사용자 질의와 높은 의미적 유사성을 보이는 문맥 문장들을 필터링하여 단서 집합($C_{clue}$)을 동시에 구축합니다.

• 2단계: 증거 정제 (Evidence Refining)

  • 단서 정제 (직교 잔차 검색, Orthogonal Residual Retrieval): 단서 집합 내의 중복성을 해결하기 위해, CORE는 반복적인 직교 벡터 분해 전략을 채택합니다. 이는 질의의 잔차(설명되지 않은 부분)와 의미적 정렬을 최대화하는 단서를 순차적으로 선택합니다. 이때 동적 페널티 계수($\mu_t$)는 선택된 단서가 질의와 후보 정답 사이를 얼마나 잘 연결하는지에 따라 보정되어, 다양한 의미적 커버리지를 보장합니다. 최적의 단서 수($K$)는 유틸리티 점수 곡선상의 "엘보우 방법(elbow method)"을 사용하여 자동으로 결정됩니다.
  • 정답 가지치기 (공간 근접성 지표, Spatial Proximity Metric): 잠재적으로 큰 정답 집합을 필터링하기 위해, CORE는 공간 근접성에 기반한 지표를 도입합니다. 정답 집합 내 각 엔티티의 중요도는 고신뢰도 단서와의 거리를 측정함으로써 계산됩니다. 신뢰할 수 있는 단서의 즉각적인 인근에 위치한 엔티티는 더 높은 점수를 받습니다. 이후 정답 문장들은 구성 엔티티 점수의 합계에 따라 순위가 매겨지고 엄격한 토큰 예산에 맞춰 가지치기됩니다.

주요 기여

1. SLM-Free 아키텍처: CORE는 무거운 보조 SLM의 필요성을 제거하여 메모리 오버헤드를 표준 7B SLM의 약 0.14% 수준으로 줄였으며, 이를 통해 자원이 제한된 에지 디바이스 배포를 가능하게 합니다.
2. 상승적 정제 (Synergistic Refinement): 본 논문은 단서와 정답의 정제를 결합하는 메커니즘을 소개합니다. 직교 잔차 전략을 사용하여 단서를 추출하고 공간 근접성 지표를 사용하여 정답을 검증함으로써, 압축된 문맥이 논리적 일관성과 추론 체인을 유지하도록 보장합니다.
3. 에지 최적화 구현: 이 프레임워크는 모바일 및 에지 하드웨어에 적합한 경량 구성 요소(spaCy NER 및 MiniLM 임베딩)를 활용하여 낮은 지연 시간과 에너지 효율성을 위해 특별히 설계되었습니다.

실험 결과
저자들은 NVIDIA Jetson AGX Orin(로컬 추론)과 Huawei Nova 스마트폰(에지-클라우드 오프로딩)에서 3개의 7B LLM을 사용하여 6개의 LongBench 데이터셋(예: 2WikiMQA, HotpotQA, NarrativeQA)에 대해 CORE를 평가했습니다.

• 정확도: 2000-토큰 예산 내에서, CORE는 기존 SOTA 베이스라인(LLMLingua, LLMLingua-2, LongLLMLingua) 대비 최소 30.19% 향상된 정확도를 보였습니다. 특히 2WikiMQA 데이터셋에서 LLaMA2-7B-chat-4k를 사용했을 때, CORE는 압축되지 않은 베이스라인보다 우수한 성능을 보였습니다.
• 효율성:
  • 메모리: CORE는 베이스라인 대비 메모리 사용량을 최소 50.47% 감소시켰으며, 피크 사용량은 0.7 GB에서 1.7 GB 사이였습니다.
  • 지연 시간: CORE는 LLMLingua-2 대비 압축 지연 시간을 48.52% 단축했으며, 7B SLM을 사용하는 방식 대비 최대 **98.99%**의 속도 향상을 달성했습니다.
  • 에너지: Huawei Nova 스마트폰에서 CORE는 LLMLingua-2 대비 **95.74%**의 에너지 소비 감소를 입증했습니다.
• 강건성: CORE는 엄격한 토큰 예산 제한(최저 500 토큰) 하에서도 우수한 성능을 유지한 반면, 베이스라인들은 상당한 성능 저하를 겪었습니다.

의의 및 주장
본 논문은 CORE가 에지 디바이스에 RAG 기반 QA 에이전트를 배포하는 데 있어 핵심적인 병목 현상을 해결한다고 주장합니다. 무거운 SLM에 대한 의존성을 제거함으로써, CORE는 메모리와 에너지가 부족한 실시간, 모바일 및 산업용 에지 애플 applications에서 프롬프트 압축을 가능하게 합니다. 저자들은 자신들의 방법이 계산 비용을 줄일 뿐만 아니라, 노이즈를 효과적으로 필터링하고 복잡한 추론에 필요한 논리적 체인을 보존함으로써 긴 문맥과 관련된 "중간에서 길을 잃는(lost in the middle)" 현상과 환각 현상을 완화하여 응답 정확도를 높인다는 점을 강조합니다. 이 연구는 차세대 에지 AI 에이전트를 위한 실용적이고 일반화 가능한 솔루션을 제시합니다.