Every Time I Hire a Linguist, Inference Costs Go Down: On Linguistic Rules as Effective Prompt Compressors

기술 요약: "언어학자를 고용할 때마다 추론 비용이 감소한다: 효과적인 프롬프트 압축기로서의 언어적 규칙에 대하여"

1. 문제 정의

대규모 언어 모델(LLM)은 검색 증강 생성(RAG), 멀티 에이전트 통신, 장기 대화와 같은 긴 문맥(long-context) 애플리케이션을 처리할 때 증가하는 추론 비용과 지연 시간 문제에 직면해 있다. 현재의 "하드 프롬프트 압축(hard prompt compression)" 방식들은 가독성을 유지하면서 토큰을 제거하는 데 주력하고 있으나, 주로 토큰의 중요도를 결정하기 위해 언어 모델(LM) 스코어링(예: 퍼플렉시티, 학습된 분류기, 또는 어텐션 기반 신호)에 의존한다. 이러한 접근 방식은 두 가지 결정적인 한계를 가진다:

1. 계산 오버헤드: LM 기반 스코어링은 압축 과정 중에 포워드 패스(forward pass)를 요구하므로, 압축을 통해 의도했던 추론 비용 절감 효과를 상쇄한다.
2. 입도(Granularity) 리스크: 불투명한 모델 점수에 기반한 토큰 단위 선택은 구문론적 의존 관계와 의미론적 일관성을 끊어버릴 위험이 있다.

저자들은 정교한 토큰 단위의 모델 스코어링이 효과적인 압축을 위해 반드시 필요한가라는 의문을 제기하며, 대신 결정론적 언어 규칙(deterministic linguistic rules)—정보가 풍부한 콘텐츠를 식별하기 위해 언어학에서 오랫동안 연구되어 온 것—이 배포 시 LM 포워드 패스를 요구하지 않고도 효과적인 압축기로서 기능할 수 있다고 제안한다.

2. 방법론

본 논문은 명시적인 언어 규칙에 대한 **오프라인 진화 탐색(offline evolutionary search)**을 통해 프롬프트 압축기를 발견하는 프레임워크를 소개한다.

• 시드 구축: 초기 모집단은 네 가지 언어 수준에 걸쳐 결정론적 규칙을 인코딩하는 42개의 "시드(seeds)"로 구성된다:

  • 어휘(Lexical): 내용어와 기능어의 구분, 고유 명사 보존, 단어 빈도(지프의 법칙).
  • 구문(Syntactic): 핵심 인자 삼조(argument triples, 예: 주어-동사-목적어)를 추출하고, 없어도 무방한 하위 트리(예: 관계절, 형용사 수식어)를 제거하기 위한 의존 구조 분석.
  • 의미(Semantic): 부정 표지, 양태 동사, 수량사 및 비교 구문의 보존.
  • 담화(Discourse): 문장 위치, 담화 연결어, 개체 체인(entity chains), 그리고 그래프 기반 문장 순위 지정.
  • 복합(Composite): 여러 수준의 규칙을 체이닝하는 파이프라인.

• 진화 탐색: 저자들은 이 규칙들의 조합 공간을 탐색하기 위해 AlphaEvolve를 변형하여 적용했다.

  • 프로세스: LLM이 압축 로직을 구현하는 파이썬 스크립트를 편집하는 "변이 생성기(mutator)" 역할을 한다. 탐색은 다양성을 유지하기 위해 주기적인 이주(migration)가 포함된 6개의 독립적인 "아일랜드(islands)"에서 수행된다.
  • 평가: 후보군을 평가하기 위해 **이중 경로 프로토콜(dual-path protocol)**을 사용한다:
    1. 직접 경로(Direct Path): 수신 측 LLM이 압축된 텍스트로부터 직접 질문에 답한다.
    2. 재구성 경로(Reconstruction Path): 재구성 LLM이 압축된 텍스트를 다시 산문으로 확장하고, 이를 수신 측 LLM에 입력한다.
  • 적합도 함수(Fitness Function): $f = \min(D, R)$이며, 여기서 $D$는 직접 정확도, $R$은 재구성 정확도이다. 이 보수적인 지표는 압축기가 직접 추론과 충실한 재구성 모두에 충분한 정보를 보유하도록 보장한다.
  • 제약 조건: 탐색은 계산 비용을 관리하기 위해 계층적 필터링 시스템(구문 검사, 거친 QA, 엄격한 QA)을 사용한다. 결정적으로, 최종 진화된 압축기는 전적으로 표준 NLP 파이프라인(예: spaCy)에 의존하며, 배포 시 LM 포워드 패스를 전혀 필요로 하지 않는다.

• 핵심 결과: 진화된 압축기는 네 가지 데이터셋(RACE, Qasper, Multi-doc QA, LongMemEval)에서 1.5×, 2.5×, 4×, 6×의 압축 비율에 대해 8개의 최신 SOTA 베이스라인(예: LLMLingua, PartPrompt, FrugalPrompt)과 비교 평가되었다.

• 성능: 중장문 문서 설정에서, 진화된 언어적 압축기는 최근의 고급 프롬프트 압축 전략들과 유사한 성능을 달ей한다.

  • 경도 및 중등도 압축(1.5×–2.5×) 단계에서 Qasper 및 Multi-doc QA에서 1위 또는 2위를 차지한다.
  • 압축이 공격적(6×)으로 변함에 따라 성능이 저하되는데, 이는 고정된 언어 규칙과 연속적인 LM 스코어링 사이의 입도 차이가 뚜렷해지기 때문이다.
  • RACE(단문 passage)의 경우, 긴 텍스트 패턴에 대한 학습 편향으로 인해 강력한 베이스라인들에 뒤처진다.

• 안정성: RACE와 Multi-doc QA에서 낮은 변동 계수(Coefficient of Variation)를 보이며, 이는 서로 다른 수신측 LLM(Qwen, LLaMA, Gemma)에 걸쳐 견고함을 나타낸다.

• 효율성: 배포된 압축기는 완전히 CPU에서 실행되며 지연 시간이 매우 낮고(예: 입력당 ~8–33 ms), 메모리 점유율도 낮다. 이는 GPU 기반의 LM 추론을 요구하는 베이스라인들과 극명하게 대조된다.

• 제어 가능성: 목표 압축 비율에서 벗어나는 경우가 많은 LM 기반 베이스라인들과 달리, 규칙 기반 접근 방식은 정확한 단어 예산을 강제하여 목표 비율과의 편차를 거의 제로에 가깝게 달성한다.

• 전이 가능성: 진화된 압축기는 재진화 없이도 OOD(Out-of-Distribution) 작업(OOD QA, 요약, 분류)에 일반화되며, 가장 강력한 베이스라인들과 경쟁할 만한 성능을 보여준다.

4. 분석적 통찰

진화적 분석은 효과적인 압축이 어떻게 달성되는지에 대한 뚜렷한 패턴을 드러낸다:

• 교차 수준 융합(Cross-Level Fusion): 가장 우수한 압축기들은 단일 수준에 의존하기보다 어휘, 구문, 의미, 담화 수준의 신호를 일관되게 융합한다.
• 입도의 변화(Granularity Shift): 압축 비율이 높아짐에 따라, 지배적인 압축 단위는 토큰 단위 제거(1.5×)에서 문장 단위 추출(6×)로 이동한다.
• 규칙 진화: 탐색 과정에서 쿼리 인식 매칭(query-aware matching)이나 유의어 치환(synonym substitution)과 같이 최종 조합에서 불필요하다고 판명된 이론적 근거가 있는 규칙들은 제거되는 반면, 고유 명사, 부정어, 담화 연결어와 같은 핵심 신호는 유지된다.

5. 의의 및 주장

본 논문은 세 가지 주요 기여를 주장한다:

1. 프레임링: 불투명하고 LM에 의존적인 스코어링에서 벗어나, 명시적인 언어 규칙을 LLM 가이드 탐색을 통해 진화시킨 최초의 프롬프트 압축 프레임워크 중 하나를 소개한다.
2. 경험적 발견: 규칙 기반 압축기가 많은 장문 문서 설정에서 고급 학습 전략과 대등한 성능을 달성할 수 있음을 입증하며, 계산 효율적인 배포(CPU 전용, 포워드 패스 불필요)와 다양한 모델에 대한 높은 안정성을 제공한다.
3. 분석적 통찰: 효과적인 압축을 위해서는 여러 언어 수준의 융합이 필요하며, 압축 예산이 타이트해짐에 따라 최적의 입도가 토큰에서 문장으로 이동한다는 증거를 제시한다.

저자들은 영어 특화 파서(spaCy)에 대한 의존성, 가능한 모든 언어적 규칙에 대한 철저한 탐색의 부재, 일반 데이터로 학습된 베이스라인들과의 최적화 예산 비대칭성 등의 한계를 인정하며 겸허한 입장을 유지한다. 결론적으로, 언어적 규칙만으로는 극한의 압축 상황에서 학습된 방법들을 보편적으로 압도할 수는 없을지라도, 긴 문맥 애플리케이션을 위한 매우 해석 가능하고 가벼운 대안이 될 수 있다고 밝히고 있다.