Context Compression Is Not One Thing: Readable Symbolic Re-expression vs. Coherent Summary at Matched Budget

기술 요약: 컨텍스트 압축은 단일한 개념이 아니다

문제 정의
소형 언어 모델(SLM)은 멀티홉 질의응답(QA)에서 심각한 긴장 상태에 직면해 있다. 검색된 자연어(NL) 컨텍스트는 토큰 비용이 많이 들고 긴 지문에서 오류가 누적되기 쉽지만, 짧은 검색 전략은 다단계 추론에 필수적인 "브릿지 엔티티(bridge entities)"를 버릴 위험이 있다. 기존의 컨텍스트 압축 접근 방식은 대개 토큰 수준의 점수 매기기(선택적 유지), 은닉 상태 요약(잠재 공간 압축), 또는 태스크 인지적 추상적 요약에 의존한다. 이러한 방법들은 내용을 버리거나 잠재 표현으로 압축하는 데 치중할 뿐, 표면 텍스트를 더 효율적인 형식으로 재표현하는 데에는 집중하지 못한다.

방법론: 텔레그래프 영어 (Telegraph English, TE)
저자들은 추론 증거를 낮은 토큰 비용으로 보존하도록 설계된 읽기 가능한 기호적 재표현 형식인 **텔레그래프 영어(TE)**를 제안한다.

• 메커니즘: 동결된 인코더 모델(Claude Sonnet 4.6)이 검색된 자연어 지문을 구조화된 형식으로 다시 작성한다. 이 형식에서는 엔티티(entity)는 있는 그대로 보존하며, 연결 역할을 하는 자연어 "조직(tissue)"은 파이프(|)로 구분된 기호 연산자(예: @born, @capital_of)로 대체된다.
• 소비자: 소형 소비자 모델(Qwen-3.5-9B)은 TE 출력을 직접 읽는다. 인코더는 고정된 태스크 불가지론적 프롬프트를 사용하며, 소비자 모델은 별도의 미세 조정(fine-tuning)을 필요로 하지 않는다.
• 실험 설계: 본 연구는 세 가지 멀티홉 벤치마크(MuSiQue, 2Wiki, HotpotQA)에서 TE를 엄격한 일련의 베이스라인과 비교 평가한다:
  1. 매칭된 예산 컨트롤(Matched-Budget Controls): TE의 정확한 행당 토큰 수를 맞추기 위해 크기 조절된 세 가지 "사소한(trivial)" 압축 방법인 문자 수준 밀도 조작, 끝부분 절단, 그리고 무작위 토큰 서브샘플링을 사용한다.
  2. 일관된 산문 비교군(Coherent Prose Comparator): 동일한 인코더에 의해 생성된 요약본을 동일한 토큰 예산으로 절단한 결과물이다.
  3. 랜드마크 베이스라인(Landmark Baselines): 전체 자연어 컨텍스트 및 LLMLingua-2(토큰 점수 기반 베이스라인).
• 가설 검증: 저자들은 TE의 이점이 추론 깊이(hop count)가 깊어질수록 커질 것이라는 사전 등록된 주요 가설을 세웠다. 또한, TE의 이점이 단순히 토큰을 제거하는 것이 아니라 중복성을 압축하는 데서 기인한다는 보조 메커니즘도 테스트했다.

주요 결과

• 매칭된 예산에서의 우월성: TE는 모든 데이터셋에서 세 가지 매칭된 예산의 사소한 컨트롤들을 모두 능가했다. 성능 향상 폭은 +13.6에서 +20.2 F1 포인트 사이였다 (95% 신뢰 구간이 엄격하게 양수임). 이는 캐릭터 밀도, 자연어 꼬리 부분의 불필요성, 또는 무작위 토큰 부분 집합의 충분성 등에 근거한 설명들을 배제한다.
• 일관된 산문과의 비교: 가장 어려운 데이터셋(MuSiQue)에서, TE는 매칭된 예산의 일관된 산문 요약보다 +11.94 F1 포인트 더 높은 성능을 보였다. 저자들은 이를 TE의 더 높은 "엔티티 밀도" 덕분이라고 설명한다. 엄격한 예산 하에서 일관된 산문은 절단 시 중요한 브릿지 엔티티를 탈락시키지만, TE의 기호적 구조는 엔티티를 담은 콘텐츠를 위해 토큰을 확보한다.
• 깊이 상호작용의 무효성(Depth Interaction Null): TE의 이점이 추론 깊이에 따라 증가할 것이라는 사전 등록된 가설은 **무효(null)**로 판명되었다. 통계 분석 결과, 표현 유형과 홉 수 사이의 유의미한 상호작용은 나타나지 않았다 (FDR 교정 후 $p > 0.41$). 이점은 깊이에 따른 스케일링 효과라기보다 일정한 오프셋(constant offset)처럼 보인다. 최소 탐지 가능 효과 크기(minimum-detectable-effect-size) 분석에 따르면, 본 연구는 홉 레벨 간 약 4~5 F1 포인트 정도의 차이를 배제할 수 있는 통계적 검정력을 갖추었으나, 그보다 작은 효과를 zero와 구별할 수는 없었다.
• 교차 아키텍처 복제: 매칭된 예산 메커니즘은 두 번째 소비자 모델군(Mistral-7B)에서도 재현되었으며, 방향성이 일치하는 양의 이득을 얻었으나, 전체 예산 비교는 컨텍스트 창 제한으로 인해 제한적이었다.

의의 및 주장
본 논문은 **읽기 가능한 기호적 재표현(readable symbolic re-expression)**이 단순한 유지(retention)나 잠재 공간 요약과는 구별되는, 독특하고 효과적인 압축 메커니즘임을 주장한다.

• 밀도 논거: 주요 기여는 TE가 매칭된 토큰 예산에서 자연어나 일관된 요약보다 엔티티 콘텐츠를 더 밀도 있게 보존한다는 것을 입증한 데 있다. 연결 조직을 기호 연산자로 대체함으로써, TE는 압축된 컨텍스트 내의 모든 토큰이 엔티티를 담은 정보를 운반하도록 보장한다.
• 메커니즘 격리: 본 연구는 "재표현" 메커니즘을 사소한 압축 전략으로부터 분리하여 고립시켰다. 결과는 TE의 이점이 단순히 토큰 감소 때문이 아니라, 브릿지 엔티티를 있는 그대로 유지하는 특정한 구조적 재포맷팅 덕분임을 시사한다.
• 제한적 범위: 저자들은 '깊이 상호작용 무효' 결과가 TE의 이점이 스케일링 이점이 아닌 일정한 오프셋임을 의미한다고 명시적으로 언급했다. 또한, 프런티어 인코더(Claude Sonnet 4.6)를 사용했기에, 더 작은 인코더가 오라클 엔티티 조건화 없이 유사한 밀도를 달-성할 수 있는지에 대한 의문은 0.8B 모델을 사용한 파일럿 연구를 통해서만 부분적으로 다루어졌다.

결론적으로, 소형 언어 모델에게 컨텍스트 압축은 단일한 작업이 아니다. 재표현의 구체적인 방식(기호적 vs 산문 vs 절단)이 소비자 모델이 사용할 수 있는 정보 밀도를 근본적으로 변화시킨다.