기술 요약: CAVEWOMAN – 언어적 입력 및 출력 압축에 따른 대규모 언어 모델의 동작 방식

문제 정의

대규모 언어 모델(LLM)의 추론 비용은 입력 및 출력 토큰 수 모두에 따라 규모가 커지며, 일반적으로 출력 토큰은 입력 토큰보다 4~8배 더 비쌉게 책정된다. 프롬프트(입력) 또는 응답(출력)을 줄이기 위한 압축 방법들이 존재하지만, 이들은 전통적으로 단일 지표인 '감소된 토큰 수에서의 작업 정확도'를 사용하여 고립된 상태로 평가된다.

본 논문은 기존 평가 프로토콜의 두 가지 결정적인 결함을 식별한다:

1. 실현된 비용 측정 실패: 짧은 프롬프트가 반드시 전체 추론 비용을 줄여주는 것은 아니다. 모델이 더 긴 응답을 생성함으로써 보상할 수 있기 때문이다.
2. 이진적 정확도 붕괴: 표준 정확도 지표는 생성물을 이진 결과로 축소하여, 압축된 답변이 모델의 제약 없는 추론과 일치하는 것과, 모델의 추론과는 달라졌지만 여전히 "정답"인 것을 구분하지 못한다.

방법론: CAVEWOMAN 프로토콜

저자들은 모든 생성물을 세 가지 축—작업 정확도, 실현된 항목당 비용, 그리고 모델 자신의 제약 없는 생성물에 대한 참조 텍스트 일치도—으로 점수화하도록 설계된 2채널 평가 프로토콜인 CAVEWOMAN을 도입한다.

실험 설계

• 모델: Qwen2.5-VL-7B, Qwen3.5-9B, DeepSeek-R1-Distill-Qwen-7B, Gemma-4-E4B를 포함한 8개의 오픈 웨이트 모델과 GPT-4o, GPT-5.4, Claude Haiku 4.5, Claude Sonnet 4.6을 포함한 API 모델을 평가하였다.
• 데이터셋: 네 가지 작업 유형을 아우르는 5개의 벤치마크: GSM8K (수학), BoolQ (불리언), ARC-Easy (과학 MCQ), CommonsenseQA (상식 MCQ), MMLU-STEM (STEM MCQ).
• 압축 수준: 결정론적 품사(POS) 필터를 사용하여 5단계의 언어적 감소($L_0$ ~ $L_4$)를 적용하였다:
  • $L_0$: 제약 없는 베이스라인.
  • $L_1$: 전보식 (관사, 전치사, 접속사와 같은 폐쇄 분류 단어 제거).
  • $L_2$: 키워드 중심 (명사, 동사, 기수).
  • $L_3$: 명사구 골격 (명사와 기수).
    고정된 15토큰 예산.
• 두 가지 조건:
  • 조건 A (입력 압축): 모델이 보기 전에 사용자 프롬프트를 POS 필터로 필터링한다.
  • 조건 B (출력 제약): 프롬프트는 온전하게 유지되지만, 시스템 프로프트가 모델에게 해당 축약된 레지스터로 응답하도록 지시한다.

평가 지표

1. 작업 정확도: 정규 표현식(Regex)으로 추출된 정답을 정답지와 대조함.
2. 실현된 비용: $C = n_{in} \cdot p_{in} + n_{out} \cdot p_{out}$으로 계산하며, 실제로 발생한 토큰 비용을 측정함.
3. 참조 텍스트 일치도: 동일한 항목에 대한 모델의 제약 없는($L_0$) 생성물에 대한 양방향 자연어 추론(NLI) 함의(entailment)를 통해 측정함. 이는 11개의 보완적인 의미론적 척도로 보강됨.
4. 해리 테이블(Dissociation Table): 작업 정답 여부와 참조 텍스트 일치도를 교차하는 2x2 행렬을 통해, 정답이지만 제약 없는 베이스라인과 의미론적으로 상이한 경우(Cell C2)를 식별함.

주요 결과

1. 채널 간 비용 비대칭성

• 출력 압축 (조건 B): 대부분의 API 모델(모델당 1.4~2.4배 감소, 최선의 경우 최대 3배)과 모든 4개의 오픈 웨이트 모델에서 실현된 비용을 성공적으로 줄인다. 이는 제약이 비싼 출력 토큰을 직접적으로 제한하기 때문이다.
• 입력 압축 (조건 A): "엄격한 패배-패배(strict lose-lose)" 결과를 초래한다. 모델이 탈락된 프롬프트를 재구성하기 위해 더 긴 응답을 생성함으로써 순 비용을 높이기 때문이다(평균 약 1.15배 증가, 특정 데이터셋에서는 최대 1.8배, 깊은 압축 시 2.7배까지 증가). 즉, 입력 토큰의 절감액이 확장된 출력 비용에 의해 상쇄된다.
• 메커니즘: 입력 압축은 "보상적 출력 확장"을 유발하며, 모델이 누락된 맥락을 재구성하려고 시도하게 만들어, 압축이 깊어짐에 따라 정확도가 무너짐에도 불구하고 총 비용은 오히려 높아지게 만든다.

2. 정확도와 참조 텍스트 일치도의 분리

출력 압축 하에서, 작업의 정답 여부와 모델의 내부 추론 궤적 사이의 상당한 괴리가 나타난다:

• 표면 텍스트의 이질성: 비추론형 모델의 경우, 전보식 수준($L_1$)에서의 생성물 중 **51.9%**가 정답이지만 그 표면 텍크스트는 모델의 제약 없는($L_0$) 생성물을 함의하지 않는다.
• 강건성: 이러한 이질성은 길이를 통제(L1 길이에 맞추기 위해 L0 생성물을 재점수화)하더라도 지속되며, 여러 의미론적 지표와 판독기(judge)를 통해서도 확인된다.
• 해석: 모델은 제약을 받을 때 다른 추론 경로를 거치거나 다른 표면 형식을 통해 정답에 도달할 수 있다. 즉, "정답"이라는 사실이 원래의 추론 궤적 보존을 보장하지는 않는다.

3. 모델별 가변적 강건성

• 출력 압축에 대한 강건성(출력 제약 하의 정확도와 입력 제약 하의 정확도 비율)은 모델마다 큰 차이를 보인다 (1.5배에서 3.7배 범위).
• 이러한 강건성은 파라미터 수나 제약 없는 베이스라인 정확도에 의해 예측되지 않는다. 예를 들어, 가장 높은 정확도를 보인 API 모델(GPT-5.4)은 출력 제약에 가장 취약한 모델 중 하나였던 반면, 7B 오픈 웨이트 모델인 Gemma-4-E4B는 가장 높은 강건성을 보였다.

의의 및 주장

본 논문은 압축에 대한 단일 축 평가는 불충분하다고 주장한다. 저자들의 주장은 다음과 같다:

1. 프롬프트 감소로부터 비용을 추론할 수 없다: 실현된 비용은 입력 감소와 출력 확장 사이의 상호작용에 달려 있다.
2. 정확도는 조건부적이다: 관찰된 정확도는 추출 신뢰도와 사용된 특정 의미론적 축에 따라 달라진다.
3. 배포 시 시사점: 최종 답변만을 소비하는 배포의 경우, 출력 압축은 유효한 비용 절감 전략이다. 그러나 감사 추적이나 추론 투명성(생성 텍스트 자체가 소비되는 경우)이 필요한 배포의 경우, 출력 압축은 의미론적 이질성이라는 상당한 위험을 초래한다.
4. 평가 프로토콜: 제약된 환경에서 배포될 후보 모델들은 제약 없는 베이스라인 성능이 아니라, 그들이 직면할 특정 제약 수준에서의 성능을 기준으로 순위를 매겨야 한다.

연구는 LLM 추론을 압축하는 것이 입력과 출력 압축이 근본적으로 다른 경제적 및 의미론적 결과를 낳는 두 채널의 문제이며, 따라서 CAVEWOMAN과 같은 다중 지표 평가 프로토콜이 필요하다고 결론짓는다.