기술 요약: 토큰 감소는 비용 감소가 아니다

문제 정의

API 기반 코딩 에이전트(예: Claude Code, SWE-agent)는 도구를 반복적으로 호출하고 그 결과로 생성된 텍스트를 대규모 언어 모델(LLM)에 다시 입력하는 방식으로 작동한다. 이 과정은 끊임없이 커지는 컨텍스트 창을 생성한다. 비용 관리를 위해 업계에서는 명령 출력 압축기, 검색 랭커, API 경계 프록시와 같은 "컨텍스트 감소 레이어"를 개발해 왔다.

이러한 레이어를 평가하는 데 있어 업계의 지배적인 지표는 토큰 감소(예: 압축률, 제거된 토큰 수)이다. 본 논문은 토큰 감소가 실무자들이 실제로 관심을 갖는 지표인 성공적인 작업 완료당 프로바이더 청구 비용을 나타내는 불완전하고 종종 오해를 불러일으키는 대리 지표라고 주장한다. 저자들은 컨텍스트를 줄이는 것이 다음 세 가지 메커니즘으로 인해 비용을 선형적으로 줄이지 못한다고 상정한다:

1. 캐시 경제학(Cache Economics): 현대의 프로바이더들은 캐싱된 컨텍스트에 대해 대폭 할인된 요율로 청구한다. 이미 캐싱되었거나 캐싱될 프롬프트에서 텍스트를 제거하는 것은 원시 토큰 수가 시사하는 것보다 훨씬 적은 비용을 절감한다.
2. 궤적 피드백 루프(Trajectory Feedback Loops): 만약 압축이 모델이 나중에 필요로 할 컨텍스트를 제거한다면, 에이전트는 파일을 다시 읽거나 다시 검색하는 등의 추가적인 진단 턴(turn)을 시작할 수 있다. 이러한 추가된 턴은 전체 컨텍스트 접두사를 다시 전송하게 되어 초기 절감 효과를 상쇄한다.
3. 다운스트림 손상(Downstream Corruption): 압축은 비모델 소비자(예: raw grep 출력을 기대하는 셸 파이프라인)에게 필요한 데이터 형식을 손상시켜, 침묵하는 실패나 잘못된 답변을 초래할 수 있다.

방법론

본 연구는 2,908회의 프로바이더 청구 실행(2,848회 분석됨)을 대상으로 사전에 지정되고 해시로 고정된 쌍을 이룬 캠페인을 기반으로 하며, 이는 103개의 작업, 7개의 저장소, 3개의 모델(Claude Haiku 4.5, Sonnet 5, Opus 4.8)에 걸쳐 수행되었다. 총 측정된 지출액은 약 $643였으며, 추가로 8,263개의 제로 추론 비용 컴포넌트 평가가 포함되었다.

실험 설계

• 실험군(Arms): 본 연구는 베이스라인(압축 없음)과 세 가지 최적화 레이어를 비교했다:
  1. RTK: CLI 프록시를 통해 셸 명령을 재작성하는 배포된 결정론적 훅 기반 레이어.
  2. RTK-ML: RTK 위에 9가지 플래그 게이트 기능(쿼리 전파, 검색 라우팅, 어휘/임베딩 스코어링, 구조적 검색 등)을 추가한 아키텍처.
  3. Headroom: 인플라이트(in-flight) 방식으로 페이로드를 최적화하는 API 경계 프록시(하네스에는 블랙박스로 작용).
• 페어링(Pairing): 모든 실험군이 동일한 작업의 신선한 작업 복사본에서 실행되도록 블록 단위로 실행되었으며, 편향을 완화하기 위해 순서가 무작위로 지정되었다.
• 지표: 주요 지표는 **성공적 실행당 비용(CPS)**으로, 이는 총 청구 비용을 성공적인 실행 횟수로 나눈 값이다. 또한 궤적 길이(turns), 성공률, 그리고 4가지 구성 요소 비용 분해를 추적했다.
• 비용 모델: 저자들은 프로바이더 사용 필드와 표준 가격을 사용하여 청구 비용을 재구성하였으며, 이를 (1) 미캐싱 입력, (2) 캐시 생성, (3) 캐시 읽기, (4) 생성된 출력으로 분해하였다.

추가 연구

• 단일 샷 근거 연구(Single-Shot Grounded Study): SWE-bench 유래 Go 작업에 대한 별도의 프로그램에서 압축이 "버바팀 편집 앵커(verbatim edit anchors)"(SEARCH/REPLACE 패치에 필요한 바이트 단위의 정확한 컨텍스트)에 미치는 영향을 테스트했다.
• 장기 세션 캠페인(Long-Session Campaign): 대규모 합성 저장소에 대한 529개 세션의 별도 계보를 통해 장기적 효과를 관찰했다.

주요 결과

1. 비용 구조: 캐시 지배력

연구 결과 프롬프트 캐시 트래픽이 비용 구성의 대부분을 차지함이 드러났다.

• 캐시 생성 및 읽기는 재구성된 4개 구성 요소 비용의 약 **87%**를 차지했다(실제 청구액의 약 80%).
• 생성된 출력(모델의 응답)은 약 10%만을 차지했다.
• 미캐싱 입력은 미미했다(~1.3%).
• 표준 모델에 의해 할당되지 않은 명시적으로 정량화된 8.7%의 달러 가중 잔여값이 존재했는데, 이는 Haiku 4.5에서 "thinking-effort" 설정에 따라 스케일링되었으며, 이는 사고(thinking) 비용이 표준 출력 필드가 아닌 잔여값에 포함되어 있음을 시사한다.

시사점: 도구 출력 토큰을 제거하는 것은 이미 캐싱되었거나 캐싱될 예정인 텍스트를 제거하는 경우가 많다. 따라서 원시 도구 출력 토큰의 38%를 줄이는 것이 반드시 38%의 비용 감소로 이어지지는 않는다.

2. 토큰 감소와 비용 감소의 디커플링(Decoupling)

연구는 토큰 감소와 비용 감소가 서로 분리되어 있다는 직접적인 증거를 제공한다.

• RTK-ML 실험군은 추정 원시 도구 출력 토큰을 38.4% 감소시켰다.
• 그러나 이 실험군은 베이스라인 대비 +6.8%의 쌍을 이룬 비용 증가(95% CI [+2.8, +11.3])를 초래했다.
• 태스크당 토큰 감소는 청구 비용 변화의 약한 예측 변수였다(Pearson r = 0.15).
• Headroom(API 프록시)은 성공률의 통계적으로 유의미한 이득 없이 **+48.4%**라는 막대한 비용 페널티를 발생시켰다.

3. 압축은 작업 완수를 저해할 수 있음

Go 작업에 대한 단일 샷 근거 완료 연구에서:

• 공격적인 압축은 패치 적용에 필요한 **버바팀 편집 앵커(verbatim edit anchors)**를 파괴했다.
• 패치 적용률이 27/40(원시 상태)에서 15/40(압축 상태)으로 떨어졌다.
• 압축된 실험군이 시도당 비용은 낮았지만, **해결된 행당 비용(cost per resolved row)**은 더 높았다($0.515 vs. $0.248). 이는 성공률이 급락했기 때문이다.
• 바이트 단위의 정확한 근거(raw context windows)를 제공하는 것이 해결률을 크게 향상시킨 반면, 압축은 이를 저하시켰다.

4. 이질성 및 궤적 효과

• 궤적 길이: 비용은 턴(turn)의 수에 따라 증가한다. (복구 루프나 재읽기로 인해) 턴을 추가하는 모든 레이어는 전체 캐시된 접두사를 다시 전송하는 비용을 극복해야 한다.
• 모델/노력 민감도: 결과는 모델과 노력 수준에 따라 달랐다. 예를 들어, RTK-ML은 고난도 Haiku 작업에서는 비용 증가를 보였으나 다른 작업에서는 절감을 보여, 보편적인 "약한 모델에서의 승리"는 없음을 나타냈다.
• 태스크 패밀리: 절감 효과는 이질적이었다. RTK는 의존성 추적에서는 절감을 보였으나 의미론적 검색에서는 비용을 증가시켰다.

기여

1. 교정된 비용 구조(Calibrated Cost Anatomy): 캐시 트래픽(생성 + 읽기)이 재구성된 비용의 ~87%를 구성한다는 4개 구성 요소 분해를 통해, 원시 토큰 수에 집중하는 기존 방식에 도전했다.
2. 대규모 쌍 비교 증거: 거의 3,000회의 실행에 걸친 엄격한 프로바이더 청구 기반 비교를 통해, 토큰 감소가 비용 감소를 예측하지 못함을 입증했다.
3. 실패 모드 문서화: 압축이 셸 파이프라인을 손상시키고 편집 앵커를 파괴하여 패치 적용 실패를 유도하는 구체적인 실패 모드를 식정했다.
4. 계층적 증거 분류 체계: 구성 요소 수준의 지표(L1-L2)에서 성공 조정 청구 비용(L7)으로 이동하는, 토큰 효율성 주장을 평가하기 위한 새로운 표준을 제안했다.

의의 및 주장

본 논문은 "제거된 토큰"에 초점을 맞춘 업계의 관점이 적극적으로 오해를 불러일으킨다고 주장한다. 저자들은 토큰 감소가 곧 비용 감소는 아니다라고 단언한다.

• "공짜 점심"의 신화: 본 연구는 압축이 트레이드오프 없이 비용을 유의미하게 낮춘다는 "공짜 점심"의 증거를 찾지 못했다. 많은 경우(RTK-ML, Headroom)에 압축은 오히려 비용을 증가시켰다.
• 의사결정 등급 지표: 저자들은 에이전트 최적화 레이어를 평가하기 위한 유일한 의사결정 등급 지표로 **성공 조정 청구 비용(Success-Adjusted Billed Cost, 성공적 실행당 비용)**을 제안한다.
• 한계점: 본 논문은 일반화 가능성에 대해 겸허한 태도를 취한다. 단일 샷 근거 연구는 규모가 작고 Go 작업 및 SEARCH/REPLACE 형식에 특화되어 있다. 장기 세션 결과는 다른 바이너리 계보에서 나온 것이다. 그러나 캐시 경제학과 궤적 피드백 루프가 토큰 수와 비용을 분리한다는 핵심 발견은 권위 있는 캠페인으로부터 도출된 견고하고 경험적인 사실로서 제시된다.

저자들은 결론적으로, 실무자들이 구성 요소 수준의 압축률이 아닌 엔드 투 엔드 성공 조정 비용을 기준으로 최적화 레이어를 평가해야 한다고 주장한다. 왜냐하면 후자는 프롬프트 캐싱의 복잡한 경제학과 자율 에이전트의 행동 피드백 루프를 반영하지 못하기 때문이다.