기술 요약: 하네스 효과 (The Harness Effect)

1. 문제 정의: 토큰 맥싱(Token Maxing)과 오케스트레이션의 사각지대

본 논문은 엔터프라이즈 에이전트 AI 개발에서 만연한 비효율성인 **토큰 맥싱(token maxing)**을 식별한다. 이는 팀들이 토큰 강도(더 긴 추론 흔적, 더 넓은 도구 페이로드, 전체 이력 재생 등)를 단조적으로 증가시킴으로써 역량을 구매하려 하지만, 토큰당 한계 품질은 오히려 감소하는 개발 궤적을 의미한다. 토큰당 가격은 하락하고 있음에도 불구하고, 에이전트 작업에 대한 "청구서"는 모델의 내부적인 장황함이 아니라, 컨텍스트를 조립하고, 도구 스키마를 관리하며, 턴(turn)을 시퀀싱하는 **오케스트레이션 레이어(하네스)**에 의해 결정되기 때문에 총 지출은 오히려 증가한다.

현재의 효율성 연구는 두 가지 영역에 집중되어 있다:

1. 모델/서빙 측면: 스펙큘레이티브 디코딩(speculative decoding)이나 프롬프트 압축과 같은 기술로 토큰의 가격을 낮추지만, 에이전트가 소비하기로 결정한 토큰의 양 자체를 줄이지는 못한다.
2. 라우팅: 쉬운 작업에 더 저렴한 모델을 선택하는 전략으로, 이는 비용을 지불하는 주체를 바꿀 뿐, 청구서의 규모를 바꾸지는 못한다.

본 논문은 오케스트레이션 레이어가 결정적인 레버라고 주장한다. 이 레이어는 토큰 청구서의 조건(시스템 프롬프트, 이력 재생, 리트리벌 페이로드, 재시도 등)을 제어하며, 현재는 종종 나이브하게 구현되어 에이전트 턴이 증가함에 따라 입력 토큰의 이차적 성장($O(k^2)$)을 초래한다.

2. 방법론: 통제된 하네스 교체 (The Controlled Harness Swap)

오케스트레이션이 모델 성능으로부터 미치는 영향을 격리하기 위해, 저자들은 다음과 같은 설계로 통제된 실험을 수행하였다:

• 변하지 않는 변수: 역량이 검증된 22개의 엔터프라이즈 작업; 6개의 파운데이션 모델 (Claude Sonnet 4.6, Gemini 3.1, Gemini Flash 3.5, Qwen 3.6, GLM 5.1, Palmyra X6); 동일한 평가자(judge) 및 가격표.
• 변수: 오케스트레이션 레이어.
  • 베이스라인: 모놀리식 시스템 프롬프트, 전체 이력 재생, 파괴적 절단(destructive truncation)을 특징으로 하는 기존의 프로덕션 에이전트 루프 (2026-06-07 기준으로 고정).
  • 처치(Treatment): 서브 에이전트 위임, 구조적 압축, 캐시 형태 규율(cache-shape discipline)을 갖춘 모델 불가지론적 오케스트레이션 레이어인 라이터 에이전트 하네스(Writer Agent Harness).
• 측정: 토큰, 비용(고정된 공개 가격표 사용), 실제 실행 시간(wall-clock latency), 그리고 작업 완료 품질에 대한 트레이스 수준의 회계.

3. 주요 기여 및 메커니즘

본 논문은 오케스트레이션 레이어에서의 토큰 경제학을 공식화하며, 하네스를 작업의 가격을 결정하는 구성 요소로 정의한다. 라이터 에이전트 하네스에 구현된 6가지 메커니즘 패밀리는 토큰 청구서를 재작성한다:

1. 캐시 형태 규율 (이중 존 프롬프트): 프롬프트는 바이트 안정적인 접두사(도구 스키마, 시스템 프롬프트, 지속적인 트랜스크립트)와 휘발성 꼬리(turn별 데이터)로 구조적으로 나뉜다. 이를 통해 입력 토큰의 최대 99.9%를 리스트 가격의 약 0.1배로 제공되는 캐시 읽기로 처리하여, 입력 비용의 성장을 이차적 성장에서 선형적 성장으로 전환한다.
2. 구조적, 점진적 압축: 파괴적 절단 대신, 오래된 이력을 유형화된 체크포인트(메모리, 요약, 제약 조건)로 폴딩(folding)하는 동시에 최근 메시지의 라이브 꼬리를 보존한다. 이를 통해 프롬프트를 비대하게 만들지 않고도 컨텍스트 관련성을 유지한다.
3. 컨텍스트 오프로드 (Context Offload): 정보가 컨텍스트 윈도우 안에 있지 않더라도 사용할 수 있도록 유지한다. 여기에는 서브 에이전트를 "컨텍스트 방화벽"(제한된 요약 반환)으로 사용하는 것, 도구 문서의 점진적 공개, 대규모 도구 출력을 프롬프트 대신 파일로 넘기는 것 등이 포함된다.
4. 제로 토큰 대기 (Zero-Token Waiting): 인간의 승인이나 백그라운드 작업은 지속 가능한 중단(suspension) 및 이벤트 재개(resumption)를 통해 처리되어, 토큰을 소비하는 폴링 루프를 제거한다.
5. 실패 지출 거버넌스 (Failure-Spend Governance): 실패를 분류하고 비용이 발생하기 전에 처리한다(예: 부분적인 초안 폐기, 반복되는 실패에 대한 서킷 브레이커 작동). 이는 재시도 및 막다른 경로의 "승수(multiplier)" 효과를 제한한다.
6. 모델 불가지론적 플로어 (Model-Agnostic Floor): 하네스는 프로바이더 스트림을 정규화하고 스키마 위생을 강제하여, 기본 모델의 역량과 관계없이 효율성의 베이스라인을 보장한다.

4. 결과

오케스트레이션 레이어를 교체한 결과, 모델의 강도에 따라 품질은 안정적이거나 개선되면서 모든 모델에서 유의미한 효율성 이득을 얻었다.

• 효율성 이득 (혼합형):
  • 작업당 비용: 41% 감소 ($0.21 →$0.12).
  • 작업당 토큰: 38% 감소 (14.2k → 8.8k).
  • 실제 실행 시간: 44% 감소 (48s → 27s).
  • 달러당 품질: 82% 증가.
  • 백만 토큰당 작업 완료 횟수: 54.9에서 92.0으로 증가 (+68%).
• 모델 불변성: 테스트된 모든 모델에서 33%에서 61% 사이의 비용 절감이 나타났다. 하네스는 모델 선택보다 더 큰 비용 레버였다. 가장 비싼 모델에서 가장 저렴한 모델로 교체했을 때 36%가 절감된 반면, 모델을 유지하면서 하네스를 채택했을 때는 33~61%가 절감되었다.
• 품질 및 하네스 레버리지:
  • 헤드라인 작업 완료 품질은 대등한 수준을 유지했다 (0.78 → 0.81, 방향성 유지).
  • 하네스 레버리지: 하네스로부터 추출된 품질 이득은 베이스라인 모델의 강도와 거의 완벽하게 상관관계를 보였다 ($r = 0.99$). 강력한 모델일수록 하네스 구조를 더 높은 품질로 전환했다. 반면, 약한 모델은 가끔 고급 오케스트레이션 기능(예: 서브 에이전트)에 의해 압도되기도 했다.
  • 역량 플로어 (Capability Floor): 하네스는 새로운 역량(위임된 서브 에이전트)을 가능하게 했으나, 이는 가장 강력한 두 모델에서만 사용 가능한 신뢰도 임계값(0.85–0.86)을 넘었다.

5. 의의 및 주장

본 논문은 하네스가 조직이 운영하는 모든 모델(현재 및 미래의 모델)에 걸쳐 효율성을 배가시키는 유일한 구성 요소라고 주장한다.

• 경제적 전환: 본 논문은 엔터프라이즈 배포에 있어 오케스트레이션 레이어를 최적화하는 것이 모델 선택이나 라우팅을 최적화하는 것보다 더 큰 수익을 가져다준다고 주장한다. 이는 초점을 "토큰으로 역량을 구매하는 것"에서 "더 적은 토큰으로 동일한 작업을 수행하는 것"으로 전환한다.
• 제번스의 역설(Jevons Paradox) 역전: 토큰 가격의 하락이 일반적으로 소비 증가를 초래하지만(제번스 효과), 하네스는 효율성 이득을 소비 성장과 분리할 수 있는 구조적 규율을 제공하여 조직이 토큰 맥싱에서 벗어날 수 있게 한다.
• 일급 객체 (First-Class Object): 본 논문은 하네스가 설계 및 평가의 일급 객체로 취급되어야 하며, 토큰 경제학이 공개된 계약으로서 존재해야 한다고 상정한다. 오케스트레이션 레이어 내에 작업당 회계가 구축되지 않는다면, 토큰 맥싱은 관찰 불가능하고 관리되지 않는 상태로 남게 된다는 점을 강조한다.
• 확장성: 하네스는 모델 API 상위에 위치하므로, 그 효율성 이득은 모델 마이그레이션 및 벤더 변경 전반에 걸쳐 복리로 작용하며, 따라서 모델 특정적 최적화보다 더 지속적인 자산이 된다.

요약하자면, 본 논문은 오케스트레이션 디자인이 에이전트 시스템의 토큰 경제학을 결정하는 주요 요인임을 입증한다. 컨텍스트 조립 및 실패 처리에 대한 구조적 규율을 강제함으로써, 기업은 작업 품질을 희생하지 않고도 상당한 비용 및 지연 시간 감소를 달고 달성할 수 있다.