기술 요약: TraceLab: LLM 서빙을 위한 코딩 에이전트 워크로드 특성 분석

문제 정의

Claude Code나 Codex와 같은 에이전틱 대규모 언어 모델(LLM), 특히 코딩 에이전트는 주요 애플리케이션으로 빠르게 부상하고 있지만, 이들을 효율적으로 서빙하는 것은 여전히 큰 과제입니다. 기존의 공개 트레이스 및 벤치마크는 서빙 시스템 분석에 필요한 실제 세계의 일상적인 코딩 에이전트 사용의 구체적인 특성을 포착하지 못합니다.

• 기존 트레이스: Mooncake나 Splitwise와 같은 시스템은 실제 사용자 상호작용을 포착하지만, 전통적인 채팅이나 단일 턴 완결(single-turn completion)에 집중되어 있어, 코딩 에이전트 특유의 장기적 호라이즌(long-horizon) 및 다단계 도구 호출(multi-step, tool-calling) 구조를 반영하지 못합니다.
• 기존 벤치마크: Terminal-Bench나 SWE-bench와 같은 벤치마크는 격리된 작업에 대한 모델의 정확도를 평가합니다. 이들은 서빙 비용과 시스템 동작을 이해하는 데 필수적인 지속적인 세션, 누적된 컨텍스트, 그리고 요청 사이의 인간 중심적 시간 간격(human-paced gaps)과 같은 실제 사용의 다양성을 포착하지 않습니다.

결과적으로, 코딩 에이전트의 독특한 워크로드 패턴에 맞춰 LLM 서빙 시스템을 최적화하기 위한 가이드가 될 데이터가 부족한 상황입니다.

방법론

이러한 격차를 해소하기 위해, 저자들은 대규모 규모의 교차 제공자(cross-provider) 실시간 코딩 에이전트 사용 트레이스를 수집, 정규화 및 분석했습니다.

• 데이터 수집: 이 데이터셋은 8개월 동안 43명의 개발자로부터 수집된 약 4,300개의 세션으로 구성됩니다. 여기에는 약 350,000개의 LLM 단계(steps)와 430,000개의 도구 호출(tool calls)이 포함됩니다.
• 출처: 데이터는 저자들의 일상적인 연구 워크플로우에서 수집되었으며, 20개 이상의 모델 버전에 걸쳐 Claude Code(Anthropic)와 Codex(OpenAI)를 사용했습니다.
• 처리 파이프라인: 저자들은 원시 로그를 추출하고, 이벤트 구조와 토큰 계산(입력을 캐싱된 히스토리를 위한 prefix tokens와 새로운 입력을 위한 append tokens로 분해)을 정규화하며, 식별자를 대체하고 원문 텍스트를 제거하되 토큰 수와 타임스탬프는 유지하는 방식으로 데이터를 익명화하는 파이프라인을 구축했습니다.
• 분석 범위: 본 연구는 거시적 지표(세션 지속 시간, 비용, 컨텍스트 성장), LLM 생성 특성(입력/출력 길이, 타이밍), 도구 호출 동작(지연 시간, 분포), 그리고 프리픽스 캐시 효율성(히트율, 방출 정책)을 분석합니다.

주요 결과

1. 세션 및 컨텍스트 특성

• 자율 루프(Autonomous Loops): 코딩 세션은 대체로 자율적입니다. 전형적인 세션은 요청당 평균 8.8개의 LLM 호출과 10.8개의 도구 호출을 포함합니다. 대부분의 단계는 사용자 주도가 아닌 도구 주도로 시작됩니다.
• 컨텍스트 성장: 컨텍스트는 새로운 입력과 도구 결과가 추가됨에 따라 일반적으로 성장합니다. 그러나 컨텍스트 압축(한계를 준수하기 위해 히스토리를 요약하는 것)은 약 9.7%의 세션에서 발생하며, 주로 컨텍스트 한계 근처에서 도구 주도 단계에 의해 트리거됩니다.
• 비용 구조: 프리픽스 토큰은 신규 입력 가격의 약 1/10 수준으로 청구됨에도 불구하고, 누적된 컨텍스트가 매 단계마다 재재생되기 때문에 전체 비용의 59.5%를 차지하며 비용을 지배합니다. 출력 토큰은 비용의 11.2%만을 차지합니다.
• 시간 분포: 세션은 인간의 "생각하는 시간"(벽시계 시간의 92.3%)에 의해 크게 지배됩니다. 하나의 요청 내에서 도구 실행(59.8%)과 LLM 생성(41.0%)은 응답 시간에 비슷하게 기여합니다.

2. LLM 생성 패턴

• 긴 컨텍스트, 짧은 출력: 전형적인 단계는 방대한 컨텍스트(중앙값 ~119k prefix tokens)를 읽지만, 짧은 출력(중앙값 ~214 tokens)을 생성합니다. 이는 전통적인 추론 워크로드와 대조적입니다.
• 이봉형(Bimodal) 입력 구조: 입력 패턴에는 뚜렷한 분리가 존재합니다. 짧은 프리픽스를 가진 단계(주로 캐시 미스 또는 초기 요청)는 큰 append 토큰을 가지는 반면, 긴 프리픽스를 가진 단계는 매우 작고 점진적인 append 토ken을 가집니다.
• 출력 귀속(Output Attribution): 제공자마다 이전 출력을 처리하는 방식이 다릅니다. Claude와 GPT-5.5는 종종 이전 출력을 새로운 append 토큰으로 다시 전송하는 반면, GPT-5.4는 이를 프리픽스의 일부로 캐싱합니다.
• 디코딩 속도: 정규화된 디코딩 속도는 상당한 편차(CV > 50%)를 보입니다. 긴 컨텍스트는 관찰된 생성 속도를 늦추며, 특히 Codex에서 두드러집니다.

3. 도구 호출 동작

• 헤비 테일 분포(Heavy-Tailed Distribution): 도구 사용은 매우 편향되어 있습니다. 상위 3개 도구(예: Claude의 경우 Bash, Read, Edit; Codex의 경우 exec_command, write_stdin, apply_patch)가 전체 호출의 80% 이상을 차지합니다.
• 지연 시간 편차: 도구 지연 시간은 밀리초 단위에서 시간 단위까지 다양합니다. 1분 이상의 호출은 전체 호출의 약 45%에 불정하지만, 전체 도구 호출 시간의 8592%를 차지합니다.
• 오버헤드: Codex의 경우, 관찰된 엔드 투 엔드 도구 지연 시간은 종종 내부 실행 시간을 초과하며, 스케줄링, 승인 및 런타임 북키핑(bookkeeping)에 기인한 상당한 잔여 오버헤드(평균 1.11초)가 존재합니다.

4. 프리픽스 캐시 효율성

• 높지만 불완전한 히트율: 글로벌 프리픽스 캐시 히트율은 높지만(~95.7%), 미스(miss)의 비용은 큽니다. 대부분의 미스는 인간의 유휴 시간이 캐시 방출 임계값을 초과하는 사용자 주도 단계에서 발생합니다.
• 인간에 의한 미스: 인간의 생각하는 간격이 5분을 초과하면 히트율이 급격히 떨어지며, 1시간이 지나면 거의 모든 단계에서 캐시 미스가 발생합니다.
• 중복 프리필(Redundant Prefill): append 토큰의 약 19%만이 "신선한"(진정으로 새로운) 토큰입니다. 나머지 약 81%는 이론적으로 캐싱될 수 있는 컨텍스트의 중복된 재프리필입니다. 현재 시스템은 이상적인 방출 없는 캐시와 비교했을 때 프리필을 5.3배 증폭시킵니다.
• 비용 영향: 인간의 생각하는 시간으로 인한 캐시 미스를 제거하면 append 프리필을 45.9% 줄이고 총 API 비용을 약 12.8% 절감할 수 있습니다.

핵심 기여

1. TraceLab 데이터셋: 약 4,300개의 세션과 약 35만 개의 LLM 단계를 포함하는, 실제 코딩 에이전트 사용에 대한 최초의 대규모 교차 제공자 트레이스 공개.
2. 워크로드 특성 규명: 코딩 에이전트가 긴 자율 루프, 긴 컨텍스트와 짧은 출력, 헤비 테일 도구 지연 시간 등의 특징을 가지며, 전통적인 채팅이나 완결 워크로드와 근본적으로 다르다는 것을 밝힌 종합적인 분석.
3. 시스템 통찰력: 프리픽스 읽기 비용, 인간의 간격이 캐시 방출에 미치는 영향, 빈번한 도구-LLM 전환 오버헤드 등 현재 서빙 시스템의 구체적인 비효율성 식별.
4. 오픈 리소스: 추가 연구를 촉진하기 위해 데이터셋, 트레이스 수집 파이프라인 및 분석 코드 공개.

의의 및 향후 방향

본 논문은 이러한 특정 워크로드 패턴을 이해하는 것이 코딩 에이전트를 위한 LLM 서빙 시스템을 최적화하는 데 필수적이라고 주장합니다. 연구 결과는 다음과 같은 구체적인 연구 방향을 제시합니다:

• 도구 호출: 스케줄링 지연을 줄이기 위해 더 조밀하거나 융합된 도구 호출 및 낮은 오버헤드의 승인 경로 개발.
• 프리필 최적화: 이봉형 입력 구조를 처리하기 위한 append-길이 인식 프리필 라우팅 및 적응형 커널 선택 구현.
• 캐시 관리: 방출 정책을 위한 시맨틱 인식 도구 지연 시간 예측 설계 및 인간 중심적 간격을 처리하기 위한 더 저렴한 KV-캐시 저장소 또는 프리페칭 전략 탐색.
• 어텐션 메커즘: 긴 프리픽스와 관련된 디코딩 비용을 줄이기 위한 희소 어텐션(sparse attention) 조사.

저자들은 기존 시스템이 에이전트를 위한 서빙 메커니즘을 제공하고 있지만, 코딩 에이전트 워크로드의 고유한 특성(지속적인 컨텍스트, 도구 루프, 인간의 지연)은 전문화된 최적화 전략을 요구한다고 결론짓습니다.