🤖 machine learning

AOSpec: Action and Observation Co-Speculation for Low-Latency Agent Serving

AOSpec은 기대값 디코딩(Expected Value Decoding)과 결합 행동-상태 검증(Joint Action-State Verification)을 통해 행동과 관측을 공동 추측함으로써 에이전트 서빙 지연 시간을 줄이는 무손실 프레임워크이며, 이를 통해 룩어헤드-정확도 트레이드오프를 극복하고 다양한 벤치마크에서 상당한 엔드 투 엔드 지연 시간 감소를 달성합니다.

원저자: Hao Mark Chen, Jinnan Guo, Wayne Luk, Hongxiang Fan

게시일 2026-08-04

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Hao Mark Chen, Jinnan Guo, Wayne Luk, Hongxiang Fan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대한 고속 오케스트라의 지휘자라고 상상해 보십시오. 이 오케스트라의 연주자들은 매우 똑똑한 컴퓨터(대규모 언어 모델, LLM)이며, 무대는 도구, 파일, 프로그램들로 가득 찬 복잡하고 살아있는 세계입니다. 이 디지털 교향곡에서 컴퓨터는 하나의 음표(행동)를 생각하고, 그러면 무대가 그 음표를 실제로 연주해야 하며(도구 실행), 그 후에야 컴퓨터는 결과를 듣고 다음 음표를 결정할 수 있습니다. 오랫동안 이 과정은 엄격한 이어달리기와 같았습니다. 컴퓨터는 무대가 음표를 연주하는 동안 침묵 속에서 기다려야 했고, 그 후에야 다음 것을 생각할 수 있었습니다. 컴퓨터가 생각하는 속도가 빨라짐에 따라, 무대가 음표를 연주하기 위해 기다리는 시간이 병목 현상이 되어 전체 공연을 늦추게 되었습니다. 과학자들은 다음 음표를 미리 예측하거나(행동 추측) 소리가 어떻게 날지 미리 짐작함으로써(관찰 추측) 이를 해결하려 노력했지만, 이러한 단독 추측은 무대가 예측 불가능하기 때문에 자주 실패했으며, 일련의 음표 전체를 통째로 추측하는 것은 대개 불협화음과 오류를 초래했습니다.

이 논문은 AOSpec(Action and Observation Co-Speculation, 행동 및 관찰 공동 추측)이라는 새로운 지휘 기술을 소개합니다. 단 하나만을 추측하는 대신, AOSpec은 영리하고 병렬적인 리허설을 실행하여 다음 움직임과 그 결과로 나타날 소리를 동시에 추측하되, 안전망을 갖춥니다. 이 시스템은 가장 느리고 시간이 많이 걸리는 부분에 집중하도록 스마트한 전략을 사용하며, 위험한 시도를 하더라도 실제 무대를 망치지 않도록 "안전 구역"(격리된 샌드박스)을 설정합니다. 만약 추측이 맞으면 공연은 즉시 진행됩니다. 만약 틀리면 리허설은 조용히 폐기되고, 실제 공연은 아무런 차질 없이 계속됩니다. 저자들은 다양한 복잡한 작업에서 이를 측정했으며, 이 방법이 전체 대기 시간을 평균적으로 최대 32.5%까지 줄일 수 있고, 가장 느리고 답답한 지연 시간의 경우 거의 43%까지 단축하여 디지털 오케스트라가 박자를 놓치지 않으면서도 훨씬 빠르게 연주할 수 있게 한다는 것을 발견했습니다.

문제점: 기다림의 게임

당신이 천재적인 전략가 캐릭터가 등장하는 비디오 게임을 하고 있다고 상상해 보십시오. 당신이 "보물 상자를 열어라"와 같은 명령을 입력할 때마다, 당신의 캐릭터는 상자가 실제로 열리고, 그 안에 무엇이 있는지 확인하고, 당신에게 금을 보여줄 때까지 생각을 멈추고 게임 엔진이 이를 수행하기를 기다려야 합니다. 만약 상자를 여는 데 10초가 걸린다면, 당신의 캐릭터는 10초 동안 아무것도 하지 못한 채 가만히 앉아 있게 됩니다.

컴퓨터 칩이 빨라짐에 따라, 당신의 캐릭터는 밀리초 단위로 생각하기 시작합니다. 하지만 상자를 여는 것(도구 실행)은 여전히 몇 초가 걸립니다. 이는 좌절스러운 간극을 만듭니다. 생각하는 주체는 번개처럼 빠르지만, 실행하는 주체는 느립니다. 논문은 대부분의 대기 시간이 거대한 금고를 여는 것과 같이 아주 느린 몇 가지 행동에서 발생한다고 지적합니다. 기존 방식은 시간을 아끼기 위해 다음 명령을 예측하려고 시도했지만, 어떤 결과(예: 상자 안의 내용물)는 실제로 상자를 열어보기 전에는 예측할 수 없다는 사실을 고려하지 못했기 때문에 종종 잘못된 예측을 했습니다.

해결책: "안전한 리허설" 전략

임페리얼 칼리지 런던(Imperial College London)의 연구진은 이를 해결하기 위해 AOSpec이라는 시스템을 구축했습니다. 이것은 마치 배우가 장면을 끝내기를 기다렸다가 다음 장면을 계획하는 것이 아니라, 병렬 우주에서 "안전한 리허설"을 돌리는 감독과 같습니다.

세 가지 주요 기법은 다음과 같이 작동합니다.

스마트한 도박사 (기댓값 디코딩, Expected Value Decoding):
모든 추측이 동일한 가치를 지니는 것은 아닙니다. 빠른 "안녕" 명령의 결과를 추측하는 것은 쉽지만 시간 절약 효과가 미미합니다. 반면 "영화 다운로드" 명령의 결과를 추측하는 것은 어렵지만, 만약 맞춘다면 엄청난 양의 대기 시간을 아낄 수 있습니다. AOSpec은 **기댓값 디코딩(EVD)**이라는 방법을 사용합니다. 단순히 가장 확률이 높은 결과를 추측하는 대신, 가장 큰 시간 절약을 제공할 수 있는 결과를 추측합니다. 이는 작은 수익의 안전한 베팅을 무시하고 오직 고수익 고위험 움직임에 집중하는 도박사와 같습니다. 추측이 맞으면 시스템은 기다림을 완전히 건너뜁니다.
안전한 샌드박스 (격리된 포크, Isolated Forks):
어떤 것들은 결코 추측할 수 없습니다. 파일이 손상되었는지 또는 서버가 다운되었는지는 실제로 파일을 열어보기 전까지는 알 수 없습니다. 이를 처리하기 위해 AOSpec은 "안전한 샌드박스" 또는 병렬 우주를 생성합니다. 위험한 행동(파일 열기 등)을 이 격리된 세계의 복사본에서 실행합니다. 만약 행동이 잘못되었다면 샌드박스는 그냥 버려지며 실제 세계에는 아무런 영향을 주지 않습니다. 만약 행동이 옳다면, 시스템은 그 결과를 즉시 가져와 사용합니다. 이를 통해 시스템은 실제 공연을 망칠 위험 없이 위험하거나 느린 행동을 "미리 실행"할 수 있습니다.
이중 확인 (결합 행동-상태 검증, Joint Action–State Verification):
긴 미래의 행동 사슬을 통째로 추측할 때 발생하는 가장 큰 문제는, 단 하나의 작은 실수가 전체 사슬을 망친다는 것입니다. 만약 단계 1, 2, 3을 추측했는데 단계 2가 틀렸다면, 단계 1과 3은 쓸모없게 됩니다. AOSpec은 이 방식을 피하기 위해 전체 사슬을 추측하는 대신, 가장 많은 시간을 아껴줄 대상 행동만을 추측하고 샌드박스의 "시작 상태"가 실제 세계와 일치하는지 확인합니다. 이는 배우가 무대에 오르기 전에 무대 설정이 제대로 되었는지 확인하는 것과 같습니다. 무대가 일치한다면, 미리 실행된 행동은 유효합니다. 그렇지 않다면 시스템은 추측을 버리고 새로 시작합니다. 이를 통해 시스템은 모든 단계 사이에 완벽한 수정구슬이 없어도 훨씬 앞을 내다볼 수 있게 하여, "정확도와 속도" 사이의 트레이드오프를 극복합니다.

연구 결과

연구진은 다양한 AI 모델과 속도를 사용하여 코딩 퍼즐 해결부터 복잡한 컴퓨터 시스템 관리까지 광범위한 작업에서 AOSpec을 테스트했습니다. 그들은 행동만을 추측하거나 관찰만을 추측하는 기존 기술들과 비교했습니다.

결과는 명확했습니다:

속도 향상: AOSpec은 작업 완료에 걸리는 총 시간을 평균 **11.8%에서 32.5%**까지 단축했습니다.
최악의 순간 해결: 가장 큰 성과는 "테일 레이턴시(tail latency)", 즉 가장 느리고 답답한 지연 시간에서 나타났습니다. 가장 느린 하위 1%의 작업(p99)에서 AOSpec은 대기 시간을 최대 **42.8%**까지 줄였습니다.
고속 환경에서의 성능: AI의 사고 속도가 빨라질수록(단어당 20밀리초에서 1밀리초로) AOSpec의 이점은 더욱 커졌습니다. AI가 더 빨리 생각할수록 도구를 기다리는 데 낭비되는 시간이 많아지는데, AOSpec은 그 기다리는 시간을 숨기는 데 최적화되어 있기 때문입니다.
재학습 불필요: 이 시스템은 재학습 없이도 완전히 새로운 작업 세트(SWE-bench)에서 동일하게 잘 작동하여, 이 방법이 견고하고 일반적임을 보여주었습니다.

왜 중요한가

이 논문은 빠른 AI 에이전트의 미래가 단순히 AI를 더 빨리 생각하게 만드는 것뿐만 아니라, '생각하고 실행하는 전체 루프'를 얼마나 더 효율적으로 만드느냐에 달려 있음을 시사합니다. 스마트한 추측과 안전한 병렬 테스트를 결합함으로써, AOSpec은 AI 에이전트의 "대기실" 시간을 숨길 수 있음을 보여주며, 무거운 작업을 수행할 때도 즉각적이고 반응성이 뛰어나게 느껴지도록 만듭니다. 이는 적절한 안전망이 있다면 속도와 정확도 중 하나를 선택할 필요 없이 둘 다 가질 수 있다는 것을 증명합니다.

기술 요약: AOSpec – 저지연 에이전트 서빙을 위한 액션 및 관찰 공동 투기(Co-Speculation)

1. 문제 정의

대규모 언어 모델(LLM) 에이전트는 점진적으로 변화하는 런타임 환경을 조사하거나 수정하는 상태 유지(stateful) 도구에 점점 더 의존하고 있습니다. 표준적인 에이전트 루프에서 모델 생성과 도구 실행은 직렬화되어 있습니다. 즉, 에이전트는 액션을 생성하고, 환경이 이를 실행하여 관찰(observation)을 반환할 때까지 기다린 다음, 그다음 단계를 생성해야 합니다. 모델 디코딩 속도가 가속화됨에 따라(예: 특화된 하드웨어를 통해), 도구 실행을 기다리는 데 소요되는 시간이 엔드 투 엔드(end-to-end) 지연 시간의 주요 병목 구간이 됩니다.

기존의 투기(speculation) 기법들은 이러한 직렬화를 깨려고 시도하지만, 이질적이고 상태 유지적인 워크로드에 적용될 때 세 가지 근본적인 장벽에 직면합니다:

지연 시간 집중(Latency Concentration): 소수의 도구 호출(약 17%)이 전체 도구 시간의 대부분(약 97%)을 차지합니다. 적중률(hit rate)에 최적화된 투기 방식은 이러한 고가치/고지연 호출을 놓치는 경우가 많아, 상당한 지연 시간을 숨기는 데 실패합니다.
환경 의존성(Environment Dependence): 많은 핵심적인 관찰값은 숨겨진 환경 상태(예: 파일 내용, 프로세스 출력)에 의존하며, 이는 에이전트의 컨텍스트만으로는 신뢰성 있게 예측할 수 없습니다. 순수 관찰 투기는 여기서 실패하며, 순수 액션 투기는 예측이 틀렸을 경우 확정된(committed) 환경을 손상시킬 위험이 있습니다.
룩어헤드-정확도 트레이드오프(Lookahead-Accuracy Tradeoff): 더 많은 지연 시간을 숨기기 위해 투기 범위를 확장하려면 미래의 전체 액션 체인을 예측해야 합니다. 그러나 전체 체인이 올바를 확률은 깊이가 깊어짐에 따라 곱셈적으로 급감하여, 장거리 투기를 무효하게 만듭니다.

2. 방법론: AOSpec

AOSpec은 에이전트-환경 루프 전반에 걸쳐 액션과 관찰을 공동으로 투기하는 손실 없는(lossless) 프레임워크입니다. 이는 액터(LLM)와 환경 런타임이 분리된 분리형(disaggregated) 에이전트 아키텍처 내에서 작동합니다. 이 프레임워크는 세 가지 핵심 메커니즘을 채택합니다.

2.1 관찰 투기를 위한 기대 가치 디코딩(EVD)

지연 시간 집중 문제를 해결하기 위해, AOSpec은 적중률 최적화를 넘어 **기대 가치 디코딩(Expected Value Decoding, EVD)**을 사용하여 *기대 숨김 시간(expected time hidden)*을 극대화하는 관찰 후보를 선택합니다.

메커니즘: EVD는 잠재적 관찰 후보 집합을 구성하고, 예측 확률과 추정된 도구 실행 시간의 곱( $V_o(c) = p(c) \cdot \hat{T}(c)$ )에 따라 순위를 매깁니다.
실행: 실제 도구 실행이 대기 중인 동안, 에이전트는 이러한 고가치 투기적 관찰을 기반으로 연속된 생성(continuation)을 수행합니다. 만약 실제 관찰이 초안(draft)과 일치하면 에이전트는 기다리지 않고 계속 진행하며, 그렇지 않으면 초안을 폐기하고 실제 관찰로부터 생성을 재개합니다.
학습: 소규모 관찰 모델을 과거 트레이스에 미세 조정하여 예측 정확도를 높일 수 있으나, 충분한 후보 폭(candidate width)이 제공된다면 기존 모델을 그대로 사용할 수도 있습니다.

2.2 환경 의존적 결과를 위한 격리된 액션 실행

숨겨진 환경 상태로 인해 예측할 수 없는 관찰의 경우, AOSpec은 격리된 샌드박스 포크 내에서 투기적 액션을 실행합니다.

메커니즘: 지연 시간에 민감한 대상 액션은 격리된 환경(Copy-on-write 파일 시스템 및 프로세스 포킹 사용) 내에서 병렬로 실행됩니다. 이를 통해 메인 에이전트 루프의 확정된 상태를 위험에 빠뜨리지 않으면서 실제 관찰을 조기에 얻을 수 있습니다.
안전성: 만약 투기적 액션이 잘못되었다면, 포크(fork)를 폐기하고 메인 루프가 확정된 상태로부터 액션을 실행하도록 하여 손실 없는 의미론(semantics)을 보장합니다.

2.3 결합 액션-상태 검증(JASV)

룩어헤드-정확도 트레이드오프를 극복하기 위해, AOSpec은 전체 체인 예측 일치 요구 사항을 **결합 액션-상태 검증(Joint Action–State Verification)**으로 대체합니다.

메커니즘: 투기적 포크는 두 가지 조건이 충족될 때만 유효화되고 재사용됩니다: (1) 투기적 액션이 액터가 방출한 액션과 일치해야 하며, (2) 포크가 런칭된 시점의 환경 상태가 현재의 확정된 환경 상태와 일치해야 합니다.
이점: 이를 통해 시스템은 중간 단계의 액션들을 정확히 예측할 필요 없이, 훨씬 앞선 미래의 대상 액션을 투기할 수 있습니다. 환경 상태가 안정적이기만 하면, 전체 체인 예측의 곱셈적 오류 누적 없이 "런웨이(runway)"를 확장할 수 있습니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 합니다:

장벽의 특성화: 지연 시간 집중, 관찰 예측의 정보 경계, 그리고 상태 유지 워크로드에서의 룩어헤드 깊이와 예측 정확도 사이의 긴장 관계를 정량화했습니다.
AOSpec 프레임워크: EVD(지연 시간 인지 관찰 초안 작성용), 격리된 액션 실행(환경 의존적 결과용), JASV(손실 없는 장거리 룩어헤드용)를 결합한 손실 없는 공동 투기 프레임워크를 소개합니다.
경험적 검증: 다양한 벤치마크, 모델 및 서빙 속도에 걸쳐 유의미한 지연 시간 감소를 입증하며, 디코딩 속도가 빨라질수록 이 접근법이 효과적임을 보여줍니다.

4. 실험 결과

저자들은 Terminal-Bench 2.0(4개의 하네스와 5개의 액터 모델 포함) 및 SWE-bench Verified에 대한 트레이스 리플레이를 사용하여 AOSpec을 평가했습니다.

지연 시간 감소: AOSpec은 다양한 구성에서 평균 엔드 투 엔드 지연 시간을 11.8%에서 32.5%까지 줄였습니다. 이 이득은 모델의 토큰당 시간(TPOT)이 감소할수록(즉, 디코딩이 빨라질수록) 증가하여, 1ms TPOT에서 32.5%의 감소율에 도달했습니다.
테일 지연 시간(Tail Latency): 이 프레임워크는 테일 지연 시간을 크게 개선하여 p99 지연 시간을 최대 42.8%까지 줄였습니다. 이는 몇몇 느린 호출이 전체 지연 시간을 지배한다는 발견과 일치합니다.
베이스라인 비교: AOSpec은 다음을 포함한 모든 실질적인 베이스라인보다 우수한 성능을 보였습니다:
- Speculative Actions (다음 액션만 예측).
- SpecHop (캐싱 또는 LLM 초안 작성을 통한 투기적 관찰).
- Oracle-action (1단계 액션 투기 상한선).
- 45개 구성 중 41개에서 AOSpec은 교차 단계 액션 룩어헤드와 관찰 투기를 활용하여 1단계 액션 오라클 상한선을 초과했습니다.
일반화 성능: Terminal-Bench 트레이스만으로 학습된 관찰 모델이 재학습 없이 SWE-bench Verified로 전이되었으며, 1ms TPOT에서 18.9%의 지연 시간 절감을 달로 달성했습니다.
절제 연구(Ablation): 관찰과 액션 투기를 결 조합했을 때 10ms TPOT에서 17.0%의 절감 효과를 냈으며, 이는 관찰 전용(12.0%) 및 액션 전용(7.1%)보다 높은 수치입니다.

5. 의의 및 주장

본 논문은 AOSpec이 에이전트 서빙 지연 시간을 최적화하는 방식의 패러다임 전환을 나타낸다고 주장합니다. 적중률 최적화에서 기대 가치 최적화로 이동하고, 전체 체인 예측을 상태 검증형 타겟 액션 룩어헤드로 대체함으로써, 이 프레임워크는 직렬 의미론을 희생하지 않으면서 장거리 오버랩을 실현합니다.

저자들은 모델 디코딩이 계속 가속화됨에 따라 병목 현상이 점차 환경 실행으로 이동할 것이라고 단언합니다. AOSpec은 에이전트-환경 루프를 하나의 통합된 투기 시스템으로 취급함으로써 이를 해결하며, 손실 없는 공동 투기 접근 방식을 통해 도구 실행 지연 시간을 효과적으로 숨깁니다. 결과는 모델 출력과 상태 유지 환경 실행을 공동으로 투기하는 것이 저지연 에이전트 서빙을 위한 실행 가능하고 효과적인 전략임을 시사합니다.